[問題] 如何爬蟲會每日更新網站？

[starlin2 (找房子找房子找房子～)]

不好意思爬蟲初學，
目前想要爬法拍屋查詢，
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A00.jsp
我目前可以找到他查詢出來TABLE的網址，並用GET去取得資料秀出來～
目前程式查詢的是宜蘭縣頭城鎮的法拍屋

import pandas
dfs = pandas.read_html("http://aomp.judicial.gov.tw/abbs/wkw/WHD2A03.jsp?
CB9A40A9FDA4E10666512BC4C2A180D2=C13752ECCB9567ECF0193DDCAFF6EF5A&hsimun=
%A9y%C4%F5%BF%A4&ctmd=%C0Y%AB%B0%C2%ED&saledate1=&saledate2=&crmyy=&crmid=
&crmno=&dpt=&minprice1=&minprice2=&saleno=&area1=&area2=&registeno=&checkyn=
all&emptyyn=all&rrange=%A4%A3%A4%C0&comm_yn=&owner1=&order=odcrm&courtX=
ILD&proptypeX=C52&saletypeX=1&query_typeX=db")
currency = dfs[0]
currency = currency.ix[5:,4:6]
currency.columns = [u'',u'',u'']
print (currency)
執行後可以成功得到頭城鎮的拍賣資料....

5                               房屋地址/樓層面積  總拍賣底價(元)
6     宜蘭縣頭城鎮忠孝新村68號  4 坪　x　4分之1  建物拍賣底價:....
7    宜蘭縣頭城鎮忠孝新村68號  16 坪　x　4分之1  建物拍賣底價:....
8   宜蘭縣頭城鎮協天路653號4樓  22 坪　x　全部  建物拍賣底價: ....
9   宜蘭縣頭城鎮頭濱路2段146號  89 坪　x　100000分之16667  建物拍賣底價
10  宜蘭縣頭城鎮福成路210號  44 坪　x　100000分之12500  建物拍賣底價:
11                                                NaN       NaN  NaN

不過他的這個連結每天按下查詢都會不一樣，這樣的話我要怎麼去爬他的資料呢？

--
尋找理想中的房子～

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 150.116.183.188
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1515392285.A.75C.html
推 Sunal: 爬出來的放data到資料庫 比對update or create
→ coeric: 看到這篇...突然想到我該做的事 還沒完成.....
→ coeric: 目前一直都是刷掉抓最新的  歷史的還沒去爬...提醒我了
Sorry....我好像瞄述的不太清楚，是按下查詢的那個網址，今天一整天的網址都會一樣，
不過明天再用一樣的程式去抓就抓不到了，因為那個網址會不一樣～
就是read_html("這裡面的網址會每天不同")
※ 編輯: starlin2 (150.116.183.188), 01/08/2018 16:12:20
→ blc: 從不會變的網址開始抓
推 coeric: 有API可以用阿...別傻傻的去爬
推 yimean: 請問要如何取得API？
→ coeric: opendata
推 vi000246: 用字號當key 重覆的不抓