[問題] 請教網頁爬蟲的技術

[hareion08 (巨蟹)]

想請教比價網站的爬蟲

輸入關鍵字 自動去pchome 愛買 露天爬取資料呈現

html頗析跟紀錄資料庫 我做過

想問的是 關於"更新"的部分

使用者第二次再查詢

還要每個頁面都跑過一次看有沒有更新(降價)?

還是有什麼技術方法可以只爬取有更新過的網頁

使用的語言: PHP/C#/ASP.NET



--
Sent from my Windows

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.18.183
※ 文章網址: https://www.ptt.cc/bbs/Programming/M.1428117147.A.997.html
推 Masakiad: 意思是在爬之前就依照「是否為更新過的p
→ Masakiad: age？」條件決定是否要爬嗎
→ hareion08: 是的，不然就要每頁都爬很沒效率～
→ walelile: 看對方有沒有RSS之類的 不然你也只能去
→ walelile: 爬 再來就是看他更新頻率決定你爬的頻率
→ walelile: 不然就去爬人家比價網站XDD
推 leicheong: 用Head verb去開那頁面找Last-Modified
→ leicheong: header吧 (雖然也不一定會有)
→ hareion08: 感謝…看來是礙於協定沒有其他方法
→ tonytonyjan: 關鍵字：freshness and age