看板 java 關於我們 聯絡資訊
小弟現在需要利用程式抓取一些Google的資料 但是這些資料必須要先登入才可以下載 我試了一下午 本來想要先登入後抓cookie然後再去抓自己想要抓的資料 可是在這個步驟就完全的失敗了 不管怎麼樣都抓不到cookie.... POST了帳號密碼 可是都會回到google的登入頁面 不知道有沒有人有任何的頭緒 或者有什麼資料跟方法可以參考的 感謝 ※ 編輯: niflheim 來自: 140.112.107.148 (01/28 19:15)
ogamenewbie:就有動作沒有模擬到吧.. 封包抓抓看, 東西對對看... 01/28 19:19
TonyQ:我猜你應該忘記至少要考慮 refer吧 , 這是爬蟲的基本喔. 01/28 22:26
ogamenewbie:以前是都忘記圖片還要補 x y... 賊一點的還要... -bi- 01/28 22:34
slalala:推二樓 如果像我一樣庸才 就用人家寫好的 ex Httpclient 01/29 00:03
qrtt1:要抓的東西 gdata api 不支援嗎!? 01/29 00:19
silver8250:Gdata API 簡單好用! 01/31 15:59
jej:沒登入過..不過一個方向看看...下載sun的access manager... 02/01 00:11
jej:如果這個agent可以導過去google..就用sun的解法吧.... 02/01 00:13
niflheim:我有社referer 可是還是不行 我是要抓google insights 02/03 19:03
niflheim:提供的檔案 Gdata好像剛好沒有提供相關的API 02/03 19:06
TonyQ:那user agent 有設嗎 XD 02/03 22:14
niflheim:User-Agent也有設~~ 02/04 11:34
TonyQ:那你模擬BROWSER,先連到A頁,再post到b頁,記得紀錄cookie, 02/04 11:40
niflheim:請問是post前就要先紀錄cookie還是post完再抓就好??? 02/04 13:52
TonyQ:你連到A頁時就要技術cookie訊息啦 :3 02/05 10:41
TonyQ: 紀錄 cookie要一起post給b頁. 02/05 10:43
niflheim:ok 我來試試~~ 02/05 11:05