推 cuteSquirrel: GET裡面的header要設定user-agent和referer 07/01 23:04
→ cuteSquirrel: 所要的資訊可以在原本截圖Response Headers裡面找到 07/01 23:07
→ be00148: @cuteSquirrel 之前我只有加 user-agent 07/01 23:23
→ be00148: 原來還要加referer 不過要如何判斷header應該加哪些資料 07/01 23:23
→ be00148: ? 07/01 23:23
→ be00148: @cuteSquirrel 真的謝謝了 受小弟一拜<O> 07/01 23:24
推 cuteSquirrel: 就從常見的幾個開始試吧 爬蟲滿常遇到這些情況 07/01 23:29
→ cuteSquirrel: 不客氣~ 07/01 23:29
→ alvinlin: 其實沒有一定。通常都是用上述方法後一個個刪減到最少。 07/01 23:31
→ alvinlin: 這都是爬多了就會知道了。懶得刪也ok。 07/01 23:33
→ be00148: A大 謝謝 試到最後 只留referer就好XD 07/01 23:33
→ alvinlin: ^^great！我的理解是這完全取決於伺服器端怎麼做的。 07/01 23:36
→ be00148: 我可以再問一個問題嗎 抓下來的資料看起來像json 讀取後 07/01 23:39
→ be00148: 資料的部分變成字串 有什麼方式可以快速轉換為list嗎 07/01 23:39
推 cuteSquirrel: 可以用response.json()拿到python dict 07/01 23:47
推 cuteSquirrel: 用dev tool看到的key去抓字串，再用re去擷取 07/01 23:51
→ alvinlin: 嗯。再import json;json.loads() 07/01 23:52
→ alvinlin: 如上圖。K就變成list了 07/01 23:55
→ be00148: 針對"[[a,1],[b,2]]"這種字串型態資料用json.loads() 就 07/02 00:03
→ be00148: 可以轉成list 謝謝了 07/02 00:03
→ alvinlin: ^^。順便也可以去參考skcom 0.9.4 07/02 00:23
→ alvinlin: 嗯..最近好像到0.96了。 07/02 00:23