[問題] jsoup有辦法讓所有網站的模擬人的行為嗎

[tnsshnews (tnsshnews)]

Dear all,

標題或許下的有點不好, 小弟想釐清一些觀念,

1. 所有的網站都是get/port的傳遞方式?
2. 是不是所有的網站都可以寫程式模擬人的行為自動取得資料?
3. 像google translation的網站, 利用chrome的Inspector去看request packet,
   似乎找不到明確的傳遞封包, 而看原始碼更是可怕的一堆亂碼,
    不知這又是什麼設計呢?


謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.127.173.173
※ 文章網址: https://www.ptt.cc/bbs/java/M.1436525612.A.680.html
※ 編輯: tnsshnews (59.127.173.173), 07/10/2015 18:54:59
→ bitlife: 1. 主要是GET/POST (not port)沒錯(HTTP還有其他method)
→ bitlife: 2. 理論上是(但實務上的前提是人已經先清楚所有GET/POST
→ bitlife: 的互動內容並能正確合成request
→ bitlife: 有些問captcha的情況,要全自動甚至需要文字辨識的介入
→ bitlife:                    ^若
→ bitlife: 所以你會發現,目前主流就是以captcha來假定client是個人
※ 編輯: tnsshnews (59.127.173.173), 07/10/2015 20:12:39
→ bitlife: 用firefox的[網頁開發者]看,它仍是用GET,google一般各項
→ bitlife: 服務都有相關api,去找看看有沒有translate的api
→ bitlife: google的ajax code多半為工具編譯產生(如gwt),看起來像亂
→ bitlife: 碼是很正常的
推 caty1010: 簡單來說 看目標而定 不一定