[問題] 網頁資料抓取

[MacPerson (Gary)]

大家好:

最近朋友有一個需求，就是希望能擷取某個網頁上的資料，

但這個網站都是用POST去切換網頁，也就是網址列都是固定的，

當下我就回答她說，這個無法擷取資料，但他突然說:[為什麼不行]

我在腦海裡思考了各種說法，但都無法說服他，例如:他只想擷取某一頁的

資料，但因為網頁是POST過去不像GET，所以我無法取得資料，但他的想法是

你可以寫一個程式，照我所操作的步驟進去，到了那一頁就抓資料，

照理來說應該也取的到。

所以想請教各位，POST方式切換網頁的網站，是否可以抓得到網頁資料?

順便請教各位解法~


感謝各位前輩




--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.70.224.226
推 YahooTaiwan:可以 照他說的做
→ YahooTaiwan:甚至可以找出最終目的頁面所需的資料 直接丟POST req
感謝前輩 ~ 每次都提供忠肯建議^^
→ LetDogDay:看一下HttpClient 這個類別
大大 還是有個疑問~ 之前我都是用webrequest 類別來擷取資料，因此只需要如:
www.yahoo.com.tw?testa=12&testb=11，就可以得到response擷取到資料，但網址
是POST，我該怎麼一步一步丟request給SERVER利用HttpClient類別，因為剛剛稍微
查了一下，他似乎也是必須傳入GET的網址列
※ 編輯: MacPerson       來自: 61.70.224.226        (02/04 18:07)
抱歉，又長智慧了~ 稍微Search一下，網站利用框架方式或轉址，例如MasterPage
讓網址一直維持在index首頁或轉址網址列一直在ww.yahoo.com,那這種網站還能
抓資料嗎?
※ 編輯: MacPerson       來自: 61.70.224.226        (02/04 18:27)
推 YahooTaiwan:能呈現在你的瀏覽器上的就能抓 難易度不同而已
→ tooto1985:找出框架的實際網址即可
感謝各位~ 稍微討論一下 清晰不少阿~ 我繼續研究，感恩!
※ 編輯: MacPerson       來自: 61.70.224.226        (02/04 18:32)
※ 編輯: MacPerson       來自: 61.70.224.226        (02/04 18:33)
→ Litfal:Post也是有response的, 不要混淆了喔~