[問題] 新手請教爬蟲爬動態網頁

[granly (granly)]

各位好，本身沒學過什麼程式，
前陣子對爬蟲起了興趣，利用下班之餘學習如何用PYTHON寫爬蟲，
但遇到爬取動態網頁遇到了瓶頸，爬文之後發現有兩種解法

1.用Selenium模擬瀏覽器後，
操作一些動作後對網頁最後的樣子抓源碼，
在對需要的數據用BeautifulSoup操作抓取

2.分析網頁是如何對JAVASCRIPT等等請求數據(此部分不太確定，如有錯誤再請指導)
，然後再對放數據的js做get、post等等操作，後續如1

秉求著學習就要每種都要學會的態度，
想請版上的神人們給點指導...!
目前
1.是比較有頭緒的，這樣的流程是否理解正確呢?
2.的部分則是完成看不懂監測到的那一堆東西...
像是此網頁:goo.gl/P3
可貸額度試算最後試算出來數字該如何抓取呢?

以上的部分再請各位指出錯誤與指導了謝謝!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.47.155
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1488566376.A.FF7.html
推 vi000246: 可以用fiddler觀察封包 模擬一樣的表頭送出
→ granly: 不太懂v大的意思...是否可以站內line請教呢？
→ s860134: 你理解沒錯，但最後的例子是你的瀏覽器算出來的 沒傳輸
→ s860134: 自然你甚麼東西都抓不到
→ s860134: http://imgur.com/a/zkZWr　
→ vi000246: 他說的應該是可貸額度試算那個頁籤
→ s860134: 原來如此，表頭的話不是用瀏覽器就看的到了？
→ granly: 對，會輸入兩次個人資料後會有額度資料
→ granly: 目前是用requests,創一個session()，post兩次，但抓到的
→ granly: 源碼還是沒有數字
推 zerof: 他寫在 html 裡面用 js inject http://imgur.com/a/3m8XB
→ zerof: r"\.monitor_counter\d?'\)\.html\('(.+)'\);"
※ 編輯: granly (27.246.167.199), 03/06/2017 09:44:06