[問題] 如何將網站上的數十筆資料一口氣載下來？

[poopoo888888 (阿川)]

大家好

小弟學web programming一陣子了

是學Google App Engine並使用Python寫


最近小弟受到一位長輩所託

希望我將司法院法學資料檢索系統裡面的一部分判決書載下來 作進一步data mining之用

http://jirs.judicial.gov.tw/Index.htm

例如：判決書查詢→台北地方法院、民事、檢索「保護中心」

則會出現約100份判決書

請問要怎麼樣將這100份判決書載下來呢？


小弟之前有使用過Beautiful Soup　知道它可以做parse的動作

是否就是利用它來載判決書呢？


還是這件事有其他適合的工具可以使用　

並不需要Beautiful Soup？


煩請各位大大指點迷津　謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.231.24.204
→ suzuke:我直覺想到是urllib這一類的加上HTMLParser?
推 shaopin:對呀, 應該很簡單, urllib2..加file..
→ shaopin:抓無名小站圖片都用這招(誤)
→ kilfu0701:之前寫過spider抓大量網頁 也用urllib2+beautiful soap
推 lovelycateye:urllib + regex 或許是一個方法? 我是這樣做啦
→ lovelycateye:雖然我parse的是這份csv http://goo.gl/Qs7VH
→ lovelycateye:http://goo.gl/k5YCS 我去Parse回來長的樣子
感謝各位大大 用urllib2加上BeautifulSoup便解決
※ 編輯: poopoo888888    來自: 61.231.24.139        (08/14 09:58)
推 hsnu114444:urlfetch
推 kynix:pyquery 用了你會愛上它