作者tylerfirst (......)
看板Python
標題[問題] Python網路爬蟲
時間Fri Nov 5 18:36:24 2010
是這樣的,小弟想利用Python弄一個能夠爬網頁的程式
要求的功能不多,只要能夠
1.順著網頁的連結爬下去
2.紀錄爬過的連結
3.能夠設定爬幾層
上網用spider,crawler當關鍵字找了幾個程式,但好像都因為版本過舊所以不合用
我目前用的Python版本是2.6.6
不知道是否有適合的程式或函式庫可用?
可以的話麻煩提供一下關鍵字 感謝!<(_ _)>
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.127.208.228
推 asoedarren:scrapy 11/05 20:24
→ tylerfirst:感謝回答<(_ _)> 去找看看... 11/06 00:04
推 cobrasgo:這不就是砍站程式嗎XD 11/06 01:28
→ Dannvix:這3個需求... 現成的 wget 都可以滿足XD 11/06 23:09
→ pencilcheck:看看beautifulsoup 11/07 14:09