[問題] 批踢踢Crawler

[amigcamel (阿吉amig)]

大家好
最近我試著要寫一個PTT Crawler
利用的是telnetlib
tn = telnetlib.Telnet(host)

我想要做的是將某人po的文整篇複製下來
我的方法簡單說是這樣
1. 進入某文章
2. tn.read_very_eager()
3. 往下一行
4. tn.read_very_eager()
...
直到讀完該文章為止

但效果其實並不好

有沒有人有處理這方面的經驗呢？
懇請賜教，
感激不盡！

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 125.227.97.242
※ 編輯: amigcamel       來自: 125.227.97.242       (05/19 17:11)
→ clliu168:對 Web 版來抓呢？我以前抓過 ptt web 版資料，不過有些
→ clliu168:時候會 cgi 錯誤之類的問題
→ amigcamel:web 沒有問題，但是我想抓八卦版的資料，但似乎web版沒
→ amigcamel:有八卦版...
→ uranusjr:「效果其實並不好」的意思是？
→ suzuke:編碼問題會有一些奇怪的亂碼出現, 我之前也試過
推 yudsx:以前有用這個方法抓過其他BBS站的文章
→ yudsx:抓下來要把BBS控制碼和色碼的部份去掉
推 huggie:PTT BBS 這些控制碼等..這有沒有documentation可以讀?
→ uranusjr:去讀 VT100 Terminal 的 control sequence 就行了
→ uranusjr:我自己是直接 K BBS 軟體 (Nally) 的實作...
推 cobrasgo:樓上真猛@@
推 CodingMan: 請愛用 PTT Library