[問題]關於scrapy 和pandas 的問題

[allen511081 (藍)]

各位好，小弟最近有兩個小問題，需要各位幫小弟解答一下

1.scrapy爬蟲程式有沒有辦法在同一個程式碼裡批次輸出網頁資料?
  EX:我有11萬個網頁，我想要分成3萬3萬輸出成CSV

2.pandas的to_csv有沒有辦法將多個dataframe的CSV合併成一個?


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.127.51.220
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1426170911.A.DB2.html
推 ccwang002: 回 2：pandas.concat pandas.merge，看是什麼方向
推 ug945: 在Spider內記錄筆數 到了就寫到不同的檔案去
→ allen511081: 謝謝，我照你們的方法處理完了