作者allen511081 (藍)
看板Python
標題[問題]scrapy如何把抓到的資料存成這樣格式?
時間Mon Feb 9 21:56:13 2015
各位好,小弟上次抓的資料格式已經如我上次發問的樣子
title birdName count
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
我的程式碼連結:
https://drive.google.com/open?id=0B6SUWnrBmDwSVmlYeWhNMDVCeFU&authuser=0
但是我現在想要把格式改成以下的樣子,這樣可以方便以後的處理
title title title title birdName count birdName count birdName count
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
.
.
.
.
後面的birdName和count是依據網頁資料的筆數決定,每個網頁的筆數不一定,
但是都要存成這樣的格式,請問各位大大,我該如何做?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.172.186
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1423490176.A.3F5.html
→ ccwang002: 可以用 pandas.DataFrame.pivot 02/10 12:32
→ ccwang002: 然後最後用 pd.concat 把每個網頁接起來,會自動 join 02/10 12:32
→ ccwang002: 你給的 code 用 BirdItem 存但我看了還是不懂整個流程 02/10 12:35
→ ccwang002: 轉換如果能給個更實際的例子會比較好懂,現在都是 xyz 02/10 12:35