作者threeSecGun (三秒槍)
看板Python
標題[問題] 從網頁抓取CSV資料後 存檔問題
時間Tue Feb 2 23:54:05 2016
目前使用python3 練習抓取網頁上的csv資料
抓取下來後 可以用print() 顯示出資料內容
但在作存檔動作時 卻無法將資料存入csv檔(都是空白檔)
因找不出問題點
想請教版上先進 程式問題的原因及應如何修改程式?
感謝~
程式如下:(從証交所抓取CSV檔)
import sys
import requests
from bs4 import BeautifulSoup
import base64
payload ={
'download':'csv',
'qdate':'105/01/21',
'selectType':'ALLBUT0999'
}
res = requests.post("
http://www.twse.com.tw/ch/trading/exchange/MI_INDEX/MI_INDEX.php?language=ch&save=csv",
data = payload)
res.encoding="big5"
print (res.text) #印出資料OK
from shutil import copyfileobj
f=open('test_price.csv','wb')
copyfileobj(res.raw,f) #寫入檔案的都是空白
f.close()
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.252.235.143
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1454428448.A.8E0.html
→ threeSecGun: 感謝! 可以正確讀寫進檔案~ 02/03 06:24
→ threeSecGun: 看說明函式應該是資料量大 造成記憶體無法寫入 是吧? 02/03 06:25