› 看板 Python 關於我們 聯絡資訊
作者asd3456722 (sofia)
看板Python
標題[問題]
時間Fri Jul 15 15:47:36 2016
由於小弟在處理一份相當大的data 但是在用pandas讀取時就出現memory error 想請問高手怎麼解決 感恩～～～ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.80.62.90 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1468568858.A.B4D.html ※ 編輯: asd3456722 (111.80.62.90), 07/15/2016 15:48:14
→ kenduest: 資料多大？系統記憶體多少？虛擬記憶體有多少？ 07/15 15:54
→ kenduest: 可不可以批次分量處理？ 07/15 15:54
→ asd3456722: data 1.1G csv.file 07/15 16:11
→ asd3456722: http://i.imgur.com/XHjgMtd.jpg 07/15 16:16
→ gozule: 試著用iterator分批處理 07/15 17:38
→ kevinkung: 應該是你處理的方式有 我試過用pandas處理過大量的資 07/17 00:21
→ kevinkung: 料 沒發生memory error 07/17 00:21
→ kevinkung: 處理資料的方式有問題 07/17 00:22