[問題] python讀取大容量csv檔方法

[reallife (ray)]

最近在使用python處理一個大容量（幾GB）的csv檔，但卻會顯示記憶體不足的錯誤，我google一下皆是推從 pd.read_csv 加 chunksize option的方法。

想知道還有無其他讀取大容量csv檔的方法？


-----
Sent from JPTT on my iPhone

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.13.172 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1585479343.A.98F.html
推 TuCH: 加大ram
推 chuchutaro: 用 readline() 一行一行parsing
→ swordgun: 試試看這篇文章的？
→ swordgun: 如何用Python在笔记本上分析100GB数据？ - InfoQ
→ swordgun: https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D?fb
→ swordgun: clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnO
→ swordgun: eYYsFISlqVNgh4
推 ichengshen: 上面這段網址，可以縮減為
→ ichengshen: https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D
推 yiche: hdf5
推 Starcraft2: 上面講的Vaex好酷  學習了...
→ Starcraft2: https://github.com/vaexio/vaex
推 ariainaqua: Vaex 的 API 讓介接呈現資料變得挺方便！感謝分享 :-)