作者steve55987 (大家都叫我吠蚊)
看板Python
標題[問題] 兩百萬筆資料中拉出固定頻率的筆數
時間Wed Oct 9 10:42:07 2019
想請問一下各位大神
目前遇到一個困難
目前研究拿到一筆總數蠻大的data 是 CSV檔
但當初在蒐集資料時是每一秒蒐集一次
在蒐完之後才發現筆數過大很大軟體都沒辦法一次彙整
是否有辦法取出其中固定頻率的資料呢
像是原本是一秒一筆資料想從裡面大概每五分鐘拿一次資料這樣 其他的刪除 (假設其資料
變動幅度不大,這樣刪除無其他問題)
謝謝!!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.10.229.92 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1570588929.A.7F0.html
→ outshaker: for i in range(0,len(list),300): 10/09 11:32
推 TitanEric: 用pandas的 pd.read_csv(檔名, chunk=一次讀幾筆) 10/09 11:55
→ TitanEric: 詳情可以找官網來看 10/09 11:55
→ steve55987: 謝謝兩位大大,我再研究看看!! 10/09 12:31
→ jiyu520: pandas resample也可以看看 10/09 13:40