[問題] 關於資料大小問題

[Mutibil (nujabes)]

最近接到個面試

需要先完成一個檔案大小約5GB的 預測分析project

但就我個人的laptop ram:8gb ssd:256gb

光檔案loading就耗費幾分鐘了

更別說要開始feature engineering or modeling


想請問 有任何雲端 不太需要訂閱功能的方式

可以完成這個project嗎

謝謝


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.176.92.165 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1623051796.A.01A.html
推 wtchen: 不能分batch嗎？
→ f496328mm: 不是，你這電腦也太弱了吧
→ f496328mm: 我3年前做 ML，就已經最少 16GB 起跳了
→ f496328mm: 碩班提供 16GB 電腦，我還覺得太弱，自己組 32 GB
→ f496328mm: 如果是用 pandas，可以先讀前1萬筆就好
→ Mutibil: 呃..個人電腦大概2015 fall的macbook pro 都跑些小專案
→ Mutibil: 在lab 就用蘋果骨灰罈  沒這困擾
→ Mutibil: 可能就只嘗試用部分dataset去跑
→ hsnuyi: 資料格式寫一下啊
是csv file

※ 編輯: Mutibil (180.176.92.165 臺灣), 06/07/2021 21:58:07
推 greenty: 5G很小呀，你資料要先分割
→ hsnuyi: 既然是csv 應該可以分批吃吧? 注意batch的影響就好
→ hsnuyi: 不然就先看看能不能降維 說不定有一堆值全部相同的特徵XD
→ truehero: COLAB
推 email81227: 做簡單的EDA，然後抽個5-10%做做看搞不好結果不錯?
推 ILYY: colab
推 tsoahans: loading完可以用numpy/pandas存成pickle/npy 下次讀取會
→ tsoahans: 比較快
→ tsoahans: 另外就是可以做一些資料處理 將無用特徵/樣本移除 再存
→ tsoahans: 成檔案 下次讀取就可以讀比較少的資料
推 wang19980531: 推樓上 分批讀取處理完資料後 就用其他檔案格式分
→ wang19980531: 檔存起來
→ wang19980531: 同時補充np.dot觸發segmentation fault時也要bat
→ wang19980531: ch來做