[請益] excel轉資料庫（大量計算）

[scalawax (aliang)]

各位大大您們好，

我正在做實價登錄的分析，因為實價登錄的資料有點亂，所以我寫了一堆算式去算，但是
一個檔案都太大（至少150-180MB），所以每次更新都要跑一整個晚上，重點是還不知道
是否有跑完（三不五時會發現計算錯誤）。。。。

想改到資料庫或其他的架構，是不是真的會比較快？但是重點是有辦法處理大量的計算。
。。。

真的不知道該用什麼。。。

我不是唸相關科系的，實在不知道該從哪裡下手。。。。

想聽聽大家專業意見，不管是ACCESS或是python或是有其他大家覺得更好的方式 ，有一
個方向我再去好好鑽研。。。

麻煩大家幫我指點明燈～～～ 跪恩！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.201.197 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1624350474.A.258.html
→ airtsubasa: 換電腦
推 gnseed: 演算法寫得不好吧...連G都沒出現的資料不能稱為大
→ final01: excel?? 那個不是很慢
推 ntpuisbest: 用r data table 寫的非常快
推 kokolotl: excel函數一大就算到死了  改用R或python都舒服很多
推 Virness: mysql mongo都可以我之前也是excel超痛苦
→ MOONY135: 看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變
→ MOONY135: 大 後者的話直接建議塞進db 前者大概就是換語言讀寫
推 enthos: https://ithelp.ithome.com.tw/articles/10246377
推 azzc1031: python去讀 再去下你要看的函數
→ lazarus1121: 把function換成vba來跑會快不少
→ lazarus1121: 之前資料量大用excel都盡量不寫函數，不然下拉時容
→ lazarus1121: 量跟耗的效能都會等比成長
→ tedmax100: 不動產業的RD??
→ DrTech: 才不到200M,用程式讀到記憶體算，就解決了。根本不用資料
→ DrTech: 庫。
→ yyc1217: 要不要試試看Google colab
推 qazxws: Apache Spark
推 new122851: Hadoop
推 marc47: julia
→ marc47: https://bit.ly/3jgMzfB
推 marc47: https://bit.ly/2SWriN9
→ KeyFSN: 才 180 MB 根本不用什麼 spark 啦 XD
→ KeyFSN: 直接 python 全讀到 memory 然後算一算就結了
推 sammythekid: 樓上講完了
推 enthos: https://www.udemy.com/course/python-auto
推 wahaha279: 用aws elk做資料搜尋
推 adsl12367: DB用哪一個？
→ scalawax: 哈哈哈哈，謝謝大家的幫忙，但大家的回覆我真的看不懂，
→ scalawax: 大家實在是太專業了。。。。我是在一家建商，老闆常叫
→ scalawax: 我做市調，所以自己弄了套excel+power BI，看來得來自
→ scalawax: 學python了。。。。
推 alivetaxi: 試試access 應該夠用了
推 divergience: VBA 就夠了
推 alice78226: excel和power bi有沒有裝64位元的，記憶體有沒有加到3
→ alice78226: 2G？32位元的軟體跑不動很正常。
推 jinmin88: c#的話我記得有excel lib支援yield return
推 acgotaku: Amazon Athena申請一個,資料丟進去 你會發現魔法