看板 PC_Shopping 關於我們 聯絡資訊
AS TITLE 問題重點在這句:計算海量EXCEL檔資料會比較吃重哪方面的硬體? (CPU ? 快取? 還是什麼? SSD是基本的我知道) 下文為詳述 因工作之故會處理極大量EXCEL檔,計算的累積數字都是幾千萬到幾億這樣綜合交叉比對 偏偏前陣子家人送我一台低階文書機(老人家不懂)一整個ERRRRRRR..... 開檔案等很久的問題已用SSD解決掉 但幾個分頁之間光是串基本的公式就會開始無限迴圈等到抓狂 最近就連公司的桌機也越跑越慢 (現在處理的資料僅累積1至4月而已,難以想像年底要怎麼面對1~12月累積的海量資料) 所以想請教專業人士,拜託了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.216.235 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1588342683.A.0AD.html ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:18:34
HiJimmy : CPU 而且是單核效能要高 多核沒用 05/01 22:19
所以我要找主打單核高效能CPU的電腦這樣 ?
pbram : 改用資料庫 05/01 22:21
請問資料庫是指處理軟體的類型嗎? 非IT所以不太懂...
tedcat : 吃cpu 而且必須非常好 05/01 22:21
E6300 : 你說的根本不太可能LAG 一定是連動的計算太多 05/01 22:22
閣下的說法跟我公司前輩說法相同, 那EXCEL連動計算太多的負荷量需要哪方面的硬體來COVER?
hduek153 : excel問題也是個原因 東西越來越多 05/01 22:25
是excel本身的問題嗎? ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:28:18
spfy : 改Access或SQLite....? 05/01 22:27
Sswatt : 2014年後版本的Excel都確定支援多核 05/01 22:33
Sswatt : 6核跟4核的差距最大 8核也比6核快不少 05/01 22:34
Sswatt : 至少買個6核的CPU 多線程比較沒有差別 買個6C6T實在 05/01 22:35
enjoyself : excel 多核?? 真的啊..公司那個正版看來有用處了 05/01 22:36
Sswatt : RAM 8G 就很夠了 05/01 22:37
Sswatt : 對了 我說的是 windows64位元 Mac應該沒支援多核 05/01 22:41
wahaha99 : 海量資料就不該交給Excel..... 05/01 22:51
wahaha99 : 如果能對處理做最佳化, 說不定只要1/10效能就跑得動 05/01 22:52
ccbbaa : 軟體問題吧...數億資料給excel跑? 05/01 22:52
ricky7899 : CPU好一點 RAM16G起跳沒關係 只是EXCEL有點沒救 05/01 22:52
d8846325 : 海量資料要開始就不該交給excel啊! 05/01 22:53
wahaha99 : 簡單來說 Excel不是設計來這樣用的... 05/01 22:53
wahaha99 : 就像你拿超跑載貨 不見得比較快 05/01 22:53
Reshiram : 同意 你是不是用錯工具.. 05/01 22:56
感謝各位高手解惑,我漸漸開始有概念了 之前自己做基本功課後認為需要i5 9400以上+RAM的評估看來八九不離十 上面的硬體問題看來有解決方向了 但專業分工的問題,除非把這種工作交給會資料庫技能的人,不然解決不了對吧 (苦笑) ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 23:05:48
Sswatt : RAM對Excel而言只是存放部分計算結果的 05/01 22:59
Sswatt : 真正慢(卡)的是運算部分 CPU是最大影響因素 05/01 22:59
pha123661 : 海量資料改用access比直接換硬體還有用啦 05/01 23:01
lajji : 請愛用access或sql... 05/01 23:08
spfy : 你這換硬體只是治標 最後必然要換SQL的 05/01 23:09
P14 : 用資料庫 05/01 23:10
Aquarius126 : 你函數串太多層了,初步可以寫巨集把連動的資料切割 05/01 23:26
Aquarius126 : 開,進一步就用資料庫或SQLㄅ 05/01 23:26
kamitengo : 關閉自動重算,最後F9。但要小心服用! 05/01 23:35
ultratimes : 這方面用A13搞不好比i9還強 05/01 23:43
lavign : Excel一個分頁有百萬筆資料的限制 公式再套進去運 05/02 00:22
lavign : 算 電腦就不用動了 05/02 00:22
ariadne : 檔案轉資料庫 見過包商妹子開個excel要15分鐘超無言 05/02 00:45
ariadne : 他就只會那樣用然後檔案累資三年 當時快300M 超奇葩 05/02 00:46
corlos : 用excel就是個錯了 05/02 00:50
HiJimmy : 趁現在轉access 效率真的會高很多 05/02 00:50
HiJimmy : 就是得要會用一些基本的語法 05/02 00:51
maplefoxs : excel資料多很容易轉圈圈耶 05/02 01:36
CJhang : 軟體問題 05/02 01:37
pirrysal : 趁現在換軟體吧 05/02 01:41
ee8iqp7x : 海量... 05/02 01:50
dan8013 : access很好上手的 05/02 01:56
KotoriCute : 終極解決方式就是學資料庫 05/02 02:46
KotoriCute : 想要繼續用office就access 05/02 02:47
lovespre : CPU跟記憶體 然後要用64bit的office版本 05/02 03:46
lovespre : 很多電腦office裝32bit 版本不同跑大檔有差 05/02 03:48
RaiGend0519 : 上次也有一個來問的,Access解決一切問題 05/02 04:21
a2470abc : 資料庫 05/02 04:35
WeAntiTVBS : office安裝片放進去 setup預設進去灌的都是32bit... 05/02 05:21
ventxyz : 資料庫去圖書館借書回來看幾天你就會了 沒啥難度 05/02 07:37
Simonfenix : 無痛Access 有痛SQL之類的 05/02 08:38
hansioux : 改用python pandas就好了 05/02 08:53
buster520798: 熊貓最高 05/02 09:29
mirage13 : 這是軟體問題,你就算改用最簡單的資料庫.還要會簡單 05/02 09:55
mirage13 : SQL語法,基本上excel大概10萬筆資料還能正常跑,超過 05/02 09:56
mirage13 : 就該用資料庫,這樣可以撐到千萬筆的規模,到億筆 05/02 09:58
mirage13 : 就要考慮硬體規劃跟索引檔,還有SQL語法的效能 05/02 09:59
mirage13 : 如果你習慣用Excel了最快的方式是轉存到Access這樣 05/02 10:00
mirage13 : 有部份excel的函式還能通用,不用重新寫函式 05/02 10:01
mirage13 : 如果你決定要轉移到SQLServer資料庫那還是花錢找專 05/02 10:02
mirage13 : 業幫你規劃,沒規劃的資料庫schema比excel還差 05/02 10:04
mirage13 : 千萬筆以下的資料量以目前的資料庫來說都不難 05/02 10:06
mirage13 : 超過千萬筆的會讓你難過倒叫不要不要 05/02 10:07
mirage13 : 我用i7-7700HQ+16GBram+雙SSD跑8千萬筆資料的查詢 05/02 10:10
abc65379 : pandas唯一解 05/02 10:10
mirage13 : 比較Oracle跟SQLServer的查詢效能,說真的差不大 05/02 10:11
XDD : 換掉只會excel的人就解決了 (疑 05/02 10:12
oldmove : SQL語法,看書就會了,沒這麼難好嗎 05/02 10:15
mirage13 : 資料量百萬筆以下,你就算下了會TableScan的SQL是沒 05/02 10:18
mirage13 : 差,超過千萬筆的你下一次就準備被吊起來打了 05/02 10:19
madmic25 : 公司電腦i5-9500f+16G RAM+500G sata SSD開到第二 05/02 10:22
madmic25 : 個Excel之後都卡卡 05/02 10:22
spfy : 其實我一直以為原文是說幾億的"數字" 不是資料筆數 05/02 10:27
spfy : 如果是資料量的話 你公司最好找個專職的DBA... 05/02 10:28
spfy : 不過大家都心裡有數 所以... 05/02 10:31
mirage13 : 用神A的1.8NA引擎拖2兩個20尺貨櫃應該是拖不動吧 05/02 10:36
dd84607dd : 先定義海量 但如果這樣就跑不動你一定得用sql or 05/02 10:44
dd84607dd : python pandas 幫你處理資料 05/02 10:45
waiter337 : sql 05/02 10:56
waiter337 : sql 看書 加水管影片就能會了 05/02 10:56
blueslin : I7-9700一樣卡 難道要用到I9嗎? 05/02 12:18
AkikaCat : Access:Am I a joke ... 05/02 13:14
andyting : 海量?大量?用詞怪怪的 05/02 13:54
pupuliao : 這種需求用資料庫處理拉....就算上億筆也是輕鬆處理 05/02 13:59
jhangyu : 直接換Dataframe操作啦 05/02 19:00
jhangyu : 還用Excel這個莫名bug這麼多的軟體喔? 05/02 19:00
aa2468291 : 處理學生成績 幾十萬筆就覺得excel… 05/02 20:29
aa2468291 : pandas吧 05/02 20:30
Ekmund : 資料量上億筆用excel管理...這在現在算世界奇觀吧 05/02 20:38
ken841520 : 勸你快換資料庫 05/03 01:51
maria001 : 建議還是維持原作業方式。會用Excel處理海量資料的 05/03 02:17
maria001 : 多不是資訊單位,改用Access或SQL只會弄得更累,以 05/03 02:17
maria001 : 後這類業務將都是你處理 05/03 02:17
ortisbaga : 大數據還用excel 根本菜逼八 05/03 09:00
ortisbaga : 都什麼時代了....... 05/03 09:01
eva19452002 : 為什麼沒人推R語言? 05/03 09:51
FA88124 : 推R 語言 + RODBC套件連資料庫 05/03 10:00
jacky841224j: 海量是西岸用語? 05/04 01:28
aidansky0989: 百萬級資料還沒死機啊 05/05 10:05