看板 Statistics 關於我們 聯絡資訊
雖然是硬體問題, 但在電腦相關的板和 mobile01 搜尋和發問, 都沒有好的解答,也許在統計板或許反而可以有解, 故來板上發問看看。 預定著手碩士論文的寫作, 沒意外會是用 Big Data 的資料處理法做金融方面的主題, 因為資料量將會很龐大,故須購置一台筆電(學校沒有配給我電腦), 於是選擇電腦型號出現問題。 據老師表示,以期貨來說,一個月就有 70~80 萬筆資料, 所以我用來做論文的資料量或許會有幾百萬筆 (資料結構會是如何我還不清楚), 私心想要輕薄型電腦,畢竟頻繁往來圖書館或研究室, 甚至跨校作業時便攜性很重要。 然而時下輕薄型電腦(姑且粗略定義為 14" 螢幕機體大小及 1.7kgs 以下), 接配備 U 系列的CPU, 配備 HQ 系列的CPU大概是沒有小於 15.6" 螢幕機體大小且小於 2kgs 的, 想請教板上先進,使用U系列的CPU做 Big Data 的分析是否堪用? (愚見關鍵是在CPU的樣子,所以作為先決要件;  記憶體會在預算考量及機種支援下盡量最大化。) 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.120.81 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1508407483.A.615.html
andrew43: ram 不夠會比 CPU 不夠更嚴重。先估你要多少 ram10/19 18:09
andrew43: cpu 主要看運算有多複雜,但老實說coding影響更大。10/19 18:10
不巧的是當下記憶體報價高檔,所以在「跑得動」的情況下, 我會配至少16GB的DDR4記憶體。 CPU如果U系列的運算足堪應付的話, 我會考慮捏一下上八代(真四核)的U。 ※ 編輯: JefferyTseng (140.127.120.81), 10/19/2017 18:14:45
Wush978: 先估計你需要的RAM個數。直接跟老師要個一萬筆資料,讀到10/19 20:25
Wush978: R/python之中利用API (R 用 object.size, python 我不知)10/19 20:26
Wush978: 查記憶體用量。然後乘以1000就是千萬筆資料需要的記憶體 10/19 20:26
Wush978: 然後再乘以2,就差不多是你要穩穩整理資料需要的記憶體10/19 20:26
Wush978: 如果你的記憶體低於我上面講的方法算出來的數字,整理資 10/19 20:27
Wush978: 料會比較辛苦一點。10/19 20:28
Wush978: 另外資料分析我比較推桌機,比筆電便宜,長時間跑也可以10/19 20:29
Wush978: 放著10/19 20:29
pelicanper: U基本上就掰了10/20 08:01
DIDIMIN: 幾百萬筆資料用一般 ultra book 就好,樣本沒有很大10/20 09:00
jupit: 期貨資料也就只是OHLC四個數字,一天不超過10萬個tick,所以10/20 19:10
jupit: 相當於一天資料量頂多2M,我看用P4+8g ram就夠了吧10/20 19:12
luenchang: big data為何不在server裡分析? local的電腦就當成一10/22 10:32
luenchang: 個access server的介面。能動就好了。10/22 10:32
抱歉我對資訊的部分不是很懂, 請問該如何在 server 內分析呢? 這樣我選購 U 系列的 CPU 機種(Ultrabook)就可以了嗎? 謝謝。 ※ 編輯: JefferyTseng (42.77.201.87), 10/23/2017 22:24:18
andrew43: 首先要有一台server,通常是幾十萬的工作站。 10/24 03:16
andrew43: 你可以先按Wush的建議測試,不然只是空談了。 10/24 03:18
andrew43: 如果不知道怎麼估需求,急的話就買你想買的吧。反正如果 10/24 03:25
andrew43: 不夠用的時候自然就會去找台高效桌機了。 10/24 03:26
errard: Big data 筆電隨便ultra book就可以了,然後google cloud 10/24 12:28
errard: computing或組一台桌機。 10/24 12:28
errard: 要筆電硬跑big data 很難,你創個10k*10k大小的矩陣,算一 10/24 12:30
errard: 下inverse看要多久。 10/24 12:30
cd12631: 認真要固定跑當然用server跑就好 筆電買順眼的就好 10/24 16:07
cd12631: 就算你筆電可以跑 難道你就整天瞪著你的筆電等他跑不做其 10/24 16:08
cd12631: 他事嗎? 10/24 16:09
cd12631: 其實我覺得這種配備應該要求實驗室配給你 10/24 16:09
goshfju: 好慘 10/25 01:47
goshfju: 要馬兒好 又要馬兒不吃草的感覺 10/25 01:47
感謝大家的建議,因為可能做完一次論文, 就不會再用到需要效能的電腦, 所以 1.如果筆電,甚至桌電達不到這樣的需求,其實想省下這筆錢,  昨天研究了 Google Cloud Computing,但能找到的中文資料不多,還在摸索。 2.如果高效能的筆電可以符合需求,就買台 Intel 七代 HQ CPU 搭  16GB RAM 以上的 Notebook,出掉手邊的 Intel 3 代 I5 CPU 的 Notebook  (暫定 Acer A715-71G-54UE,CPU:I5-7300HQ)。 3.如果 Ultrabook 能辦到,就賣掉現有的平板電腦(Surface pro 3,I5,4GB RAM),  以及 Intel 3 代 I5 CPU 的 Notebook。  購入搭七代或八代 I5 CPU 的 ASUS UX410、UX430、S410、S510、T304  或 Acer Swift 5、Swift 3,可擴充的機型記憶體就擴充至 16GB 或 20GB。 4.如果桌電可以滿足需求,不得已就也只能組一台,但是不能在老家、租屋處、  學校間帶來帶去真是亂不方便的。 另外網路上有人建議組 GPU。(現在才知道還有這種用法,但不知道怎麼組就是了。) ※ 編輯: JefferyTseng (140.127.120.81), 10/26/2017 15:22:15
celestialgod: GPU就免了吧... 10/26 18:48
bearching: 可以去PC_Shopping板問問,如果在硬體限制的情況下, 10/27 16:22
bearching: 是否要試試用Stata處理資料? 我處理一百多萬筆的資料 10/27 16:22
bearching: 約20個變數以上,用AsusTA205的小筆電都跑得動,不 10/27 16:23
bearching: 過比較慢就是了XD 可以同時讀一些paper 看你要怎麼跑 10/27 16:23
bearching: 資料,方法跟變數先選個大概就可以決定硬體了 10/27 16:24
請問大大說的是這台(Asus X205TA)嗎? https://www.asus.com/us/Laptops/ASUS_EeeBook_X205TA/specifications/ ※ 編輯: JefferyTseng (140.127.120.81), 10/28/2017 14:36:30
f496328mm: 認真說 筆電U系列蠻弱的 CPU 常常操到掛掉 10/28 15:18
f496328mm: 筆電不用到 I7 RAM還比較重要 10/28 15:20
f496328mm: 要是真的沒辦法 就分批處理 DATA 吧 10/28 15:22
f496328mm: 會比較麻煩就是了 10/28 15:22