推 fairwind:謝謝版主及上篇推文的版友們 我會試著跟老師反映 03/16 23:51
※ 引述《fairwind (應天風)》之銘言：
: 想請問大家SAS在跑大資料時所需的時間
: 資料檔約5G左右
: 下面是研究室新購的配備
: =============================
: CPU：Intel i7-940
: RAM：Transcend DDR3 1333 2G*6
: HDD：Hitachi 640G
: O.S：WinXP pro 32bit
: =============================
: 資料檔80多萬筆,700多個變數
: 跑一些基本的程式 就會很久(其實老師大概只試20分鐘)
: 老師沒有很滿意 想請問像這種大資料檔一般的處理時間約為多少?
: 還有一個問題是 學校的SAS(9.13)只支援32bit的作業系統
: 如果換成x64的系統 也就是記憶體可以讀到12G 跑程式的時間會大幅減少嗎
: 想請教有經驗的版友們
: 謝謝
電腦設備
CPU：Intel E8400
RAM：威剛 DDR2 800 2G*2
HDD：Hitachi 640G (不是那麼重要)
O.S：WinXP pro 32bit
我跑250G的資料(日內資料 每天一個檔案)
花一個多小時整理好
重點是 我把資料切割處理
最後在合併成最終檔案(每日整理出最後檔案檔案會很小)
另外
如果不是700多個變數要一起處理
我會建議先把檔案切割出來 (另外存檔)
每次都針對要處理的變項跑就好
保證會比較快
個人經驗 當檔案變成原來的兩倍大時
SAS執行的時間會是原來檔案的4倍
(當然這只是概估 也僅是個人經驗)
這些都是能讓執行程式時間變短的關鍵因素
當然 妳們也可以花錢 買到 可以5G的資料 SAS執行程式時間只要幾秒鐘
那麼那時候 管他變成原來的4倍
5秒鐘變到20秒鐘
你連上廁所的時間都來不及
也就不需要改程式
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 125.225.38.15