[問題] SAS讀取巨量資料問題

[buski (......)]

如果是跟統計軟體有關請重發文章，使用程式做為分類。
統計軟體，如SPSS, AMOS, SAS, R, STATA, Eviews，請都使用程式做為分類
請詳述問題內容，以利板友幫忙解答，過短文章依板規處置，請注意。
為避免版面混亂，請勿手動置底問題，善用E做檔案編輯


工作上使用SAS的 Proc Import這個指令讀取一個非常龐大的文字檔(約400 GB)
並轉存成SAS的資料檔。

居然發現兩台電腦所匯入後的資料筆數居然會不一樣，基本上兩台電腦空間都足夠。
一樣的程式碼，一樣的來源檔。

電腦A:工作站等級 INTEL 32核CPU / RAM:16GB

匯入之後的資料筆數是七千多萬多筆

電腦B: 家用桌機  AMD Ryzen 3800 / RAM:32GB

匯入之後的筆數是八億多筆

差異非常大，SAS 的LOG沒見到任何錯誤或警示訊息。 兩台都跑了三遍結果一樣。
匯入過程透過工作管理員去檢視記憶體使用情形，也大都在6-9GB之間，並沒有吃滿。

請問這是什麼問題呢?? 謝謝!





--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.194.85 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1628612305.A.798.html
推 west1996: sas軟體版本，sas編碼，os編碼都一樣嗎？匯入的檔案格式
→ west1996: 是什麼？七千萬跟八億哪個答案才是對的？
→ west1996: 另外，直接檢視兩個檔案的前幾十筆資料彼此是否相同，跟
→ west1996: raw data又是否相同，可能就直接可以看出問題是什麼了
→ buski: 後來找到問題了，記憶體不足SAS會將資料切割，沒注意到NOTE
→ buski: 在log裡面有一行提醒資料是被truncated。所以八億多是正確
→ buski: 所以看來SAS內部有記憶體使用的限制，不會用到滿。
→ buski: 可能會因應硬體的最大值做一定比例的運用??
推 west1996: cofig檔中有一個memsize的參數會限制sas的記憶體使用量
→ west1996: ，有需要可以改
→ west1996: https://documentation.sas.com/doc/en/pgmsascdc/9.4_3
→ west1996: .5/hostwin/n0srij4mcdpzv2n1vtphltb00xjw.htm
→ buski: 感覺不完全是這個問題，軟體預設是2G，但是兩台電腦都遠大
→ buski: 於2G，如果是這個限制的話，應該兩台都會切資料。