看板 Statistics 關於我們 聯絡資訊
------------------------------------------------------------------------ [軟體程式類別]: SAS [程式問題]: 如何提高讀檔效率 [軟體熟悉度]: 中(3個月到1年) [問題敘述]: 有筆處理過的大資料約有500mb,我用proc export將之輸出。原本習慣 dbms=csv的方式存檔,因為方便excel做後續處理。但是存檔之後利用 proc import時卻發現sas讀取該資料的速度滿慢的, 請問各位sas存取大資料時,應設選擇哪一種格式才能讓sas的 讀取的速度較快? sas支援的dbms格式: http://www.tau.ac.il/cc/pages/docs/sas8/proc/z0316288.htm [程式範例]: ----------------------------------------------------------------------------- 謝謝^^" -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.112.86.136
tew:如果可以,EXCEL處理的東西可以用SAS來處理 10/02 00:13
tew:基本上我都是處理到最後才會輸出到xls檔 10/02 00:14
tew:否則,500mb的確是要讀一陣子 10/02 00:14
kingbee:500M資料大讀取本來就久 但我習慣會先轉dat 或 txt 10/02 13:31
kingbee:因為excel有一個很頭痛的格式"通用格式" 這個問題孰大孰小 10/02 13:32
kingbee:端看你有沒有遇過這個問題而定 10/02 13:32
kingbee:若想帶有變相格式 我都會用Excel轉 dbf 型態在讀 方便很多 10/02 13:33
kingbee:我有個疑問你用SAS轉出檔案至excel檔時 你有注意過觀察值 10/02 16:44
kingbee:你的資料量多大和轉到excel時的資料量一樣嗎 10/02 16:45
kingbee:excel XP版只能上限65535筆資料 2007版好像也只能到幾百萬 10/02 16:46
bcs:我用csv為外存格式可以存到1千多萬筆 用sas進來也是這數字 10/02 22:25
bcs:沒用過excel開過,所以不知excel裡能顯示的觀測值數為多少 10/02 22:28
sneak: 500M資料大讀取本來 https://muxiv.com 01/02 14:58