[問題] 資料輸出 write.csv 速度慢

[f496328mm (為什麼會流淚)]

- 問題: 當你想要問問題時，請使用這個類別

[問題類型]:
效能諮詢(我想讓R 跑更快)

[軟體熟悉度]:
使用者(已經有用R 做過不少作品)

[問題敘述]:

我目前使用write.csv輸出data，再利用bigmemory輸出des/bin檔，

因為資料量有點多，總共超過100G，只能利用這樣的方式，降低RAM的使用量

實際上是，有將近50種變數，每個大約2~3GB，

想問問看有沒有其他的方法，目前可能會朝購買SSD的方向走

直接買1TB的SSD

PS :

做data mining，不知道重要變數，所以只好生一堆變數出來，

再用一些演算法去降維


謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.66.209.212
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1478527228.A.4F9.html
推 Edster: 輸出成RData吧，容量小很多:save(X, file = "abc.RData")
推 Edster: 若是要csv, 可考慮readr::write_csv, 但他用;分隔
→ Edster: excel打開格式會跑掉.
謝謝  我試試看
※ 編輯: f496328mm (114.36.53.214), 11/07/2016 22:15:56
→ celestialgod: data.table fwrite
library(data.table)
?fwrite

找不到耶??

上網GOOGLE   好像被拿掉了@@
※ 編輯: f496328mm (114.36.53.214), 11/07/2016 22:45:55
→ celestialgod: devtools::install_github("Rdatatable/data.table"
→ celestialgod: )
→ celestialgod: 還在development階段
那有可能會不穩嗎?
※ 編輯: f496328mm (114.36.53.214), 11/07/2016 23:03:25
→ celestialgod: 你如果要來拿production就建議不要
→ celestialgod: 訓練資料，自己玩，我覺得還算穩定
好
謝謝

我網路上看，fwrite之前在data.table裡，不知道為什麼拿掉了，可能是去改進吧
※ 編輯: f496328mm (42.66.209.212), 11/07/2016 23:14:07
推 cywhale: https://goo.gl/SiQQCf 1.9.8後fwrite會以平行處理輸出

所以要1.9.8以後才會有這個函數嗎?   fwrite
※ 編輯: f496328mm (42.66.209.212), 11/07/2016 23:26:03
→ celestialgod: https://github.com/Rdatatable/data.table/issues/
→ celestialgod: 1664
→ celestialgod: 他還有一些問題沒修正
→ celestialgod: 基本上是1.9.8才會正式RELEASE這個函數
→ celestialgod: 我記得沒錯的話 最後一碼是奇數 現在都被稱作
→ celestialgod: 開發版本，偶數是正是釋出版
→ Wush978: binary format, ex: protocol buffer
→ Wush978: 或是saveRDS之類的函數
→ Wush978: fwrite 那些應該只是csv 的存取快，但是若你的選擇不只是
→ Wush978: csv, 用binary一般來說會快滿多的