[問題] 關於 Object serialization 速度

[airzone (轉職成功)]

Dears,
請問下大家在 serialize python object 到 disk 時有使用過哪些 library 呢 ?
我要處理的資料型態是 dict 包 dict 這種包 n 層的物件，使用 shelve 這個 library
處理起來速度真是令人難以接受，資料量一大到五十幾萬筆時，固定會卡住九至十分鐘

有版友有使用過其它不錯的 library 能快速的的把 python object 寫到檔案裡去的嗎

Thanks

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 114.36.205.120
推 hukhuk:pickle？
→ airzone:哈，shelve 底層就是用 cPickle 實作的
→ kdjf:這麼多的東西不考慮放db裡嗎？
→ airzone:實不相暪，我是maintain前人留下來的code 速度一整個糟
→ airzone:真的找不到的到我要再想想怎麼存到 sqlite 了
→ AlanSung:protobuf?
推 doghib:利用 cPickle + StringIO?  先將資料dump到 StringIO中
→ doghib:再一次將這些資料 寫到硬碟中，減少硬碟IO次數
→ doghib:不知道這樣的做法O不OK?
推 retard:db 的特性比較偏快讀慢寫 如果可以的話 轉成 struct 再寫出
→ retard:純資料 serial 的話試試看 json 或看看有沒有 cjson 可用