[問題] 深度學習 圖片儲存

[ctr1 (【積π】)]

想請教個圖片儲存的問題

若每天都產生10萬張左右的圖片

一張圖片約3kb

所以一天約300mb的圖片

深度學習的模型需要定期re-train

也可以定期清圖片

想請問板上各位大大

圖片如何儲存較好

目前我會的只有把圖片路徑資訊寫入DB

圖片存放在硬碟

是否還有別的更有效率的重複使用的方法

麻煩各位大大開釋了

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.182.151 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1607102811.A.BA5.html
※ 編輯: ctr1 (118.160.182.151 臺灣), 12/05/2020 02:16:26
推 Freddy122: npy檔
推 kokolotl: lmdb dali
推 janus7799: HDF常用而且讀取效率高，寫Tensorflow的話TFRecord也
→ janus7799: 不錯，Pytorch可以嘗試zarr。
推 tipsofwarren: 冒昧問, 為什麼不用 png 檔? loseless. 路徑我是
→ tipsofwarren: 動態生成(有一定的 format), dataloader 的
→ tipsofwarren: num_workers 設定大一些. (我是指 pytorch)
→ tipsofwarren: 我每一張 file size 約 30K