→ clang: training time還有gradient的記憶體消耗 04/17 23:36
→ yiefaung: 10*4是?? float32?? byte bit?? 04/18 02:50
→ ScottOAO: 還有 model operator 也在 gpu 上 04/18 19:35
請問如果我建一個CNN參數一千萬
輸入圖片大小64*64 pixel大小
batch size 設32
那我GPU (CUDA)的記憶體使用量大概是
10* 4 + 32 *64 *64* 3 (彩色3channel)/10^6
NN大小 + 圖片一個batch總共大小
MBytes
這樣算對嗎?
謝謝各位高手了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.15.78
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1555509078.A.E84.html