作者wallrose (牆玫瑰)
看板Python
標題[問題] 如何在jupyter中跑大型專案?
時間Tue Feb 20 03:59:44 2018
想請問
我有很多個dataset
每一個dataset要建一個模型(tensorflow)
於是 每一個dataset 寫一個ipynb檔
這樣能夠看清楚 每一個dataset的建模情況
然後一個個手動啟動 => 執行完再關掉 => 再開下一個檔
因為之前只是demo 所以量不大 這樣做沒問題
現在要跑正式的實驗 資料量非常大
我希望能夠一次設計好流程 讓電腦自己慢慢跑
並且 每個檔案跑完之後 打開檔案時能留下結果
(ipynb 或 html皆可, 但html佳)
有辦法寫個main檔 就依序執行完所有檔案嗎？
平常我會用 %run 指令執行一些ipynb
但這樣似乎 沒辦法在個別檔案中留下結果
補充：
由於gpu記憶體只有6g
一定要依序執行，並且執行完要shutdown釋放記憶體
才有辦法跑下一個檔案
以上基於jupyter notebook發問
如果真的不行.....也歡迎推薦其他IDE
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.120.242.1
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1519070387.A.AFC.html
推 WunoW: 幫推一下，正好也在想類似問題 02/20 10:31
推 groovy2016: 可以寫class包成module ? 02/20 11:50
推 vi000246: 我有google到這指令 --stdout 你研究看看能不能輸出結果 02/20 13:20
推 leoloveivy: 如果你只是覺得程式碼很長你用滾很久import進來啊 02/21 20:54
推 kimutaka: 推一個, 也想知道有沒有好方法 02/22 04:51
推 sma1033: 我覺得Jupyter其實本身設計就不是很方便做大型系統的開發 02/22 15:38
→ sma1033: 他的價值應賅是讓使用者可以方便的測試、除錯與教學 02/22 15:39
→ goldflower: 看起來是你要的? 不過我沒跑過 02/22 22:52