看板 DataScience 關於我們 聯絡資訊
Keras: Zero trainable params 使用工具: GOOGLE COLAB 小弟目前在練習semi GAN ,目前feature extraction和feature selecion都做完了,想 說利用optuna 訓練semi GAN的discriminator看看能不能進行分類預測 不過現在碰到以下問題,但是很尷尬是我不知道這樣是能定義甚麼類型問題,也不知道怎 麼解決,但很肯定是discriminator訓練失敗 請問我該如何解決呢?? 感謝 以下醜醜的程式碼 https://i.imgur.com/VLznoe5.jpeghttps://i.imgur.com/mf6WwIr.jpeghttps://i.imgu r.com/1VCHkJP.jpeghttps://i.imgur.com/qpC9W5D.jpeghttps://i.imgur.com/MXb7mxn. jpeghttps://i.imgur.com/IgOSVTM.jpeghttps://i.imgur.com/SiWQDai.jpeghttps://i. imgur.com/3dT6NBW.jpeghttps://i.imgur.com/xyPFTEp.jpeghttps://i.imgur.com/LhFK P9c.jpeghttps://i.imgur.com/mEvkQtC.jpeghttps://i.imgur.com/CfMc2rV.jpeghttps: //i.imgur.com/Qq2bfUf.jpeghttps://i.imgur.com/IWOPNA9.jpeg ----- Sent from PttX on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.166.116.202 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1671718360.A.C7E.html
chang1248w: 你的discriminator_n_layer是怎麼來的? 12/22 23:48
chang1248w: summary 能跑就代表autograph 是正常運作的 12/22 23:51
chang1248w: 我只想到2個可能,1是你動到discriminator.trainable 12/22 23:56
chang1248w: 2是你在建立weight 的時候沒有用到tf.Variable,所以 12/22 23:56
chang1248w: tensorflow把它當tf.constant處理 12/22 23:56
chang1248w: 還有第三種是呼叫model的時候餵了trainable=False 12/22 23:59
chang1248w: 不過你把discriminator 拆的這麼徹底.... 12/22 23:59
chang1248w: 最粗暴的解法就是 keras.Model.trainable =True 12/23 00:01
chang1248w: 手動去歷遍layer weight也可以 12/23 00:02
filialpiety: 感謝 12/23 19:13
filialpiety: discriminator_n_layer是tuning的其中一個目標 12/23 19:13
filialpiety: trainable = false 則是照書上寫的來做 12/23 19:13
filialpiety: 也想請問一下有沒有tf Variable 的範例?我看到滿 12/23 19:13
filialpiety: 多人這樣寫的說 12/23 19:13
filialpiety: ,不過不知道怎麼下手來改? 12/23 19:13
chang1248w: 把variable.trainable設成false當然就會辨識為 12/23 21:15
chang1248w: non trainable parameters 啊... 12/23 21:16
chang1248w: 你的那本書應該有說tuning的時候最後面幾層不要 12/23 21:20
chang1248w: freeze,或者加層linear 12/23 21:21
filialpiety: 感謝~我現在把trainable改true後,non-trainable 12/24 05:26
filialpiety: params明顯減 12/24 05:26
filialpiety: 少許多,不過discriminatior 的performance 一樣0. 12/24 05:26
filialpiety: 0 12/24 05:26
filialpiety: 書上沒有做tuning,而是直接針對minst 資料集給nn 12/24 05:26
filialpiety: 固定結構;tun 12/24 05:26
filialpiety: ing 部分是我如法炮製改的,資料則是餵實驗室清乾 12/24 05:26
filialpiety: 淨的資料,目前 12/24 05:26
filialpiety: ensemble ML效果還可以,想說用semi GAN看看能不能 12/24 05:26
filialpiety: 提升預測力, 12/24 05:26
filialpiety: 不過明顯影我技術有問題,效果也不好。想請問deep 12/24 05:26
filialpiety: 在處理結構資料 12/24 05:26
filialpiety: 還有哪幾招可以試? 12/24 05:26
chang1248w: 啥用途? 12/25 01:16
filialpiety: 目前是做supervised learning、semi supervised 應 12/26 14:55
filialpiety: 該沒望了 12/26 14:55
filialpiety: 論文用途~~ 12/26 14:56
chang1248w: 找題目的意思? 12/27 14:40
filialpiety: 題目已經確定了!資料也清乾淨,只是現在在訓練分 12/28 17:43
filialpiety: 類器;ML的scri 12/28 17:43
filialpiety: pt 差不多了!想說弄DL分類器看看,讓自己就業有點 12/28 17:43
filialpiety: 競爭力 12/28 17:43
filialpiety: 畢竟上個實驗室有要求我做DL、花了一年時間看一堆p 12/28 17:43
filialpiety: aper還有課程 12/28 17:43
filialpiety: 。如果DL做不出來我也認了XD 反正DL對硬體要求很高 12/28 17:43
filialpiety: ,也不見得適 12/28 17:43
filialpiety: 合每個議題 12/28 17:43
chang1248w: dl強在把先驗知識融入模型的靈活度 12/29 00:59
chang1248w: 如果你的資料就是幾個數值型的欄位,那一般是比不過 12/29 01:01
chang1248w: ml的方法 12/29 01:01
filialpiety: 先驗知識和後驗知識?!我查一下後不太了解,請問 12/29 15:30
filialpiety: 這部分是在大學 12/29 15:30
filialpiety: 哪個科目內呢?我常常看到先驗機率和後驗機率跟 12/29 15:30
filialpiety: 您提的是不是有 12/29 15:30
filialpiety: 關係? 12/29 15:30
chang1248w: 我個人是理解為資料以外的知識 12/30 14:22
chang1248w: 先/後驗分佈是貝氏統計的部分 12/30 14:22
chang1248w: 應該沒什麼關係 12/30 14:23