[討論] Dense layer 的特性

[acctouhou (acctouhou)]

最近在研究Similarity of Neural Network Representations Revisited，主要是通過比
較layers的output是否正交，用以確定每個layer使否確實都有作用。
讀完以後我想說是否權重也存在方法可以得出哪個network學習的比較出色之類，所以我
想先從dense layer出發，想說他的weight是否有存在一些假設，例如訓練完後權重仍接
近均勻分布是否有對應的性質之類的?
在網路上搜尋一圈好像沒看到再講這一塊比較基礎的，想請問各位是否有相關資訊。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.147.127 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1607867007.A.B65.html
推 wtchen: regularization?
有點沒get到這跟正則有甚麼關係
推 goldflower: 應該沒啥假設吧 大多用orthogonal initialization加
→ goldflower: 上loss constraint去達成你想要的正交效果 但我有用
→ goldflower: 的都是去要求layer內的weight正交 output間正交或許
→ goldflower: 可以參考看看orthogonal low rank embedding這篇？
理想的output是正交，但是weight也適用的文章我還沒看過。 當前dense layer的大多預
設是採用uniform distribution，然後train好後大部分都會變成高斯分佈，主要是卡在
這個分佈的轉換有沒有相關的研究。像你提到的ole就透過修改loss迫使網路呈現出這特
定性質。
推 wtchen: 若你是用NN做迴歸，想看各輸入參數(x1, x2, ...)是否正交
→ wtchen: 那你應該是在做NN前就該確定了
→ wtchen: 把X形成的矩陣做特徵分解不就行了？
不是討論feature的問題，而是單純討論information在layer之間傳遞的變化。
推 goldflower: 跟輸入正交沒啥關係
起因是我發現有些Network在well-train後weight仍是uniform，這個現象我認為有點反常
，畢竟normal比較符合少數資訊決定結果的假設。
※ 編輯: acctouhou (42.72.241.212 臺灣), 12/15/2020 17:28:28
推 yiefaung: over-parameterization的話很正常吧 不然哪來這麼多prun
→ yiefaung: ing空間
→ yiefaung: regularization可以看作是對weight分佈的假設 可以跟MLE
→ yiefaung:  MAP等關鍵字一起搜索看看