[問題] autoencoder一定要對稱嗎

[disney82231 (小刀會序曲)]

如題，網路看到的教學基本上都是對稱的，但理論上好像沒有強制一定要對稱，但是如果
不對稱，對於重建資料又好像不太合理？

另外，我隱藏層神經元個數一定要小於輸入層嗎？可以先大於輸入層，最後在縮減成小於
輸入層嗎？

舉例如下

對稱：784>256>256>784

非對稱784>1024>256>256>784

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.12.114 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1563944129.A.927.html
推 st1009: 我想這種事沒有一定，只要你實驗結果好，並且提出一個合理
→ st1009: 造成這個結果的推論就好。
但其實很多都是試誤法，沒有辦法解釋為什麼要這樣，只是剛好這樣做能提高模型表現，
那樣該怎麼辦呢
→ st1009: 是說我隨便找一篇論文 https://reurl.cc/NW5b6
→ st1009: 隱藏層都是大於輸入層阿... 這一定有甚麼誤會(歪頭
謝謝各位回覆，如果要進行特徵選取，但隱藏層大於輸入層就會變的很矛盾，所以才會上
來詢問
推 sssh: 李宏毅有說不必要對稱，其實如果知道只是一個encoder跟一個
→ sssh: decoder，我想就沒有非得要對稱了吧
謝謝你的回覆，我了解了
※ 編輯: disney82231 (111.241.12.114 臺灣), 07/24/2019 15:13:12
推 sxy67230: 沒有說一定要對稱啊，真的會需要對稱是很古早上古年代
→ sxy67230: 的事情，那個時候大家還說共享兩個的權重，但是後來發現
→ sxy67230: 真的沒必要。
推 st1009: 沒法解釋就用更多數據和實驗證明他是好的吧
推 tipsofwarren: 對稱應為：784>256>784
推 leo0519: 我都直接用PCA
推 zxp9505007: Pca快又準
推 tipsofwarren: 時間序列可以用PCA?
推 sxy67230: 其實是可以，但是不是直接喂序列進去，可能要做一些轉
→ sxy67230: 秩成週期的矩陣，在用矩陣來做svd分解
推 sxy67230: 這樣理論上是能分出成份波
推 tipsofwarren: PCA 精神上就是找出Variance 大的features,序列來
→ tipsofwarren: 看，有可能Variance 忽大忽小，這是我的疑惑。
→ WengeKong: PCA是線性的，壓縮率比不上NN
推 sxy67230: 所以說這個週期矩陣應該是要covariance的矩陣，理論上
→ sxy67230: 來說轉換出來的應該是要頻譜資訊在來做svd這樣才能確保v
→ sxy67230: ariance的一致性。