Re: [問題] autoencoder一定要對稱嗎

[PyTorch (背後骯髒的PY火炬)]

※ 引述《disney82231 (小刀會序曲)》之銘言：
: 如題，網路看到的教學基本上都是對稱的，但理論上好像沒有強制一定要對稱，但是如果
: 不對稱，對於重建資料又好像不太合理？
: 另外，我隱藏層神經元個數一定要小於輸入層嗎？可以先大於輸入層，最後在縮減成小於
: 輸入層嗎？
: 舉例如下
: 對稱：784>256>256>784
: 非對稱784>1024>256>256>784

如果是非對稱 哪邊要比較複雜？

這是個很有趣的問題

encoder一般是把高維map到低維

decoder一般是把低維map到高維

哪一邊要比較複雜？

今天假設我有1000張寶可夢圖片 每張512*512 pixel

如果用encoder壓到2*2 這4個pexel錯一個pixel影響多大？

如果我再用decoder映回512*512 錯一個pixel影響多大？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.77.172 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1564632130.A.378.html
推 acctouhou: 這也有問題吧 高維降到低維比低維升到高維相對不容易出
→ acctouhou: 錯啊
推 acctouhou: 影響大 逞罰也大   問題是資訊的複雜度在決定到底誰需
→ acctouhou: 要比較複雜吧？
我是這樣認為 高維的資訊 存在冗餘
要從低維擴展到高維是比較簡單的
但是從高維壓縮成低維是比較難的
當然跟資料怎麼分布也有關係 這可以當信仰看看就好
※ 編輯: PyTorch (140.112.73.11 臺灣), 08/01/2019 13:53:12