Re: [閒聊] 為啥vivy這次這麼聽話

[vacuityhu (真空管)]

推 emptie: 除了堆砌更多沒解釋的名詞，這跟動畫的演出其實相差不大
→ emptie: 。但老實說這還是難以置信的工程壯舉吧。陽電子腦如果不
→ emptie: 是出門的時候踢到一箱圖紙／或是去火星探險的時候發現了
→ emptie: 外星人的遠古遺跡，總會有個研發的過程吧？總會從簡單的
→ emptie: 慢慢進化到複雜吧…？如果是底層的單元就有很大的不一致
→ emptie: 性，他們怎麼那麼有信心堆了幾億個之後封裝的成品動得起
→ emptie: 來？能處理輸入的指令？輸出預期中的行為？能連上其他I/
→ emptie: O設備？難道這個世界的晶圓製造商運氣都很好…？
不好意思...手癢回一下

現在的AI其實完全符合這位朋友的疑問

現在AI主流的基本技術叫做CNN, 摺積神經網路

反正你就想像成是用一種叫做摺積的數學運算去模擬人類大腦的神經網路

更具體來說, 是用大量的摺積運算配一個啟動函數來模擬一個神經元做了甚麼事情

神經元簡單來說, 就是上一個神經元A放電去電下一個神經元B, 藉此來傳遞訊息

只要A放電夠強, B就接收的到, 反之, A受到的刺激不夠放電不夠, B就不會有反應

我們就是用數學運算配合啟動函數來模擬這個A和B溝通的過程

然後

只有A跟B兩個神經元的時候我們還可以給出嚴謹的數學證明來說明中間發生了甚麼事

但現在隨便一個CNN都上萬個神經元在互相連動

訓練過程中到底發生了甚麼事~擲筊問媽祖還比較可靠

雖然各家實驗室跟研究人員都努力給出合理的解釋來說中間到底在幹嘛

但沒有一個解釋是可以用數學證明的

很弔詭吧~?

成千上萬的數學運算堆起來竟然不能用數學去證明跟預測結果會怎樣

這就是現在的AI

確實跟去火星探險發現遠古遺跡很像

然後現在這個人類無法預測的數學運算就安裝在你各位的特斯拉車子裡幫你開車

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.159.150.171 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1620050499.A.F16.html
推 emptie: 但這是軟體層面上我們不了解完全的原理（而且我們也沒放棄
→ emptie: 去研究爲什麼） 寫好的東西你拿去任何相容的平臺都是能跑
→ emptie: 的
軟體層面或硬體層面的差異不影響阿
如果你無法預測一堆碳原子堆起來會怎樣
跟你無法預測這個軟體遇到怎樣的情況會失控
兩個是一樣令人無法信任阿
但現實是
大家還是用得很開心XD

推 OyodoKai: 為什麼沒人願意相信量子力學的魔法 :(
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:07:15
→ emptie: 因爲劇中的科技進步程度很難讓人覺得他們解鎖了量子運算
→ emptie: 的科技吧
推 yosaku: 所以這就是模擬真的人腦運作方式 要是正子腦的資料能被複
→ yosaku: 製 那表示人腦也行了 但就是辦不到
跟劇中的差異在於
我們現在做的神經網路是可以複製的
因為就是一堆數學運算而已
但我們目前的AI跟劇中的AI也根本天差地別
大概就跟一顆精蟲和一個完整的人類這樣的差異一樣吧



推 snowpoint: 量子力學的干擾，應該是神經元訊號在臨界點才比較顯著
→ snowpoint: 因為過於微觀，神經元算是宏觀的東西了
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:10:17
→ snowpoint: 簡單來說你有東西好像快想起來的時候，量子力學有機會
→ snowpoint: 祝你一臂之力XD
推 zxcmoney: 現在的(新AI)主要是帶有隨機要素吧，藉由隨機找出新策略
→ zxcmoney: 但反過來說，就不像舊AI那樣可以逐步拆解了
粗略來講確實是這樣沒錯
但那個隨機過程其實只是為了補足訓練資料的不足而已
你可以想成是為了處理一些更麻煩, 也更難取得訓練資料的任務
我們就用隨機產生的亂數充當訓練資料
然後把真的有幫助到訓練的隨機亂數存下來
追根究柢~其實只是訓練策略比較高明而已
不是神經網路的設計進步
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:15:00
推 hinanaitenco: 事實上 NTK理論已經可以解釋類神經網路的效果跟訓
→ hinanaitenco: 練過程發生啥事了 還可以不用訓練就知道訓練完的理
→ hinanaitenco: 論預測值
推 OyodoKai: 人類到現在還不知道意識從何而來怎麼複製
→ hinanaitenco: 我可以簡單的跟你說類神經網路只是種Gaussian proc
→ hinanaitenco: ess
這個嘛...說實話~我沒接觸過NTK
不過我剛簡單看了一下2018那篇paper
這似乎最多只能說明我們的訓練方式是能收斂的而不會徒然浪費時間
因為我乍看之下證明過程中似乎沒考慮到訓練資料的差異
所以應該還沒辦法在訓練前就知道訓練效果如何吧
而且這個研究只考慮最原始的ANN
顯然還無法回答為什麼CNN會比ANN優異那麼多
然後一堆沒道理的skip connection為什麼會有幫助
不過我還沒有全部看完~
如果哪裡有錯~還請幫忙指正QQ
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:28:44
→ whitecut: CNN翻譯應該是卷積神經網路吧，純粹想吐槽這點
支語警察認真如我~一定馬上回答你這個問題XD
https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:30:38
推 hinanaitenco: 你看的那篇只是開始 後面CNTK RNTK  等架構都證明
→ hinanaitenco: 出來了
→ hinanaitenco: NTK 他的特性是data independent的
→ hinanaitenco: 你要算結果只要把t 設無限就等於train 完 (收斂
進度這麼快QQ
不過data independent不太合理吧?
實作上很明顯好的訓練資料跟差的訓練資料做起來就是有差啊
不然照這樣來說, 我只要有無限的時間跟計算資源
就算訓練資料全部丟隨機亂數下去跑~最後也能訓練出表現很好的NN嗎??
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:34:36
→ hinanaitenco: 你要train到一半的預測值都有 改t就可以了
→ hinanaitenco: connection是讓每次feed forward過程 近似GP
→ hinanaitenco: 所以越寬越逼近真正的高斯分佈 神經網路就越強
→ hinanaitenco: 你那是inference 的時候才要丟資料
→ hinanaitenco: NTK是種kernel methods
→ hinanaitenco: 他的kernel function 是建立在一個Target network
→ hinanaitenco: 的
→ hinanaitenco: 你要看網路越寬的好處 可以去查 double descent
→ hinanaitenco: 這一套理論你看完 會對類神經網路有更進一步了解
→ hinanaitenco: 需要相關論文可以站內 我研究蠻多的
已私~~

推 smallminhaha: 請問……這裡是哪裡……@@
推 WindSucker: holo的靈壓
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 23:49:03
推 littletip: 我懂了。樓下的各位都懂了嗎？
推 emiya5352: 跟我十年前想的結果一樣
推 neo10025696: 我都稱那個過程為黑箱，問媽祖讓我笑了
推 piyieen: 嗯嗯 跟我想的一樣
推 greed3819: 這篇先收藏 搞不好以後報告用得到
推 kohanchen: alphago工程師就有講他們完全不知道阿發狗是怎麼推理
→ kohanchen: 棋局的
噓 mirror0227: CNN翻譯是卷積類神經網路
→ mirror0227: https://terms.naer.edu.tw 網址貼不上來你自己查
推 mirror0227: 補推 然後像CNN比ANN優異這句話其實是假的
→ mirror0227: 只是參數被constraint比較好訓練
→ mirror0227: skip connection也是為了限制讓前面的layer可以在後面
→ mirror0227: 也被參考 當初這些架構會被propose出來都是有想改善
→ mirror0227: 的方向 沒有像你說的都是黑盒子那麼誇張
→ mirror0227: 真要比的話你我的大腦還比較像黑盒子 但大家卻很習慣
推 weebeer626: 不明覺厲， 有入門的東西可以了解嗎