[問題] AI是黑箱？

[dharma (達)]

人工智慧發展迄今，取得較大進展的有兩個領域：圖形辨識和自然語言，而常使用的工
具有卷積神經網路(Convolutional Neural Network；CNN)和遞歸神經網路 (Recurrent
Neural Network；RNN)。以CNN為例，程式精簡寫來不過百來行，其結構也明確，一或多
個卷積層(convolution layer)、頂端的全連通層(fully connected layer)、池化層
(pooling layer)等，但是究竟如何從一資料庫中學習、建立模型，以及如何對真實案例
給指令、下判斷，目前還是黑箱。
https://www.digitimes.com.tw/col/article.asp?id=1028



沒有深入研究

只知皮毛


覺得奇怪的是

現在的AI程式和硬體

不管再怎麼複雜

終究是人類寫出來的

根本就可說是百分之百透明啊


這樣只能說人類如果要仔細分析AI跑的過程

要花很多時間精力


並不能說AI是黑箱啊

Thanks

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.72.78.253 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1560094802.A.8C0.html
→ sma1033: 黑箱只是比喻，講的是很難用簡單邏輯來描述或解釋行為
→ sma1033: 就跟電腦裡所有的random變數都非真正random一樣
→ sma1033: 即使不是random，你可能也很難完全掌握所有資訊與狀態
→ sxy67230: 黑箱只是方便跟外面的人解釋而已，解釋XX is some speci
→ sxy67230: fic function 這件事情，其實就是利用一個算法去擬合一
→ sxy67230: 個空間中可能線性也可能非線性的資料集而已，而那個東
→ sxy67230: 西可能是一個線性方程式也可能不是一個線性方程式，這
→ sxy67230: 個方程是機器利用訓練資料學習出來的。
推 TuCH: 就跟福爾摩斯的推理過程一樣 對一般人根本是黑箱
推 st1009: 我個人覺得依照現在的理論，你花很多時間可以看見他的每個
→ st1009: 過程，但未必可以真的理解他為何會這樣
推 zxp9505007: 無法debug 所以叫黑箱
→ zxp9505007: 有修過類神經網路就知道 黑箱這個比喻真的很貼切
→ f496328mm: 因為無法解釋阿
→ f496328mm: 過去統計上的迴歸，還有一些理論基礎
→ f496328mm: NN 就暴力法，一堆 random 因素，根本無法解釋
→ f496328mm: 不過實際上，NN解決的問題，的確很抽象
→ f496328mm: 有些根本無法給清楚的定義
→ f496328mm: 最簡單的貓狗辨識，你怎麼定義貓狗圖像?
推 sma1033: 我個人其實覺得貓狗圖像還是可以被定義出來，只是很複雜
→ sma1033: 沒辦法用10個參數來定義，但是可能可以用100萬個參數來
→ sma1033: 描述資料分布的情形，我認為跟「無法定義」還是不大一樣
推 maoc: 我個人認為：黑箱就是不用懂也能算出結果的意思。不懂線代，
→ maoc: 迴歸也就黑箱了！
→ sxy67230: 沒有什麼不能理解的，說穿了，NN只是多層複雜化的logist
→ sxy67230: ic regressions ，自然他很容易擬合出非線性方程。Convo
→ sxy67230: lution 、Recurrence 、Attention實際上的功用就是把特
→ sxy67230: 徵映射到更高維的空間的特徵變換Function。貓狗圖像一
→ sxy67230: 樣可以用svm、hog的方式經過調參跟filter找到特徵跟分
→ sxy67230: 類，只是cnn目前取代了這些需要仰賴專家的傳統方法而已
→ sxy67230: 。logistic regression 也有kernel 的方法可以解決非線
→ sxy67230: 性的問題，但是gpu當道的時代，大家覺得NN+gpu加上googl
→ sxy67230: e加持讓一堆人都覺得deep就是潮。
→ sxy67230: 如果NN真的是無法理解的，那神經網路壓縮的那些方法像是
→ sxy67230: pruning也會無效才對
推 yiefaung: 文中說的黑箱跟我們一般談到的黑箱不太一樣 可解釋性差
→ yiefaung:  調參像煉丹 不知道為何可以導致無法確定潛在風險才是
→ yiefaung: 問題
→ sxy67230: 同意樓上的真的要說黑箱的部分就是神經網路的調參有很大
→ sxy67230: 部分的經驗法則在，有時候參數設定沒什麼道理，但是整
→ sxy67230: 體算法卻是可以解釋的，符合直覺的。
推 thefattiger: sxy講的似乎有點偏了，nn本身當然是可以理解的
→ thefattiger: 黑箱指的應該是nn擬合出來的函數人類難以理解
→ thefattiger: 不然也不會有人在搞XAI了
→ thefattiger: nn說穿了就是curve fitting，只是fit的參數超多而已
推 bboybighead2: 很多人不懂線代 解釋迴歸係數還是嚇嚇叫 這不是被稱
→ bboybighead2: 做黑箱的原因，函數的可解釋性才是主因
推 erre: 做矩陣自乘拿博士也是覺得自己會線代，很難嗎…
推 j0958322080: 我的話要會SVD跟JORDAN FORM才敢說我會線代
推 thefattiger: 會線代是很奇怪的說法，就只是個基本的工具但範圍很
→ thefattiger: 廣，通常都只會熟常有用到的那些吧
推 sarsman: 以往解一個問題是定義一個函數，問題帶入該函數求出答案
→ sarsman: ；而NN是定義一個「定義一群函數」的函數，問題帶入那一
→ sarsman: 群函數求出答案，而那一群函數就是黑箱
推 Ericz7000: 我覺得數值方法中的optimization跟機器學習蠻相似的
→ sxy67230: 機器學習中的optimization就是來自於最佳化啊
推 cybermeow: 連用sgd train的over parameterized network為什麼可以
→ cybermeow: generalize well都一堆正在研究了 你說不是黑箱
→ cybermeow: 連loss的landscape長怎樣都不知道 像是什麼mode connec
→ cybermeow: tivity
→ shaform: 也沒人知道人類為何學習可以generalize well，但倒是沒
→ shaform: 人特別說人類的決定是黑箱 @@
→ shaform: 也沒人知道人類有沒有loss，有的話 landscape 是什麼
推 littleyuan: 無法解釋給高層或客戶聽得懂 所以黑箱
→ littleyuan: rule based 很好解釋 只要有domain knowledge就能理
→ littleyuan: 解程式為什麼這樣寫 deep learning無法和人解釋
推 BrowningZen: 用alphago的例子就是 棋手照著下一定會嬴 可是不知道
→ BrowningZen: 怎麼嬴 下這步的想法是什麼
噓 yyawlin: activation function不一定是 logistics function, 唯一
→ yyawlin: 可以說是a sequence of nonlinear transformations of a
→ yyawlin: vector
※ 編輯: dharma (211.72.78.253 臺灣), 09/12/2019 13:30:33