Re: [閒聊] 人機大戰觀後雜感

[devidevi (蜜蜜)]

※ 引述《Maybetrue (電子黑手)》之銘言：
: ※ 引述《hdjj (hdjj)》之銘言：
: 是一個災難。比如說我們拿AG管理雙北市的紅綠燈，我們希望AG管理的紅綠燈讓交通更
: 順利，結果一個突如其來的災難，讓AG耍憨了起來，搞得全雙北市的紅綠燈通通在亂閃
: 。這是絕對不可以的。以上週團體賽的結果來說，古力那一邊的Alphago 就是在耍憨，
: 而且Alphago 不是軟體工程師key 出來的函數庫，它是自我學習的整體。我猜目前
: deepmind並沒有能力修改AG讓他能在逆境採取積極對策。因為如果去年AG被李世石挖到
: 發瘋，今年重新再次自我學習應該也要把這一點改掉，但是結果並沒有，只是用強大的
: 能力掩蓋這個弱點而已。只要有個人類 (豬隊友?)在旁邊作亂，AG個體能力再強也要發
: 瘋。但是，AG發瘋是不被允許的。事實證明，AG如果傻掉，能力比常人還差。套用到更
: 大的系統面上去的話將會造成毀滅性災難。

簡單說一下原PO所說的問題點
目前deepmind的AG，在正常運作下沒有問題

但發生意外，或突發狀況時，AI並不會讓損失減到最小，而是開始錯亂...

沒人可以保證完全不出任何意外，
但如果AI只有正常運作下沒有問題
當有外力介入，產生意外時，AI並不能讓損失控制到最小，並且產生錯亂...
這是AG要解決的下一步問題..
----
以自動駕駛為例，當AI判斷需要立刻停止(投降)，
但人類強制繼續運行並且依靠AI進行後續判斷(古力不同意，但又不能全面接管)
此時AI開始產生錯亂(亂下)，導致後續應減少損失的局面，反而擴大
這是目前AG的不穩定因素之一

雖然在不同場合，可能不會發生，但現實生活中就因為這萬分之一的意外情況，
產生重大傷害

跟目前寫好的程式一樣，一但發生程式預期以外的情況是無法處理的.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.77.194.227
※ 文章網址: https://www.ptt.cc/bbs/GO/M.1495955363.A.1AB.html
※ 編輯: devidevi (119.77.194.227), 05/28/2017 15:10:44
推 ykes60513: 不曉得虛竹那種自殺招能不能讓AlphaGO錯亂XD
推 bxxl: 我覺得控制權切來切去,現在的飛機自動駕駛可能也會有問題吧
→ bxxl: 但不代表這東西不能用,只代表你不能頻繁的切來切去而已
除非AI寫成當量產後，就不具備學習功能，但這樣跟目前寫好的AI差異不大..
當AI量產後，同時具備學習功能，哪天出意外時情況有可能不受控制
推 ilw4e: 要控制損失就訓練時給他其他條件就好阿，比方說放棄點勝率
→ ilw4e: 可是要求輸的時候要輸最少
→ ilw4e: 你要AI符合你想的去做，你給他的條件目標就要明確
→ ilw4e: 現在是條件太單純：勝率極大+贏  他一切行為當然就照這個
優勢時沒問題，但勝率低於一定程度時，下法沒辦法減少損失...
也就是正常情況下沒問題，發生意外時(勝率降低)，AI反而會亂操作...

當然這只是目前看得到的問題點，不代表以後不能解決...
※ 編輯: devidevi (119.77.194.227), 05/28/2017 15:25:46
推 OROCHI97: 如果賭錢，一目一千，AG大概都是把把都贏一點點那種是吧
推 bxxl: AI量產之後的確不會具備學習功能 AG也沒有邊下邊更新
→ bxxl: 不受控制的學習是很危險的,應該是廠商統一處理
推 ilw4e: 勝率低會那樣就是你給的條件問題啊，你要他特殊情況符合你
→ ilw4e: 期待你就得給他其他條件阿，這不是基本邏輯嗎?
→ ilw4e: 他是機器不是神，他還是照你給的腳本去學的阿:D
推 bxxl: 這是目標函數的問題,勝率就代表不管輸得多慘就是一敗
→ bxxl: 其實人類世界也有,比如說棒球比分差太多就派野手上去投
→ bxxl: 這時就只求結束比賽,不會想再去縮小分差了. 俗稱垃圾時間
推 bxxl: 總之,你想要怎樣的行為,就採用相應的目標函數,並且把各種
→ bxxl: 極端狀況該如何處理放入訓練資料,練出來的才會是你想要的
→ bxxl: 現在就是他的訓練目標是A,你說他B的時候不行,改變的方法
→ bxxl: 是把訓練目標改成f(A,B), 一個綜合考慮A跟B的函數
目前的條件應該只有贏，但不去教AI如何贏，讓AI自行學習
先確定這個條件能正常發揮，才能增加後續條件吧
畢竟增加一個條件，學習複雜度可能就會加倍...
推 wadashi1: 如果能自始至終，完全鬥狠，不下緩著的阿法狗，會精彩
→ wadashi1: 許多!
※ 編輯: devidevi (119.77.194.227), 05/28/2017 15:53:23
→ ilw4e: AI互下的譜很多都很狠，互相殺龍XD
噓 lyricslee: 你怎麼不懂...人家目標就是贏，你又要人家少輸
→ lyricslee: 減少損失又不等於創造贏的機會
如果現在自動駕駛AI，正常運作時沒問題，
但是有突發狀況發生時(旁邊有路人衝過來)，不會踩煞車，
反而踩油門，你認為這AI是好AI嗎???
※ 編輯: devidevi (119.77.194.227), 05/28/2017 16:04:04
推 ilw4e: 那樣代表你程式沒寫好，回去重寫，AI沒有好壞XD
推 touyaman: 為啥跳到討論自動駕駛拉= = 到時候AI學習又是別的方法拉
→ touyaman: 事實就是AI圍棋已經無敵 以後開發出的自動駕駛也會比人
→ touyaman: 自己開安全
噓 OverInfinity: 歹稍微瞭解一點深度學習是什麼…
→ OverInfinity: 自動駕駛來說你在訓練階段就要加入突發事件讓他學啊
推 bxxl: 感覺一直在鬼打牆,又沒人說AG要去開車,AG也不是唯一的AI
推 bxxl: 把目標函數換一換行為就會差很多,一直拿AG的行為去推演幹嘛?
→ vencil: 等著看阿爾法AI學打星海，那才是自駕這樣不完全訊息的類比
→ vencil: 至於拿圍棋訓練的AI比自駕根本不能類比
→ rainycats: 用想像的你要不要去看一下網頁
→ rainycats: https://waymo.com/ontheroad/
→ rainycats: 實際上路測試就是在train. 理論上只要樣本數夠
→ rainycats: 你想像得到的狀況都會在裡面
→ rainycats: 另外還有一些其他的專利goo.gl/5xQrxX
→ rainycats: 真實上路前鐵定train了一般人一輩子都達不到的里程數
→ rainycats: 如果還有發生無法處理的情況(飛機掉下來之類的)
→ rainycats: 我跟你說AI處理不來的人只會更差....
→ rainycats: 反正你要比出事率的話, 自動駕駛的出事率絕對比人低的
→ rainycats: 多, 你來矽谷待久一點, 就可以看到無人車開來開去
→ rainycats: 看到無人車比看到美國三寶開車令人安心多了
噓 nkfcc: 你知道AG要拿去作什麼了？
→ ddavid: 自動駕駛就是目標函數的複雜度更高啊，你一直拿圍棋的目標
→ ddavid: 函數訓練出來的結果談自動駕駛根本就錯置
→ ddavid: 圍棋的目標函數本來就不包括意外處理的部分，當然不會有意
→ ddavid: 外處理的表現
→ ddavid: AlphaGo表現好確實不能表示100%轉為自動駕駛的目標函數後
→ ddavid: 一定也可以訓練到同等級好，但反之在AlphaGo上出現的缺點
→ ddavid: （事實上在圍棋來說甚至不算缺點）也同樣並不會保證在改變
→ ddavid: 為自動駕駛的目標函數後還會出現
噓 chris610020: 自動駕駛比圍棋....
→ chris610020: 圍棋能開圖，自動駕駛能嗎?
噓 aegis43210: deepmind目前想走的是醫療和星海爭霸哦
→ ddavid: Starcraft 2那個也只是過程而已，跟圍棋一樣是驗證學習能
→ ddavid: 力以及宣傳居多
推 wz02022:  沒錯阿 AG的確有這個缺陷 所以人工智慧還可以進步很多
→ y800122155: 噓 勝負分類問題 跟 輸贏目數回歸問題 完全不一樣 懂?
→ CGary: SC2 之所以值得試是因為不完全公開資訊遊戲在電腦看起來難
→ CGary: 度很高 我們覺得SC2比圍棋簡單是我們的「設計」理念跟電腦
→ CGary: 不同...
噓 jake255121: 輸得少但絕對不會贏的步為啥要去下，就事論事
噓 mm58307533: 輸了就直接認輸了吧，盤面差很多還繼續下??