[情報] 不可思議的五路肩沖怎麼來的？

[asglay (收收收尾)]

https://www.youtube.com/watch?v=qUAmTYHEyM8&t=15m15s

第三戰賽前訪問重點整理 - 不可思議的五路肩沖怎麼來

AlphaGo 計畫的領導人David Silver

(重點聽譯 有誤請見諒)

1.
 Redmond(美國九段)問：
    第二戰的黑37手五路肩沖太令人驚訝了，
    我從來沒看人家這樣下過，阿法狗是怎麼想出來的？

Silver回：
    很多人都問我這個問題，我就回去找資料看看阿法狗到底是怎麼想出來的，
    阿法狗有個模型，也就是方針網路(Policy Network)，
    是利用人類過去所下過的棋譜，來訓練這個方針網路，
    讓這個模型可以預測人類下一步會怎麼下。

    然後我就問阿法狗，到底過去人類會下這步五路肩沖的機率有多少？
    阿法狗說，人類棋手只有萬分之一的機率會選擇下五路肩沖這步棋。
    (咩按：怪不得李世石要中離去抽菸啊～根本整人嘛)
    雖然機率很低，但阿法狗還是有去搜尋這步棋，
    經過往下評估計算之後(Value Network, Roll Out等)，發現這步真的是好棋，
    所以就下了這步棋。

2.
Redmond問：
    即使人類下的機率這麼低，阿法狗還是選擇這樣下了，
    表示人類選擇怎麼下的機率不會影響到阿法狗嗎？

Silver回：
    人類下一步怎麼下的機率，只是在最開始的時候，提供阿法狗一些搜尋的初始選項，
    實際會怎麼下還是要依靠阿法狗自己後續的評估結果。
    (咩按：所以阿法狗有點像是依靠人類的過去下過的棋步，
    來捨棄一些根本不需要考慮的位置，所以初手大元還是有可能的(誤))

3.
Garlock問：
    阿法狗幾歲？(咩按：這問題...)

Silver回：
    兩歲。(咩按：開始講一些古，台灣之光AlphaGo的臉，黃士傑，巴拉巴拉)
    去年發表論文，發現光練習古人的譜，不用做任何計算，AI就可以有業餘段位水準，
    整個很吃驚。所以就覺得很有希望，跑去找CEO談談，結果就開了projetc，
    找了很多人進來，成就了阿法狗跟這場世紀之戰。

4.
Redmond問：
    阿法狗打敗了世界冠軍，有人說你們有針對李世石做軟體上的調整，
    但剛剛聽你講起來發現好像不太可能？

Silver回：
    阿法狗是用幾十萬份的棋譜去訓練出來的，李世石的譜在數量上相比起來，
    就好像把一滴水丟到大海裡一樣，
    不太可能顯著的去影響阿法狗的棋風，而且阿法狗還有很多自我對局的強化學習。
    對我來講，我們很難調整阿法狗去針對李世石，
    相反的，李世石是一個很棒的棋手，
    他比我們還更可能去適應阿法狗的棋風。(咩按：其實還挺有道理的)

    而且只針對一個棋手去調整，其實還蠻危險的。
    我們的設計目標很簡單，就是設計一個程式來讓勝利的機率最大化。
    我們在比賽前我們還中止了阿法狗的發展進程，讓我們可以順利測試，
    所以在比賽過程中，程式的版本其實是沒有改變的。

5.
Redmond問：
    你覺得像五路肩沖這種神奇棋步，有可能會持續出現嗎？

Silver回：
    我們在比賽中學到很多，從像你這樣的解說評論與分析等等，
    我們選擇李世石也是認為他可以測試到阿法狗的極限，
    但其實我們不知道阿法狗會怎麼下。
    我們雖然創造它，但這時候也只能站旁邊看它會怎麼下，
    不然我現在應該是在努力coding，而不是來接受訪問。
    (咩按：AI可以讓你不用再當好人工程師)

6.
Garlock問：
    我聽說阿法狗現在好像甚至不需要人類過去的棋譜來輔助？
    聽說可以從零開始左右互搏訓練，也太讓人驚訝了吧
Silver回：
    目前阿法狗的確是從人類過去的棋譜來學習，
    但是從零開始訓練，的確是我們未來的計劃，
    或許棋風會變得很不一樣也說不定。

(咩按：最後再說了一些這可能是五百年來最出名的圍棋賽等等...)

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.121.60.118
※ 文章網址: https://www.ptt.cc/bbs/GO/M.1457822159.A.CE1.html
推 darkseer: 推
推 pikachu2421: 感謝翻譯
推 darkseer: 再推一次XD，重點擷得太好了
推 darkseer: 話說按照圍棋用語會不會稱他是日本九段? :p
推 aaaba: 太狂了!人類哪有機會在有限時間內探索機率只有萬分之一的分
→ aaaba: 支!
→ Eriri: 我覺得有意義的是去套討為什麼阿法狗會認為那是好棋
→ Eriri: 人不是因為萬分之一沒有時間想到 而是因為普遍不會認為那是
→ Eriri: 好棋 才選擇不下 讓機率變成萬分之一
推 aaaba: 成為好棋的原因就是alphaGo把那步棋在想像中下了幾千次，盡
→ aaaba: 可能探索各種變化，結果還不錯，就真的選擇下了。
→ Eriri: 所以我的意思就是那些變化到底可不可以慢慢被人歸納 還是像
→ Eriri: 這些手是永遠模仿不能的 不過有些人認為勝率高不代表是好棋
→ Eriri: 我是覺得既然AG算到那麼多步還認為這是勝率最高的一手 那就
→ Eriri: 有研究的價值
推 aaaba: 我個人意見是如果並非只牽扯到局部，而是廣泛影響到全局的
→ aaaba: 好手，人不必研究了，AG已經研究過了，讓他把其中幾個變化
→ aaaba: 輸出給人聞香就好了。再怎麼樣探索，單憑人力，下次在比賽
→ aaaba: 中出現類似的盤面，也只能強記，無法即時探索更遠。但當人
→ aaaba: 開始強記無法消化的棋步，棋這門可稱作藝術的競技就感覺沒
→ aaaba: 有美感了。
→ enomis: 日本棋手表示：你們開始重視下棋的美感了嗎^_^
→ aaaba: 感謝阿發狗促成圍棋必須講究美感的共識
推 ForeverOrz: 我覺得換個問法五路尖衝小李為何不爬四路那邊要出頭
推 darkseer: 推樓上。也許後續又有什麼很不像人類的妙手配合?
推 allenmusic: 好文
推 turing: 開盤階段平均每個點被考慮到的機率是千分之三。對電腦而
→ turing: 言萬分之一其實不低。至少它還排在候選名單中。我想會不會
→ turing: 開盤時所有三四五路的點都想一下。
推 MaseratiGTS: 人類要脫離制式規範被舊有經驗侷限
→ MaseratiGTS: 創意才有辦法打敗阿法狗
推 darkseer: 我覺得萬分之一感覺上已經很接近要被剪掉了耶@@
→ darkseer: 至少傳統minimax的變體，如果統計上最佳解機率萬分之一
→ darkseer: 應該就cut掉了唄?
→ MaseratiGTS: 以前覺得不可行的事實上是因為經驗累積
→ MaseratiGTS: 但人類經驗只占不知道幾個百分比而已
→ ming1053: 萬分之一是職業棋譜帶來的 bias 後面他還是有自己考慮
→ chordate: 萬分之一是高段職業棋手下出的可能性
→ chordate: AlphaGo原理上會先用職業棋譜嘗試排除那些必敗的下法
推 darkseer: 對orz 我想錯了，關鍵是rollout算到底可能還比SL策略網
→ darkseer: 路快，沒理由不同時rollout一下
推 aaaba: 其實如果萬分之一的機率在所有候選點的排名還有前二十，那
→ aaaba: 機器還滿有餘裕去細究的。
→ moonlind: 我很悲觀地想 那五路肩衝不是賽中臨時測試出來的
→ moonlind: 而是平時自我對練發現的 而且已融入AlphaGO自身 也就是
推 LCamel: 網路上有些人說 "AlphaGo 吸收了人類百年千年來的經驗
→ moonlind: AlphaGO在比賽前 就已經準備了數量不知多少的妙手 等著
→ LCamel: 所以贏李是自然的" 但是從37手前人只有萬分之一的機率來看
→ moonlind: 人類去挖 只要對戰棋手程度夠 是可以挖出更多妙手的
→ LCamel: 這個說法已經不攻自破了. 37 手 AlphaGo 是靠自己下的.
→ LCamel: 對不起 moonlind 和你交叉了 orz
→ moonlind: 沒關係啦 我很期待沒人類經驗的AlphaGO跟目前的對戰
→ moonlind: 藉此測試究竟人類的經驗究竟孰輕孰重 若勝率50% 很可能
→ moonlind: 代表 人類所謂經驗 僅滄海一粟 如果勝率低於50%...
→ moonlind: 更慘 代表人類有自我的盲點 並且累積成不可忽視的缺失
※ Senkanseiki:轉錄至看板 C_Chat                                   03/13 10:01
推 changmada: 這五路尖衝也只有這局能用吧
※ 編輯: asglay (122.121.60.118), 03/13/2016 10:20:18
→ raku: 可以歸納才能被人類拿來使用 不過這也將是人類的浪漫了
推 lifehunter: 實際上就是AlphaGo在圍棋上已經走得比人類更遠了
→ lifehunter: 以前常說AI不可能算贏人類 是因為圍棋盤面變化多達170
→ lifehunter: 位數 但實際上人類上千年累積起來的圍棋經驗 離這個17
→ lifehunter: 0位數也還差得很遠
推 MaseratiGTS: 所以必須多嘗試以前不敢做的就會變化出不同局勢
推 a0187307: 蠻好奇如果把AI目標設定成贏最大目數會生神摸事
推 macaber: https://www.youtube.com/watch?v=Qf47NatflfM 47:30那裡
→ macaber: 我覺得這解釋還蠻有道理的, 跟前面的尖有關係
推 aegis43210: 要設定最大子效的話，一定要設定時間，不然會算到天荒
→ aegis43210: 地老也算不完
推 TSbb: 所以在比賽過程中，程式的版本其實是沒有改變的。 可怕阿
→ TSbb: 也就是其實三戰都沒有即時更新..........
推 umano: https://www.youtube.com/watch?v=SUbqykXVx0A
推 BHrabal: 這手棋實在太酷了