Re: [討論] 淺談AlphaGo

[bigelephants (.__./)]

※ 引述《nnlisalive (nnlisalive)》之銘言：
: ※ 引述《ykes60513 (いちご)》之銘言：
: : 假設A走法有90%贏一目 B走法有85%贏十目 AlphaGo會選前者
: 請問有誰知道90%或85%是怎計算出來的?
: 因為對手還沒下 需要跑迴圈運算
: 這勝率統計是否有所謂的信賴區間
: 再來是會不會有100%勝率落子的時候
: 當100%的路一出現 是否就代表比賽結束
: 去年AG對上李 我看那個落子機率會忽高忽低
: 雖然大部分的時候是50~100%遞增
: 但李 v.s AG大戰第4局的78手 頓時讓AG勝率下降不少
: 是否代表只要我們能下出Alpha世界線以外的棋
: 就能迎接勝利的美好未來?

小弟這學期有修電腦對局理論的相關課程

看到這篇想說分享一下好了

我們上一次的作業是要做黑白棋的 AI

使用的方法就是蒙地卡羅搜尋樹 （跟 AlphaGo 比起來只是菜而已）

考慮當前我可以下的每一步棋的情況下

我們都可以假設「雙方棋手只會亂數下棋」

並且去計算每一步可行的棋所亂數出來的盤面勝率有多少

這裡的勝率是指最終盤面 可以想像電腦亂數把一盤棋下完只要幾毫秒的時間

我自己做出來的實驗一秒內算個一萬多盤棋是沒有問題的

概念上其實就是隨機抽樣而已

關於使用到的技術 其實還有各式各樣的優化

並且讓電腦接續前一步下的棋思考也並非難事 （實作上不難）

因此電腦暖機越久想得越清楚 越接近實際上的亂數勝率（非真實勝率）

-- 以上是我的作業 XD --

回到 alphago

我想 alphago 應該在裡面也用了不少亂數

配合上深度學習的神經網路可以幫他為某些可行點做加權

他可以走向期望上更好的盤面 並且以學過的棋譜去估計勝率

這裡的勝率無法達到 100% 我猜一部分原因是

在亂數情況下電腦會嘗試去填自己的空,使得自己反而輸棋,因此會產生一些敗局

不過因為我沒有讀過 alphago 的論文 所以不是很確定詳細情況

也許就連 deepmind 的研究員都沒辦法給出 100% 的答案？

就我剛剛提到我的作業來說,

我也有不斷追蹤自己 AI 每一步棋的期望勝率

不過因為是純亂數 所以沒有很準 XD （但至少我到現在沒下贏自己的 AI 就是..）

我也沒有辦法很準確說明為什麼我的 AI 有時候會爛掉 XDDD （可能是 bug 吧）

以上分享 歡迎留言討論！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.185
※ 文章網址: https://www.ptt.cc/bbs/GO/M.1483587997.A.150.html
推 aaaba: 暖機是什麼？
→ bigelephants: 因為電腦思路是樹狀的 他可以保留對手走的路徑 其他
→ bigelephants: 砍掉 抱歉沒有講得很清楚
→ bigelephants: 大致上就是他可以利用前面幾手耗時所想的東西繼續想
→ politics: 半桶水的大學作業就別說在這邊說嘴了 真的懂再來說
→ aaaba: 他是在說他對mcts的理解，也是回應上一篇的疑問。其他人覺
→ aaaba: 得想補充的也歡迎啊
推 qqq1397: 這種還不能說？不懂裝逼的廢文多到膩
推 ddavid: 大致上講得沒錯啊，不知道476上站1發文的politics大大有何
→ ddavid: 更詳細的見解
→ politics:  https://goo.gl/U5ypHp 英文看不懂的話看強國人講大綱
→ politics: https://www.zhihu.com/question/41176911
→ politics: 這篇自己都說沒看過deepmind的論文了 屁這些有價值嗎?
→ politics: mcts這只是個名詞 我用ooxx遊戲都可以跟你說明
→ politics: 但deeplearn不是單純的mcts 就降
→ bigelephants: 哈哈我有空會拜讀一波！
推 ddavid: 不是純粹的MCTS沒錯，但會無法直接算出100%勝率的理由確實
→ ddavid: 是因為這一塊，他講的還是有打在點上啊，或者您想要補充更
→ ddavid: 詳細的其他方面理由？
→ indium111: 就跟選情統計一樣，抽樣越大就越接近真實的結果
→ freef1y3: deep learning 就只是用來剪枝 & 選擇要先試哪一手
→ freef1y3: 這概念也是可以用在其他遊戲上啊
推 jackXDD: 厲害 能往圍棋發展嗎