※ 引述《yamiyodare (shantotto)》之銘言：
: DeepMind 學習打磚塊的過程
: https://www.youtube.com/watch?v=V1eYniJ0Rnk
: 人類給予的提示只有把分數提高, 自我訓練幾個小時就可以達到專家的水準.
: 一開始 AI 亂數決定移動的方法.
: 後來它會發現到亂到特定的地方不漏接球能提高分數,
: 給予的回饋會強化類神經網路讓它的移動方式盡量不漏接.
: 厲害的在後面, 最後它會學到先鑽通道是最有效的得分方式.
: 這不是人教的, 人只跟它說, 把分數給我打高, 其它自己想辦法.
先狂亂打(暴力打法)再進行歸納, 以找到得高分的最佳途徑, 這好像是電腦必然的
但卻是單一個人不可能去做的, 因為規模太大了, (而且....)
: 但像圍棋這麼複雜的東西, 直接用亂數下學習的過程太緩慢了.
: AI 的做法是先盡量下的跟高手一樣, 因為高手可能的下法幾乎包含了最佳解.
: AI 從這些候選走法往下找可以節省大量時間空間.
: 透過大量的高手對戰譜訓練出一個迅速模仿高手次一手的 policy network.
AI 可以轉瞬學會所有定石 等於是到地球作戰的外星部隊一次掌握地球的全部地形
所以有大局觀可以理解
可是, 我不太懂死活要怎麼解？因為死活很複雜啊, 隱藏著豬羊變色的規則和劫活
還是其實死活的題型和變化在AlphaGo看來存在上限？
: value network 是型勢判斷, 給予一個特定盤面就能夠迅速回報勝率.
: AI 開出千萬分身自我對練高手的棋路到終局 (最後誰贏電腦可以判斷的夠準)
: 然後回溯盤面, 訓練出一個可以估計任何盤面勝率的 value network.
(不好意思, 插問一下回溯的英文是什麼> <)
在序盤就要計算到勝率看起來完全不可思議啊!!!
假設AlphaGo vs AlphaGo'(比本體稍弱)的勝率比是51:49好了
那這個比值「從第幾手開始」才會跳動呢？
感覺上, 答案根本上決定在對局兩造的實力
也就是這個比數是從決定將AlphaGo'的能力調弱多少之後就決定了
至於從第幾手、從中盤還是終盤, 只是機率分派路徑的問題
嗯, 很可能是我想錯了
只是我覺得既然AlphaGo有辦法進行暴力歸納, 它對手數的觀看方式應該和我們不一樣
有點「四次元」的感覺啊 XD
: 目前看起來訓練的越多, 估計的會越準確 (棋力越高)
: 如果任何盤面勝率都可以正確估算, 基本上圍棋就被破解了.
: 因為電腦可以知道從第一手到終盤的最佳走法.
: 拿黑棋如果不貼至少會贏幾目, 而且只有特定棋譜可以達到.
: 有了 policy network 跟 value network,
: AI 就可以試下各種高手次一手, 再加上有效率的蒙地卡羅搜尋法,
: 盡可能把勝率高的次一手展開往下運算, 提高勝率估算的準確度.
: 可以把它想像成很多高手提供次一手的下法, 那就來下下看, 看誰說得對.
: 但要留意, AI 的目標是勝率最高 (反擊手最少), 不是目數最多, 不是棋型最美.
: 看 AlphaGo 下棋會讓我想到以前打道策的譜, 許多著手都是天馬行空.
: 怎麼看都很奇妙, 但最後就是會贏.
不太懂value network為什麼是重在反擊手最少呢？可以再說明一下嗎？
說到反擊, 我是覺得任何反擊都可預期, 只差在「有沒有效率」而已
而效率除了涉及手數，目數，還關係到手順, 這點跟收官有最佳順序一樣
唯前提是死活的問題要先解決, 因為即使是官子也會受打劫影響
你說的反擊手最少, 指的是....？
如果目前的AI計算能力已經強到甚至能改變定石、爭奪手順, 那....lol
(定石真的是沒有破綻的嗎？還是只是地球人的破綻？)
: : 大概是這樣, 不過我更想知道這個convolutional neural networks是什麼？
: : 和節點的類神經網路有什麼不一樣啊？
: convolutional neural networks 是類神經網路的一種
: 它的概念是想模仿生物的視覺, 同時具有巨觀跟微觀的觀察能力.
: : 人可以像時間暫停般做收官的, 除了AI, 恐怕還是只有李昌鎬做得到
: : 但現在已經不是李昌鎬的全盛期了....AlphaGo還是來的太晚了
: : 我覺得很可惜啊
: : 好在官子不是圍棋唯一的特色
: : 李世石這個有閱歷又藝高人膽大的, 多變的風格正適合這種前無古人的對局!
: : 在經過兩次對局、探到對手的能耐後, 他會進行什麼樣的布局？
: : 畢竟, AlphaGo會進步, 而李世石也會啊!
: : 期待明天的對奕～
: 我在想甚麼樣的方式可以打敗 AlphaGo
: 因為 AlphaGo 是模擬高手次一手, 人類下出前所未聞的好手 (新定石新型新佈局)
: 才有機會把 AlphaGo 導向勝率估不準的局勢上 (因為對練很少往那邊下缺乏經驗)
: 舉例而言, 應該沒有人比武宮正樹更懂宇宙流.
: 假設 AlphaGo 回到武宮以前的時代砍掉重練, AI 對於宇宙流的局勢不熟.
: 武宮對 AlphaGo 用三連星開局或許可以把 AlphaGo 壓著打.
: 不過壓著打也是一時, 跟武宮下棋 AlphaGo 可以學到宇宙流的各種變化.
: 透過自我對練熟悉宇宙流的各種局勢, 從而做出較準確的估計.
: AlphaGo 你打贏它, 它就會再度進化.
: 人類生命有限, 技藝的傳承速度緩慢.
: AI 可以有效的繼承人類全體的經驗, 加速技藝的提昇.
: 藤澤秀行曾說, 圍棋如果有 100, 他最多懂的不過 6、7.
: 有沒有想過, AI 繼續發展下去可以讓職業九段兩子三子甚至九子?
: 人類要探索圍棋的極限, 得靠 AI 的輔助.
宇宙流的相關定石應該很少
如果AI要發展宇宙流派, 那也不錯呀～～
但那樣的圍棋就不會是我們目前以為的圍棋了而是一盤只有AI能下的棋局
看新聞說, Google DeepMind 的目光放在破解人類學習的密碼
嗯, 這個是認知科學的腦神經領域啊!
而用只有電腦可以使用的方式(例如暴力歸納)來破解人腦的學習, 是矛盾不是嗎？
--
謝謝對convolutional neural networks的解說 這好難 我會再研究一下> <
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.223.114.150
※ 文章網址: https://www.ptt.cc/bbs/GO/M.1457758455.A.55C.html