Re: [新聞] 黃士傑返台分享AlphaGo Zero開發過程

[oldTim (TIME WILL TELL)]

※ 引述《tlchen (台灣加油)》之銘言：
: ※ 引述《qweewqq (風一樣的男子)》之銘言：
: : DeepMind指出，他們不使用任何人類知識，AlphaGo Zero用上的是新的「強化學習」方法
:   對於 "不使用任何人類知識" 這句, 我心中始終有個大問號.
:   首先, 在一開始的 random play, AZ 根本不知何時要停.
:   必須人工設定去停它. 這用到了人類知道這樣的遊戲, 應該有限步要停.
:   雖然 AZ 的參數是經由自我對戰學的, 但整個架構呢?
:   要有幾層的的類神經網路? 每層有多少節點? 層跟層間的結構?
:   covolution 要用 5x5 還是怎樣的大小?
:   要怎樣配合 VN, PN? 要用 MCTS 來尋找?
:   這些都沒用到人類的圍棋知識嗎?
:   這整個大架構, 是在學人類棋譜時, 發現這樣的架構, 可以訓練出不錯的 AI.
:   這架構不是隨便設就行得通的吧?
:   經由人類棋譜訓練, 找到一個好的大架構, 這樣可以稱作不使用人類知識?
:   如果今天一個完全不懂圍棋的人, 只針對規則, 就去訂了大模型架構,
:   然後經由自我對戰去學參數. 這樣的結果, 那叫做不使用任何人類圍棋知識.
:   現在這樣算嗎? 我心中實在有很大的黑人問號.

Deepmind發言裡所指涉的"知識"，在AI的發展的脈絡中有特殊意義
並非廣義上我們理解的知識

===
https://technews.tw/2017/08/07/the-3rd-revolution-wave-of-ai-technology/

第一波人工智慧大約是在 1990 年代前電腦的計算與儲存能力還有限的時候，人工智慧多
是以「專家系統」的方式實現。也就是人類將一些專家才懂的知識（如醫學、法律）變成
一條條「規則」（如吃多喝多尿多可能是糖尿病）並輸入電腦，電腦就可以藉由這些規則
判斷。

第二波人工智慧主要是以機器學習運用在巨量資料探勘為本，以大量的資料配合統計及計
算科學的方法讓電腦能從事決策。
===

所謂專家才懂的知識，在圍棋中就是棋理，比如說氣、手順、遇劫先提、手割分析法..等
AlphaGO一開始輸入的是人類棋譜選點Data，並沒有根據棋理來寫規則並輸入進程式中
你若要找參考人類棋理的AI當然也有，根據我之前轉錄的加藤先生訪談，Zen這類老牌
圍棋軟體還保留了一些AlphaGO出現前專家系統的架構，但很顯然與這一波電腦圍棋進展
無關。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.155.40
※ 文章網址: https://www.ptt.cc/bbs/GO/M.1510209112.A.E1B.html
→ tlchen: 照這樣講,輸入棋譜也算是沒用到人類知識
→ tlchen: 但這邊是因為它在模型參數的訓練沒用到人類棋譜,才說沒用
→ tlchen: 人類知識.而我要說的是,模型的大架構,還是偷偷用到了
除了上一篇推文下版友已經幫你解答的"何時停止下棋"之外，你能舉出哪部分的大架構
是使用或參考圍棋知識所設計的? AlphaGO當然有許多設計上的眉角，但沒有跡象顯示
這些跟圍棋知識有關。
→ Uizmp: 圍棋知識 謝謝
※ 編輯: oldTim (36.226.155.40), 11/09/2017 18:15:13
推 tlchen: 你現在的圍棋知識,棋譜到底算不算?不算的話,先前版本也沒
→ tlchen: 用到圍棋知識
→ Uizmp: 棋譜已經含有每盤的手順和勝敗, 如何不算?
推 ddavid: 棋譜算是人類知識啊
→ ddavid: 不然打前人的譜學習在學什麼？
→ tlchen: 算的話,先前alphago的架構,alphago zero 是延用的.只是參
→ Uizmp: 並沒有沿用
→ tlchen: 數的估計,之前是根據人類棋譜,現在是根據自戰
→ Uizmp: tl你所謂的"架構" 頂多是儲存的方式, 而非儲存的資料
→ tlchen: 不算是上面說的,不是我說的
→ tlchen: 我說的架構是深度類神經網路的架構
→ tlchen: 這架構不是隨便設,然後就可以成功的
→ Uizmp: 至於這個儲存方式, zero也因此把兩個神經網路合併
→ tlchen: 通常是對於不同的領域,然後不斷去試,試出一個好的架構
→ tlchen: 今天 alphago 試出一個好的架構,好的學習方法.這可是有用
→ tlchen: 到人類棋譜
→ Uizmp: 至於這個深度類神經的網路是否與圍棋相關 這只有DM的人知道
→ tlchen: 我之前說的,若是連整個架構的選取都是由自戰來評估,那我就
→ tlchen: 認為是沒有用到人類的圍棋知識
推 ddavid: 好吧，如果你把定義弄得如此廣義的話也不能說徹底沒用到人
→ ddavid: 類圍棋知識，但一般常用定義下並不會把學習架構也定義進去
→ ddavid: ，自我決定架構這種事情Cost太高了，不太可能在這個等級的
→ ddavid: 問題上實現（這等於是在圍棋學習問題上面又架了一層架構學
→ ddavid: 習問題，最糟的是這個層次其實可以無限上綱）
推 birdy590: 事實上程式的架構仍然不算運用人類圍棋知識
→ ddavid: 一般我們還是接受先拿部分人類知識來試一下可能比較好用的
→ birdy590: 不然就不用試那麼多次才從裡面選擇效率比較好的架構
→ ddavid: 學習架構，之後清空人類知識保留架構開始自我學習，這樣還
→ ddavid: 是可以算後面這次的學習沒有用到人類知識作為訓練
→ ddavid: 要用非常非常非常廣的廣義才會把架構也當成人類圍棋知識建
→ ddavid: 立出來的東西
→ ddavid: 因為其實這些架構標準來說是人類知識，可是不算是人類圍棋
→ Uizmp: 他的意思, 如果是因為棋譜導致使用A架構而非B架構, 就算有
→ ddavid: 知識所建立的，我們是從已知類型的架構中選取一個結果好的
→ birdy590: 開發過程決定用架構或參數也不是看棋譜 是看對戰狀況吧
→ birdy590: 在沒有真的試過以前, 有誰知道怎麼做比較好?
→ ddavid: ，而不是從圍棋知識建立出一個專下圍棋的架構
→ Uizmp: 但可能不管是從人類棋譜或AG的自戰棋譜 結論可能都一樣
→ ddavid: @Uizmp 對，他就是那個意思，而其實那就是超級廣義XD
→ birdy590: 這裡面圍棋知識其實幾乎沒有, 應該說是寫程式的知識
→ Uizmp: 但或許是因為拋棄人類棋譜,才兩個網路合一,這就不得而知了
推 birdy590: 兩個網路合一是方便自我訓練~ 其實本來就有人在猜會合一
→ tlchen: 開發過程決定架構你說是看對戰,不是看棋譜.請問是看誰的對
→ tlchen: 戰?
→ birdy590: 訓練都是用從自己亂下開始的自戰棋譜
→ tlchen: 若像你之前說的, 阿貓阿狗的對戰,不是人類的,那就沒用到
→ birdy590: 架構要說圍棋知識不如說是寫程式的知識更合適
→ tlchen: 看人類對戰,或是跟人對戰,那就用到人類圍棋知識
不是程式中有用到圍棋知識，而是用傳統圍棋知識來驗證程式架構是否有效

→ birdy590: 因為 DM 是在完全未知的領域 怎麼做比較強 -- 試了才知
推 tlchen: 就說不只是寫程式的知識.每個領域的應用,要用怎樣的架構合
→ tlchen: 適,要實際去試才知道.而先前 alphago 版本決定用的架構,並
→ birdy590: 還是要試過才能決定 那跟圍棋知識有什麼關係?
→ tlchen: 不是根據對戰的
→ tlchen: 因為試它好不好,餵的資料,裡面有人類的圍棋知識在
→ Uizmporm: 我說了 那個可能用人類棋譜或自戰結論相同 那要怎麼算
輸入data跟輸入人類對圍棋的理解有根本的不同
這也是你講半天無法說服大家對Deepmind說法產生懷疑的原因
因為你對人類知識的定義跟AI界裡面所說的人類知識也根本是兩回事，雞同鴨講
※ 編輯: oldTim (36.226.155.40), 11/09/2017 20:05:55
推 birdy590: 試它好不好 直接兩個程式對下不就得了
推 tlchen: 以你的說法,前一版 master,用人類棋譜學,也是沒用到人類圍
→ tlchen: 棋知識
不是我的說法，麻煩你看看文章裡的連結，我是引用台大資工系教授林守德的說法
將圍棋知識提煉成規則後，依此規則設計程式是第一波AI(專家系統)的作法
而即使是初代AlphaGO也是第二代AI，輸入的人類棋譜只是做為訓練用的Data
由機器學習自行提取出特徵，若依照第一代AI作法是要由人來決定用哪些特徵或是規則
→ birdy590: 訓練過程隱含著從棋譜提取特徵的意思
→ birdy590: 廣義來說用人類棋譜可以解釋成接收人類的觀念
→ birdy590: 所以從亂下開始完全自己產生棋譜自己學的意義重大
用棋譜訓練跟接受人類觀念還是兩回事，當然不可否認輸入棋譜的版本會受人類招法
的引導而可能比較容易出現跟人類圍棋觀念相似的選點，但這些觀念終究是機器學習
由data中挖掘出來的，而非人類在演算法中已經預設
※ 編輯: oldTim (36.226.155.40), 11/09/2017 23:12:39
※ 編輯: oldTim (36.226.155.40), 11/09/2017 23:23:11
推 jamesho8743: 的確是這樣沒錯 應該是這樣説 master程式的確也沒用
→ jamesho8743: 到人類圍棋知識 但是master在run 以人類棋譜輸入訓練
→ jamesho8743: 出來的成品 就受到人類知識的影響
推 jamesho8743: 之前版本的alpha go 本來就沒一定要用人類棋譜 它也
→ jamesho8743: 可靠自我對戰訓練 只是初期版本演算法不夠好 收斂地
→ jamesho8743: 不夠快 如果完全從0開始 訓練時間會很久