Re: [問題] 為何不研發LOL的AlphaGo?

[tonylo2ooo (Logo)]

我剛好研究所是念機器學習的，
平時對人工智慧跟類神經網路應用在遊戲上也有一些研究，
提供給你最一線的資訊參考一下。

因為這些名詞都是原文書或是論文裡面會用到的，等等會有一些專有名詞來源是英文
我會簡單的翻譯一下，所以有更好的名詞翻譯歡迎提出。

※ 引述《z50905 (z50905)》之銘言：
: 看完棋王對AlphaGo的第二場對決
: 實在感嘆   AlphaGo經過了上億場演算經驗的學習

AlphaGo的理論我想網路上很多文章了，這邊不多說。
重點就是（你也已經知道）AlphaGO是藉由輸入棋譜，加上對弈增強的即可。

: 成長到了人類無法想像的世界
因為資訊的交流在電腦世界是用電的速度，而人腦因為受限於神經傳導素的速度，
跟輸出媒介（手腳，或是廣泛一點說是肌肉），
或是靠發展幾千年的語言，累積的深厚codec，用少量的文字筆畫代表背後深厚的意涵。

: 不禁有個疑問
: 本身就是用電腦進行的LOL
: 也有玩家VS電腦的選項   但感覺電腦都廢廢的

這邊要想講，ＡＩ有兩種，一種是Rule-Based，也就是藉由大量的判斷式來模擬人類

例如：敵方殘血->算傷害後完美接一套
      自己殘血->算對面的魔量 傷害等等，撤退

這樣的ＡＩ很容易被玩家抓到漏洞並且exploitation(反覆操作特定動作來獲勝)
例如中階電腦以前會一直追玩家，你就可以在開場二塔去拖怪，拖到自家塔下殺賺錢。

另一種則是像AlphaGo一樣的，一開始什麼都不會，但是每做錯一次就會回饋
回神經網路去強化或是抑制特定行為，也就像人腦一般。
需要大量長時間的訓練，成千上萬甚至數億次的對決，每個細微的操作都會回饋給網路

拿馬力歐來舉例的話 可以看這影片：
https://www.youtube.com/watch?v=qv6UVOQ0F44
一開始ＡＩ什麼都不會玩，一直送。
這跟rule-based藉由人知道不要送頭寫一個殘血回家的code是不同的。


: 要創造出AlphaGo等級的LOL電腦應該滿容易的吧
其實DeepMind已經著手在星海爭霸上面進行學習了，
https://www.youtube.com/watch?v=5iZlrBqDYPM

但為什麼不挑LOL？  因為人的因素太多，ＡＩ沒辦法對勝負有全盤的掌握
也就是說，除了對手之外，ＡＩ還要考慮剩下四個會不會心態炸裂然後放推
說不定ＡＩ這整波的操作其實是很棒的，結果一個人忽然送頭輸掉

這樣會增加訓練的難度，因為人的變異數太大。

: 畢竟電腦不會有反射神經時間   反應速度都趨近於0秒

這我有一點點小意見，因為人的反應還需要經過腦袋的思考，
多麼簡單的步驟都是經過處理的。也就是ＡＩ也是要把它接收到的資訊丟進神經網路
然後回饋，或許也是需要幾ms甚至好幾分鐘的。

有興趣去看一下alphaGo的對弈，你會發現ＡＩ會想很久，
因為它正在進行決策樹的裁減跟硬爆。
（把一些很不可能的動作去掉，然後細算那些可能的操作）

另一方面，對，這是用電生理(神經傳導素) 跟 純電流的差別
統計來說，你的眼睛看到畫面，到大腦最後做出反應大概有80ms的差距

: 大家覺得有可能創造出LOL版阿法狗嗎

可以，但有幾個原因

1. 前面說過，浪費時間，因為人的變數太多
一次訓練五台一起打又有難度，不如訓練一個StarCarft，從部隊數量到控兵都可以掌握
連基地的建設，擺放位置等等訓練起來，跟LOL誰簡單都還很難說，
但是可以讓人知道ＡＩ對戰局全盤的掌握度。
LOL只能控一隻，沒辦法展現那種像是圍棋對弈中的大局觀。

2. 有在看星海比賽都知道，任何部隊的交換都是綁定經濟（晶礦與瓦斯）
也就是ＡＩ會有一個立即可以回饋的函數。
每一支兵的交換他可以知道這波 “虧還是不虧”，

這可以讓ＡＩ從小會戰的操作跟大局配置分開來訓練。
類似有些選手吃兵操作不好，但是大局觀很強。（西...門?）


: PS:現行LOL電腦VS玩家
: 在地圖的黑暗處電腦的五個玩家真的有在運行嗎?
: 例如打野那些   求解
這邊問題沒看懂，先跳過。


最後回應一下推文內有一些錯誤的觀念，像是什麼跟現在走位外掛有關的。


現在看到星海的暴力ＡＩ，或是ＬＯＬ輔助程式，
都是透過寫死的神奇走位拉打做出來的。
也就是他單位跑速比你快的時候，你毒爆蟲滾到死也炸不到半隻。
李星Ｑ到死都Ｑ不中。

機槍兵(遠程小兵)整隊邊散邊拉打，ＡＰＭ突破天際。

但是DeepMind現在在做的ＡＩ，是連毒爆蟲來了要散兵都不知道，
再沒有任何人類給定預備知識的情況，只根據每隻單位，加上總體經濟的交換來目的。
而且是有被限制ＡＰＭ的（應該是最高200-240左右），ＡＰＭ對他來說就像資源。
也就是ＡＩ如果發現用細節操作散兵，就能一直贏，他就滿足了。
但如果發現ＡＰＭ239/240都拿去操作，家裡亂亂蓋，都不能贏，
他就會把一部分操作資源拿去探視野之類的。

所以推文中提到那種變態ＡＩ，跟我們這邊討論的alphaGo以類神經網路為主的不同。
十年後可能除了圍棋ＡＩ對決之外，
還有星海ＡＩ對決，而且用的介面可能跟人類差不多，限制最大ＡＰＭ
並且畫面轉換要綁定滑鼠DPI啊，
那些都要固定，然後來一場公正的ＡＩ 星海對決。



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.13.48.161
※ 文章網址: https://www.ptt.cc/bbs/LoL/M.1495761820.A.95D.html
推 Firstshadow : (づ′・ω・）づ 所以會用到Monte Carloㄇ
萌蒂卡蘿很多時候都會用，因為目標函數太過複雜去抽樣藉此刻畫樣貌。
這方法不是只有alphaGo用，
是因為這方法對於那種解太過複雜的問題，初期找出local解很有幫助
推 ccyaztfe    : 我都聽得懂喔！
我是以科普文的方式寫的，
盡量舉影片給大家看，看過影片再想想會比較好理解。

真的哪裡太難懂一定要跟我說
推 fkc         : (づ′・ω・）づ這篇文比 晚餐要吃什麼 還要深澳
推 eskawater   : 假使讓會打LOL的AI出現 人類就要滅亡了
對於這種有點接觸到哲學的問題，我有一個真實例子。

馬力歐影片中，
那個ＡＩ在玩俄羅斯方塊，最後一塊疊上去一定會輸的那個瞬間，
ＡＩ按下了暫停，再也不啟動遊戲。
因為ＡＩ理解了：「不要玩，就不會輸。」
或許對人類最好的方法就是不要出生，就不會死亡。

但是身為一個人類，
尼采認為：「盲目的樂觀，只會使人感覺膚淺；
            過度的悲觀，則會使人走向毀滅。
            唯有悲觀後的樂觀，才是精神上的強者！」

推 xhakiboo    : U文 大概要爆惹
推 louis210000 : 優文
推 Hickman     : lol的大局觀從BP就開始影響了
其實ＬＯＬ不會拿來作為ＡＩ的訓練還境原因可能也是，

「不是一個好的ＤＥＭＯ」   ，即便很多人玩。


推 PerfectFlash: 恩恩  跟我想的一樣
推 jk54op      : 襪操 阿法狗大五隻
推 RYOTSUKI    : 這邊說的apm應該是有效指令數? AI優化到沒有廢指令
→ RYOTSUKI    : 的話 對人類還是很有優勢 人不太可能沒有操作失誤..
沒有廢指令，但一定有「更一舉數得的指令」
也就是當apm是有限的，一定可以比較出高下。
推 RyneSandberg: 寫的好
謝謝^_^7
推 snowmanturtl: 做出一隊AI 會不會比較簡單？
也許會喔！
既然都是整隊了，一次控制五隻，就很像星海的小會戰操作
推 DON3000     : 優
推 catinclay   : 不一定要五台一起打 設計一台控五個是不是就能解決
我是覺得星海還有建築學，探勘，大招那些
跟實際軍事演練比較像
推 hook227     : 推
推 JustDuHua   : 推推
推 can18       : 好奇星海他們是直接在星海上學習還是另外弄一個
→ can18       : 因為星海一場不是要滿久的嗎 這樣會不會學很慢
如果最後要大量對弈
可以透過暴雪那邊，把Game Loop調快，因為遊戲有三條時間線

1. 現實時間線 （就是你我在的這個空間）
2. 遊戲系統時間線 （不會因為遊戲暫停就停止）
3. 遊戲內時間線 （按下暫停＝停止）

一般3都會跟1同步，是刻意鎖住的，可以很輕鬆把3的限制拔掉，
變成CPU多快，訓練就有多快。

推 hi1256789   : 推推
推 Steyee      : 推認真文
推 feverh      : 如果有五個航航阿法狗還不被嘴到燒機
推 shinenic    : 認真推
推 DabouLin    : 那個暫停讓我雞皮疙瘩都起來了……
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 09:48:31
推 asabase     : 快推 不然別人以為我看不懂
推 tryff       : 居然聽得懂太感動了
推 Xanzero     : 那個俄羅斯方塊 ai按暫停的影片是哪個 想看..
https://youtu.be/qXXZLoq2zFc?t=6m6s  原版影片很長 這個是有人介紹的影片

推 lebronlp097 : 看LOL板長知識
推 snakelalala : 星海很快好嗎…
推 energyy1104 : 星海一場比LOL快很多喔
其實問題不在遊戲一場的快慢與否，
是因為遊戲時間線跟現實時間線要強制同步
不然一秒過後遊戲時間就過了300分鐘了，鬼才能玩。

在CPU強大的運轉底下，二十分鐘還是二十小時不過是芥子一般渺小。
推 howard841013: 暫停好扯......好像漫畫的情節
推 joefourtree : 跟我想的一樣嘛~
推 winiel559   : 修機器學習的課，可是RNN S2S GAN都練出一坨大便QQ
你可以拿GAN來鑑定誰在反串，順便train一個反串推文機器人 XD
推 Poke5566    : 文組先推
推 eric525498  : 推
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 09:55:46
推 npc776      : (╮⊙▽⊙)a ???
推 winiel559   : 下一個作業就是要做對話機器人= = 想吐
推 catinclay   : 可是反串的界定人類都做不好(X
推 Barry4304   : 長知識給推
推 aidsii      : 如果AlphaGO的反應是0.001秒 那他打星海太強了
反應快慢有分兩段 一段是傳導媒介的極限速度（光/電/等等...）
加上另一段，這問題的難度
叫你聽到聲音就舉手 跟 問你一題腦力激盪 反應速度一定不同，因為問題難度差太多
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 10:03:35
推 Shushusnail : 暫停好扯... 真的不是像一般外掛那樣了
推 kk31406     : 優文
推 chigo520    : 怎麼會有人覺得電腦玩一場跟我們的時間一樣… 類神
→ chigo520    : 經應該是等於一個銅牌一直打然後每次都會自己修正
→ chigo520    : 錯誤 用大量場次來堆疊他的打法
推 chouangus   : U質文 推推
推 qazwsx879345: U文
推 LucianK     : 長知識!!
推 ckniening   : 阿法狗被隊友戳到心態炸裂的時候會在聊天室打什麼
→ ckniening   : ？
可能會講：
「你好，我不明白“幹你老師奈德麗”是什麼 這是我在網路上查到的一些資料。」
(siri口氣)

推 Rex1009     : SC最難的就是猜阿 特別厲害的選手都會騙
推 necotume    : U到爆
推 bob30727    : 你好 我這碩論也是做AI 用類神經和基因演算來做星
→ bob30727    : 海的遊戲各項決策 很開心看到同業 碩一第一篇paper
→ bob30727    : 就是看reinforcement learning瑪莉歐
我先前是自己在寫Minecraft的生存AI，用訓練ATARI遊戲的架構
有興趣可以站內信加好友聊聊
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 10:17:26
推 Kimheeche   : Reinforce learning就是看馬力歐學的@-@。 台大的
推 Fantasyweed : 推個
推 willprince  : 優文
推 zZzZzZzZ5566: 認真優文
推 qaz123505   : 如果自己隊的上路整場被當洞打心態炸裂AI會選擇幫上
→ qaz123505   : 還是神遊？
他會以他以往對戰，經過多方嘗試後判斷出來最好的方法
如果神遊就能贏 而且比幫其他路有用
神遊就好啊 因為數據會告訴它   別去其他路送優勢

推 louis10452  : 推
推 atony8155   : 星海怎麼比較像軍事模擬啊，以後阿法狗會不會被美軍
→ atony8155   : 買去當指揮中心
推 ap9xxx      : 超級U文推 阿法囉一次用五臺電腦測的確不如星海好看
推 cursedsoul  : 嗯嗯，跟我想的差不多，還有幾點修改一下會更好
好唷 收到 ^_^7
推 nefancy     : 推推
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 10:31:49
推 q70412      : 一樣背景的來推推 (づ′・ω・）づ
推 chungkuowei : 阿法狗原地開大  阿法狗跟智障一樣
推 LLsolo      : 優文 有沒有考慮去ptt的ai實驗室應徵
→ liannhwa    : 暫停不就是根本設定沒寫好 一開始就不該有這選項
我覺得是它在所有可能的解集合中
找出來了一個符合期待的且能完成的解，
是人也很難想到其實暫停就不會輸啊，因為人玩遊戲的目的夾雜的許多其他原因

推 MrJCB       : 優文給推
→ rwa123456   : 其實遊戲變數蠻大的 patch 種族之間的應對
推 Mankind69   : 跟我想的一樣
→ rwa123456   : 感覺學習上面可能要比圍棋類的要花更大的時間
推 alonzohorse : 推認真文
推 cursedsoul  : 阿法狗排到國棟會怎樣？
推 chriscarryu : 他會判斷如果遇到否放玩家該怎麼做嗎
→ chriscarryu : 會開噴嗎
如果ID是其中一個變量的話有可能，因為只要作為輸入，就會是學習的便因

例如知道這對手是誰，他的棋路雖有千萬但不出他的思維框架
知道對手是國動，殺他三次不出鼻地，早點出蟑螂屋推線角。

推 g8320484816 : 先推在說
推 lightleave  : 一個阿發狗不夠，能不能測試五個阿發狗呢
推 koxinga     : 即時戰略比較適合AI
推 funkD       : 放去跟玩家學習說不定就變成嘴砲狗(x
當初twitter的bot一天內變成納粹仇女人士
論邪惡人類還是拔得頭籌 ~_~
→ koxinga     : 有些即時戰略遊戲的AI 滿強的
推 ilohoo      : 暫停那個超有哲理的啊，看來禪亞塔要出現了
推 leftavoid   : U文
推 VoyagerKid  : 優質 推～
推 Dustwind    : LOL有視角問題，不像圍棋雙方都上帝視角，思維只看
→ Dustwind    : 你有沒有推到
推 zxcv820421  : 恩  跟我想得一樣
推 PoBa        : 幹嘛那麼專業
推 tso1408579  : 科普文，優質
推 circums     : 學長超神
推 pe0853706   : 那如果讓乾淨的AI打RK 從乾淨帳號開始 過程中會被
→ pe0853706   : 銅化 還是直線上升
推 yeswater5566: u文
推 gg86300     : 把阿法狗銅化
從twitter的發文機器人可以一葉知秋
把alphaGO放到積分場  被銅化不是不可能的 :p
推 tcc080206   : 推
推 Astringent  : 所以現在的阿法狗運作模式就有點像類神經網路??
推 PeterHenson : 那想問一下會有機會連後勤都用阿法狗嗎
推 z7810312007 : U文
推 kducky      : 如果用六台來打呢 五路加教練
其實類神經網路的架構裡面也常出現把Ａ網路的輸出當作Ｂ網路的輸入
把教練的輸出當作選手的輸入，作為一種參考變數
^__^... 純幻想 這邊我就不想亂講話了

不過是有可能ＡＩ選手發現ＡＩ教練的話都沒用 就都不聽了
這是很有可能的
推 ysesst911840: 好猛的文
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 11:39:33
推 DICKASDF    : 所以假如真訓練出五台電腦 那跟職業隊打勝負比大概
推 archiewang  : 還以為走錯版
推 g5637128    : U文推
→ aggress5566 : Alphago的決策樹怎麼會是硬爆…
硬爆應該每個人定義不同
我知道你想表達其中精妙之處
不過對我來說，規律地把人類短時間無法窮盡的可能性算完，我覺得算硬爆

推 andy8306233 : 好文推推
推 imsu        : 真的優質文
推 exeex       : deep learning 太吃server計算資源啦
推 tmumustkak  : 長知識了
推 tesslumin   : 專業文 推推
→ exeex       : 做出來也不會取代目前電腦AI
推 em1234      : 推
噓 Timba       : 一堆  推文滿滿的錯誤與偏見在看星海
→ Timba       : 還討論的煞有其事  笑死
我星海是真的不強，哪裡有偏見願意為大家解惑嗎？

推 GGthebest   : 推個優質文 長知識惹
推 tomlee1130  : 你以後賺大錢可以養我嗎
推 haloha1234  : 其實我覺得你講的不是問題耶，訓練過程可以是5台電
→ haloha1234  : 腦對五台電腦，最後派出五台電腦跟人打就好啦
推 yapdasccryay: U文
推 Fantasyweed : 推特那個BOT真的很可怕lol
推 l010013     : 推～
推 haloha1234  : 你寫的訓練方式感覺是一個電腦+4個人在訓練
確實，我是以選手角度來看
推 kk87822     : 優文
推 k3062200    : U質文
→ haloha1234  : 喔沒有我眼殘哈哈 別理我
推 Batterygod  : u質lol文
推 chen841115  : 是說昨天Sen又拿冠軍了 再次出國ㄏㄏ
※ 編輯: tonylo2ooo (101.13.48.161), 05/26/2017 12:00:43
推 granola858  : 推 很多莊董臉都腫了
推 cc875450    : 有夠專業
推 haloha1234  : 但我覺得做lol阿法狗是有商業上的價值的，如果改成
→ haloha1234  : 讓一個AI控5隻，訓練方式AI對AI大量對決，也許我們
→ haloha1234  : 會看到更多元的戰術跟選角
推 Dustwind    : 可是這樣電競還有存在的必要嗎
→ Dustwind    : 從原本學韓國變成學AI降(X
推 s505015     : 5個alphago欸 跟韓國人一樣
推 DesignXD    : U文
推 kinomon     : U文
→ t81511270   : 機器學習 推
→ j808010     : 真的要比，我覺得應該是5隻都是ai，畢竟ai配合人類
→ j808010     : ，還要牽扯到溝通問題，扯到人就很難大量重複學習
→ jk55688     : 這篇也太粗淺了
推 kia280      : 推112 machine learning
推 s56565566123: 那bp可以研發嗎
→ Atwo        : 阿法狗:幹你的 智障隊友一直送怎麼玩啊
推 kapercd     : 模糊理論
推 owlman      : 圍棋盤面的變數比較少 training比較單純
推 lyra53      : 優文給推
推 goodlay5566 : 抱歉我走錯板了
推 beargg0305  : 推
推 tim201227   : 其實重點就是能不能將做過的決策進行評分使ai學習
→ tim201227   : 說對星海偏見倒還好 至少原po有表現出星海和LOL最
→ tim201227   : 基礎的差別
推 a80091221   : 同學怒推!
推 ggrreeeenn  : 做出來前LOL應該會先過氣
推 LaLaer      : 用AI跟戰隊練就沒有找不到戰隊的問題惹
推 iamwhoim    : 認真推～
推 hpsenruc    : 講解詳細版上難得好文～
推 x9060000456 : 超強
推 ww007864    : 覺得看得懂一半的我有點弱
推 darkhouse   : 看不懂先推
推 david85     : 推
推 hiwaid      : 阿法狗:人類一直送→人類是阻礙→消滅阻礙
推 durllu      : 推優文
推 july81212   : 簡單來說 星海可行是因為沒有隊友雷～
推 bopanda     : 推
推 PSO         : 他PS的問題就是現在LOL跟電腦打，電腦方視角是否像
→ PSO         : 人類一樣操作(比如幾分鐘打野，或者當哪方有問題打
→ PSO         : 野輔助過去幫忙之類)
→ PSO         : 還是只是寫簡單程式打怪，放招，送頭
推 makung0422  : 想消滅->天網
→ PSO         : 有個問題是，電腦如果可以透過比賽學到LOL人類玩家
→ PSO         : 微操和判斷，五個阿發狗應該可以產生吧
推 fishlinghu  : 推專業
→ fishlinghu  : 要10台電腦吧 人跟電腦train會累死
→ fishlinghu  : 不過感覺打LOL這遊戲回饋太慢了 可能真的要超超超久
推 jo64234     : 這是遲早的事
推 majaja903   : u文
推 Namukab     : 跟我想的一樣 先幫你推不然別人以為我聽不懂
推 heveninferno: 推
推 ArayaHellCat: 優文推
推 falls777    : 看LOL版長知識
推 redickshot25: U質推推
推 Namukab     : 我想問一下 如果理應收斂 但訓練不會收斂怎辦？先
→ Namukab     : 用分群法分資料？
推 hochengyuan : 太神啦
推 a567896666  : 快推 不然別人以為我看不懂
推 lifesoar    : 阿發狗是多次從"錯誤"中學習  問題是LOL的一波會戰
→ lifesoar    : 很難區分"優劣" 別說電腦 光是人類都很難判斷
→ lifesoar    : 比方說像是出名的XPEKE BD 這就很讓人意想不到
推 SPAEK       : 長知識 你很會講解
推 Namukab     : 下面那篇有說理論 用多層神經網路堆疊有機會實現
→ Namukab     : 也可以配合其他演算法 如現今已完成的某迷樣程式
推 qwer870320  : 猛
→ darklucker  : 我猜推文反應的是星海虧不虧這個部分
→ darklucker  : 因為每個種族的爆兵速度 資源奪取速度都有差異
→ darklucker  : 更何況 星海不會只打正面
推 waterface   : 推
推 shiang523   : 推
推 tonsin2976  : U文
推 jeff666     : 專家出來回啦
→ YuenYang5566: 世紀帝國的弓手就像你說的會個別拉打散開
推 Jeff424     : 這篇文太神了
推 ab056921    : 真的優 不只懂還寫得讓一般人看懂
推 harry886901 : alphago會再次讓FAKER感到恐懼嗎
推 SalivaLpaca : 推 連我這種智障都看得懂 嗎
推 qazqaz      : 個人猜測讓ai控五隻英雄會學習的比較快嗎？畢竟這
→ qazqaz      : 樣就類似星海控五隻單位的意思。好期待將來有ai戰
→ qazqaz      : 隊，可能會出現一些特別的英雄組合。
→ qazqaz      : 希望可以打破eu流
噓 jemmak629   : 一樓那臭宅看一次噓一次
推 tomylee78   : 真的是好文給推  長知識了
推 Tenging     : 沒摸過看不懂啊 推
推 shakai1010  : 太U質啦
→ goodricky04 : 圍棋是全世界最複雜的遊戲 LOL只是缺商業價值
推 pttverygood : push
推 gpointchen  : 推
推 ss5141318   : 推 你優質文 期待更多知識分享
推 rabbitu04   : 如果一次五隻一起練的話~會不會直接推翻eu流的走法
→ rabbitu04   : 啊XD
推 azjba89xz   : 優質文
推 TyrantTex   : 推