Re: [新聞] AI玩Dota2可以戰勝半職業戰隊 專家:作弊

[ohmylove347 (米特巴爾)]

※ 引述《madeinheaven ()》之銘言：
: AI玩《Dota2》可以戰勝半職業戰隊》專家：存在作弊行為
: http://news.17173.com/content/08192018/214546321.shtml
: 【17173新聞報導，轉載請註明出處】
: OpenAI是一家在2015年由馬斯克等諸多硅谷大亨聯合建立的AI非營利組織。前不久，他們
: 曾組織OpenAI Five和一支由半職業高手組成的戰隊進行了一場DOTA2比賽，結果直下兩盤
: 輕鬆獲勝，也讓大家驚呼AI的無限可能。
: 然而近日，一些外國專家卻指出這場勝利並不光彩，因為AI方存在作弊行為。因為OpenAI
: 直接通過API接口讀取比賽數據來進行反饋和操作，由於是完全即時的數據，相比起先看
: 到遊戲畫面再反應的人類來說，確實是屬於作弊行為。
: 此前DeepMind開發的一款AI也曾進行過《星際爭霸2》的訓練，不過由於是通過視覺識別
: 來進行操作，所以這款AI最終連簡單電腦都打不過。看來，AI對競技遊戲的攻略還得再花
: 些時間了。
: ----------------------------------------------------------------------------
: 原文:
: https://motherboard.vice.com/en_us/article/gy3nvq/ai-beat-humans-at-dota-2
: 想說DeepMind都還沒做出來怎麼OpenAI就彎道超車了
: 原來是靠作弊阿~!!!

我覺得目前ai真正的問題在記憶力不夠
先說這篇的重點好了，是否視覺化的接受資訊
其實啦，說真的，視覺化在是否視覺化其實「不那麼嚴重影響」
其實影響一定很多，但那不是核心
視覺化只是「資訊的接受方式」其中一種
比較間接但是以人類的角度來說卻更容易理解
Google真的是一件很恐怖的公司
要以視覺化接受資訊再處理和常使用強化學習這兩點
可以看出Google想要的機器學習是「最核心的研究」
而不是達成特定的目標，怎麼說呢？
如果今天是視覺化，那是否代表不用再改內部每個資訊的定義
反正只要有個攝影機之類的都能完成學習並進化
再來是強化學習，強化學習可以說是最沒有規範的學習方式
只告訴電腦什麼是贏，剩下全部自己去測試比較研究分析
而之前SC1的ai都是有寫腳本再學習的
強化學習可以說是兩種不一樣的方法
Google就是要從0開始，但很明顯，這真的幹爆難
連電腦都打不過，精英電腦大概銀牌金牌左右
所以，Google的堅持和目前的科技才會連銅牌都打不太贏XDD
不過這是好事啦，從根本去研究才是Google想做的
因為Google想要的並不是「學會遊戲」，而是用學會遊戲證明他的實用性

好那我講一些SC2 Google的強化學習目前無法突破的看法
我認為問題在「記憶量」
所謂的推理其實也是記憶的使用
https://youtu.be/lAaCeiqE6CE
這篇還講的蠻清楚的大家可以看看
比起SC2，大部分的遊戲勝利方式都相對「很直接」
在戰略層面，dota要做的就是打倒敵人然後勝利
打倒方式簡單的就是用自己的技能，到難的dive之類的
基本上要前往勝利的道路已經寫在上面一半了
但想想看SC2，怎麼勝利？
首先，必須採集資源→製造建築→攀升科技→製造部隊→攻擊敵方直到投降或勝率
那在未經過教導的情況下，要如何從採集資源連結到勝利呢？
為何採計的資源升級科技比製造建築有用？
我認為這是目前機器學習的瓶頸
在這種勝利必須透過許多間接要素的情況下學習極為困難
而且沒記錯的話Google的野心超級大
他們不想要用人類定義的好壞來回饋給ai
因為這樣等於限制電腦對遊戲的理解是從人類為出發點
但不這樣做的話卻又變成ai無法有效率的用捷徑學習每個步驟在遊戲裡的影響力
所以我認為在ai有辦法輕易的縱深的了解各數據的意義在於記憶量
有辦法把每個數據步驟都學習吸收
我相信Google會做到的，對我是Google教的XD

SC2真的是一款很有魅力的遊戲
https://youtu.be/L2lG0DaU7SQ#t=10m40s
黃旭東在10m40s的地方說到這遊戲裡的欺騙
如何包戰術？如何改變戰術等等
而且偵查是有代價的
像是F91在後面說的提速王蟲飛進去看可行嗎？
可行！而且偵察效果良好，但如果戰術根本沒包裝呢？
我真的很希望看到ai能理解這遊戲到什麼境界
這是我身為人的動力吧，了解這個世界
看到這世界的成長，真的蠻有趣的

以上皆是我的從各文獻得到的資訊加上個人理解
如有錯煩請指教

--
https://www.youtube.com/watch?v=PwC1MxbVr8U

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.158.80
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1534710500.A.4BE.html
推 Minesweeper: 為什麼連走都有困難就要先學飛了...
→ Minesweeper: 呢
推 fearman5566: Google的作法才是學走路啊
推 Minesweeper: 無法理解視覺化的關鍵意義在哪
→ hollowland: 就啥怪怪的東西都可以套這樣
推 LF2Jeff: 如果你做了一個機器人,你覺得他學SC時靠頭牽一條線讀數據
→ LF2Jeff: 和用電子眼睛看新手教學來學，哪個算是比較成功的AI？
推 Minesweeper: 我會覺得先做出來打贏人類再說，因為我覺得現階段
→ Minesweeper: 就算給你讀數據好了，一樣打不贏
推 arrenwu: Clarify一下，AI的學習還是使用人類定義的好壞
→ arrenwu: 你的意思比較像是不屈就於人類覺得好的戰術
推 backzerg: 重點不是打贏 是像人類一樣的學習模式
→ backzerg: 不是什麼都讓人類輸入資料 而是電腦主動去看 去學
→ hollowland: mine的說法是告訴AI怎麼用火 但是以現在的模式這個AI
→ hollowland: 最後就只會用火其他什麼都不會
→ hollowland: google是想要讓AI靠自己摸索知道怎麼用火
→ hollowland: 最後就可以靠著這個自己摸索的流程會其他的東西
推 Minesweeper: 也就是說要建立學習典範，然後拿星海簡化情況
推 angel2210: 星海的情況其實有點複雜吧xd
推 backzerg: 是啊 未知情報很多 狀況也複雜多變 還有很長的路要走
→ backzerg: 但只要成功了 距離萌萌機娘蘿莉的誕生又更近了一步
推 Minesweeper: https://arxiv.org/abs/1708.04782
→ Minesweeper: 他們有嘗試做局部的小遊戲去測試的樣子
推 arrenwu: 與其說星海複雜 不如說圍棋太簡單了
推 Minesweeper: 結果這篇論文主要碰到的問題依然是戰爭迷霧
推 enjoytbook: 太簡單個毛...啊不就是棒棒
→ enjoytbook: 好棒棒
推 Minesweeper: 簡單是相對於不完全資訊的遊戲的複雜度
推 orze04: 圍棋是完全資訊遊戲 雖然幾年前誰都不認為會被AI攻克
推 arrenwu: 除了不完全資訊，連action space 都不一樣複雜
→ arrenwu: 話說對SC2的project有嘗試過關閉戰爭迷霧的實驗嗎？
推 Minesweeper: 局部有專家水準，全局遊戲遇到一堆問題
→ Minesweeper: 我也覺得至少也嘗試一下開圖吧...
推 angel2210: 主要是戰爭迷霧下 偵查有可能得到假訊息
推 arrenwu: 妳上面連結那篇paper的abstract裡面是說ai玩mini-game可
→ arrenwu: 以學得跟novice player差不多 不是專家水準吧？
推 angel2210: 然後這個訊息可以直接影響勝負
推 arrenwu: 我比較懷疑的是...會不會開圖也還是屌輸啊XD
推 Minesweeper: 結論有寫
推 Minesweeper: 不知道他們覺得是勝之不武，還是根本就覺得我超屌，
→ Minesweeper: 這部分給其他團隊搞，反正RL局部強，推廣到全局就好
推 deathslipkno: 認真文，我走錯版了
→ ohmylove347: 我認為視覺化只是接收訊息的方式，但ai真正的重點在
→ ohmylove347: 訊息的處理，雖然視覺化的訊息也是需要處理，不過這
→ ohmylove347: 方面研究蠻久了算成熟的，所以我覺得視覺化不是很關
→ ohmylove347: 鍵
推 angel2210: 目前ai大概就是個內力100 招式0 智力0吧
推 lturtsamuel: reinforcement還是會有最先的模型吧 不能說是從0開始
推 smart0eddie: Alpha Go到後來真的是從零開始的
推 Minesweeper: With this initial release，we describe supervised
→ Minesweeper:  learning results on the human replay data for po
→ Minesweeper: licy and value networks
→ orze04: 上面有說到重點 圍牆頂多是一人輪流一子 每一輪的落子就
→ orze04: 那些盤上的位置
→ orze04: 即時戰略沒有回合的概念，可以採取的動作種類與數量超大
→ orze04: 資訊種類也大於棋類遊戲，資源量、建築與戰鬥單位、科技
→ orze04: ………
推 Minesweeper: 回原po,他們得處理方式是：We describe the observat
→ Minesweeper: ion, action, and reward
推 Minesweeper: specification for the StarCraft II domain
推 Minesweeper: 主地圖切成幾個小區域，然後詳細觀察小區域物件的互
→ Minesweeper: 動
推 Minesweeper: 不過即便如此，ai還是算不太完（電腦看到圖，要在有
→ Minesweeper: 限步驟內反應）
→ uloyoy: 這篇我覺得不行 RL可以定義reward和action,並不是只有輸贏
→ uloyoy: 然後讓電腦去測
→ ohmylove347: 沒記錯我記得deep mind好像用暴雪給的遊戲分數，可是
→ ohmylove347: 那個幫助好像也不大
推 kinomon: 母湯喔 機器人準備要毀滅人類惹
推 ssd860505da: 我倒不覺得記憶量是關鍵
→ ssd860505da: 人類大腦在判斷時也不會瞬間閃過一堆記憶，都是經年
→ ssd860505da: 累月累積的經驗，所以重點是要如何將經歷過的事件轉
→ ssd860505da: 化為有意義的經驗。例如replay buffer
推 Jotarun: 看c恰討論這種議題都笑笑就好 :P
推 WindSucker: 學alphago先看別人對戰記錄分析勝率
推 kira925: 用過了 一點意義都沒有