[魯蛇] 從AI訓練思維來看遊戲平衡這件事

[PosetMage (AI魔法師公會長老)]

如果要訓練AI當策略遊戲的平衡還有拿來當AI的思維：

先分類型   規則多的或者數值多的
規則多的基本上必須以decision tree為主的方式去設計AI
數值多的話則很好套用hidden layer的概念

當然是建議規則類型能減少就減少，畢竟越多規則會造成複雜的程式碼

魔法風雲會就是規則多  然後多到還有官方出被自己方官方禁卡的智障行為
寫成程式當然也是超級麻煩


訓練過程可以定義方向會方便很多，比如戰棋或者卡牌或者RTS有"勝負"
因為可以定義勝負了，所以可以採用強化學習(Reinforcement learning)去讓AI左右互搏

學到一定程度之後，檢查"strategy space" 和 "strategic depth"
如果Strategy Space太小就是平衡太差，
好的平衡就是盡可能擴大Strategy Space 從這個定義可以看出訓練上的困難，
因為AI訓練是要找一個最好可以收斂的方向，比如勝率最終雙方會趨於50:50
(一般來說通常有先發優勢，可能是55:45，舉例來說，麻將就是25:25:25:25，四個高手
一起打就是平均值在平手。)

問題是我們想要並不是一個收斂的結果，而是盡可能發散的Strategy Space。

反向傳播(Backpropagation)訓練AI是只能往收斂走，無法往發散走的。


從AI概念可以推論出真把平衡做好的很難

玩遊戲也可以看出這種天生的非對稱性：

策略遊戲玩家經常可以找到較好的策略，甚至因為某幾招特別好用，大家都用同一招了

策略遊戲製作團隊卻難以找到好的平衡，
比如Blizzard遇到平衡問題，就是先nerf再說"我們覺得這樣很cool。"


--
DC群-AI魔法師公會(AIMageGuild) 歡迎你的加入 (請看個人資訊)

一起來聊AI的各方面包含 AI硬體 AI演算法 AI思維 AI咒語 使用AI生產
                       AI打牌下棋的思維 後AI時代的商業模式  都可以聊

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 126.119.53.227 (日本)
※ 文章網址: https://www.ptt.cc/bbs/GameDesign/M.1681215649.A.EA0.html
※ 編輯: PosetMage (126.119.53.227 日本), 04/11/2023 20:23:44
推 MrFishing: 推薦這位來自日本的魔法師大大（欸？
推 tsrn46336686: 謝謝大大分享 但感覺好像沒什麼重點@@
→ strangechu: 這筆記文體不知道你重點是什麼 總之想表達平衡很難?
謝謝你的提問   我在定義什麼是"平衡"

大家都說平衡不好   那什麼是"平衡"?

一般人直覺是不同種族不能有太大的勝率落差   但同種族之間呢?

某些技能招式組合太imba就是不平衡?

那同種族之間組合數量也相當多  要怎麼說是你個人不會玩還是不平衡?

用"Strategy Space"是否可以作為一個可以統一這些問題的定義

Strategy Space要如何作為檢驗方式? 因為可能是你技術太差才以為其他組合不好用

AlphaStar用神族追獵者可以打爆人類不朽者  那是誰的問題? 平衡又要怎麼做才合理?


所以引入了用AI去訓練的概念   AI大量探索後

"AI找到的Strategy Space"才是"平衡度"



那現在有平衡度的定義了  要如何用電腦自動去尋找平衡度?

用神經網路AI?   很抱歉不行  因為神經網路只能找收斂無法找發散


那有沒有其他方法?   我個人猜"演化式計算"(基因演算法)反而有可能

讓"AI找到的Strategy Space"大的數值集合   去做雜交演化下一批數值
※ 編輯: PosetMage (123.218.12.230 日本), 04/13/2023 12:29:35
→ Mchord: generative model也是BP訓練喔
→ Mchord: 如何找得到的metric去定義strategy space才是問題
→ ddavid: 製作團隊不是比玩家難找到平衡，而是不值得花費那個成本
→ ddavid: 在處理平衡問題前，最先要理解的是當你系統有一定的複雜性
→ ddavid: 後基本上就不用考慮可以完美平衡了
→ ddavid: 因為做不到，玩家也未必需要
玩家未必需要那為甚麼MTG需要禁卡?
RTS不需要平衡的話  那bz在nerf甚麼?  放著就好
→ ddavid: 其他有些我以前本版老文章有聊到XD  #1CGrc99x
→ ddavid: 至於你講 AI 一堆似是而非的內容，就不一一談了……XD
你的文章問題是沒有定義什麼是完美的平衡(也沒定義平衡)  反而在用烏賊戰術打模糊戰

你的文章說玩家算不完   算不完又怎樣  用期望和機率算就好

很顯然你對現代AI完全沒有概念 ex: 撲克AI、麻將AI都是在打機率而不是傳統決策展開

我在這篇就是在定義平衡是  "AI探訪過後的Strategy Sapce"

→ ddavid: 老實說類神經網路已經可以用相對便宜價格建立到一個程度時
現在神經網路多半是拿來找方法 ex:AI下棋  AI打星海

都不是拿AI來調整數值做平衡

我在討論的是用AI做平衡

→ ddavid: ，基因演算法這種口頭上演化講得很有噱頭，實質上其實還是
→ ddavid: 一種搜尋演算法的東西能使用的範圍就已經極度減少了
我在提就是Backpropagation只能找收斂而非找發散

我本身就是在做AI的(使用演算法到硬體指令做晶片加速都有)  如果你懂AI  歡迎討論^^
※ 編輯: PosetMage (60.115.80.231 日本), 04/17/2023 14:11:30
推 cutearia: GA的問題一樣是後期收斂時大部分染色體解都相同，不覺
→ cutearia: 得效果會比類神經網路好。怎麼把你說的strategy space
→ cutearia: 大小轉換成reward/fitness來訓練可能會有比較直接的效
→ cutearia: 果