推 maplefoxs: 這樣下成功率有多高我很懷疑 02/18 10:16
高段業餘棋手在 kgs 15戰14勝
不過的確很難想像會偷襲成功
推 staristic: 這種漏洞目前各類AI多少都有，像是圖片辨識的AI可以用 02/18 10:27
→ staristic: 雜訊攻擊，雖然人眼看不出來，但是AI就分不出了 02/18 10:28
推 staristic: 只能說，AI雖然很強了，但離真正大規模運用還有段路 02/18 10:30
→ staristic: 圍棋AI無關人命，要是車用AI被攻擊，後果不堪設想 02/18 10:30
推 kafai: 簡單說叫做偷吃，或者說要製造超長氣的對殺 02/18 10:35
推整理
※ 編輯: KAOKAOKAO (36.230.135.113 臺灣), 02/18/2023 15:09:15
推 driftingjong: 故意過擬合 這很不容易 02/18 16:28
→ driftingjong: 簡單來說是故意往算法不適用的特例去走 02/18 16:29
推 ddavid: Overfitting 是 training 的事情，應該說是刻意找出已經存 02/18 21:27
→ ddavid: 在於 model 內的 overfitting 然後針對性地對抗 02/18 21:27
→ ddavid: 當然也未必是 overfitting，單純的就是模型本來就沒有處理 02/18 21:29
推 ddavid: 到也是可能 02/18 21:35
AI初心者想請教 ddavid 大大多描述些這兩者的差異
小弟只知道MNIST的監督式學習的一點概念
overfitting 大概就是會變成手寫字寫得不夠像 dataset 裡面的數字的話會辨認錯
但這又如何與「本來就沒處理到」區別開來呢？
→ ddavid: 其實深度學習會有這種盲點對研究者而言是可預見的，這個球 02/18 21:37
→ ddavid: 應該算是本來就知道的球，不是現在才丟回來的XD 02/18 21:38
的確 adversarial attack 至少五年以前就有理論了
但除了對抗式模型能夠成功之外 小弟認為這則新聞裡面的「人」的成份特別有趣
先前板上的討論分享之中 大家原本都以為是AI模型對非常理虛手的處理不佳
導致有漏洞可鑽、會輸掉
但這篇 blog 強調了另外一組對抗策略：反包圍偷殺
而且反包圍偷殺作戰的執行是可以由人類去復現執行的
很多圍棋 youtuber 把 AI 捧的跟神一樣
但是 AI 面對反包圍偷殺作戰 將自己的包圍網顢頇地送掉
在厚薄的判斷上顯然有盲點
※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/19/2023 09:29:25
推 BluffKing: 點進去看譜太爆笑，竟然允許填子自殺 02/19 12:14
→ BluffKing: 反正就是各種無下限攻擊讓AI精神錯亂是吧？ 02/19 12:15
推 BluffKing: 這幾盤AI好像不會虛手？真怪 02/19 12:51
→ BluffKing: 難怪最後可以反讓AI 九子 02/19 12:52
推 ddavid: overfitting：訓練資料有涵蓋到的部份，但模型太過嘗試極 02/19 22:52
→ ddavid: 端吻合每一筆測試資料，導致模型像是在背每個不同的答案而 02/19 22:57
→ ddavid: 沒有整合出共通規則 02/19 22:57
→ ddavid: 但如果某些區域根本就沒有成功整理出規則，或者模型本來就 02/19 23:15
→ ddavid: 參數量不足以解釋，根本沒有收斂成功，就 underfitting 了 02/19 23:16
→ ddavid: 就比如那堆奇怪的下法，AI 自戰學習可能早早就覺得很爛， 02/19 23:17
→ ddavid: 很快就不會在自戰挑選相關下法了，結果反而在那堆奇怪下法 02/19 23:18
推 ddavid: 裡面找出複雜場面就可能突破，這沒有看到訓練時的數據就不 02/19 23:22
→ ddavid: 太確定會是哪種情況 02/19 23:22
推 ddavid: 畢竟圍棋複雜度夠高，特定區域 underfitting 肯定是會發生 02/19 23:29
→ ddavid: 的，只是人類根本沒那個能力自己想出又亂搞卻又夠複雜的棋 02/19 23:29
→ ddavid: 來攪出問題，結果還是需要靠沒有先入偏見的 AI 來挖問題 02/19 23:30
→ ddavid: 只是因為這點就說 AI 圍棋不神，我覺得反而過度反應，事實 02/19 23:33
→ ddavid: 上還是 AI 才擊敗了 AI，不然 AlphaGo 都已經八、九年了， 02/19 23:34
→ ddavid: 如果隨便亂搞就能凹贏，怎麼不見哪個人直接出來宣稱自己研 02/19 23:35
→ ddavid: 究出了擊敗 AI 的方法XD 02/19 23:35
推 ddavid: 另外，這種漏洞有可能不同模型不一樣，有可能絕藝就沒這一 02/19 23:39
→ ddavid: 個洞。這跟訓練過程及模型容量都可能有關係。 02/19 23:40
→ ddavid: 但終究這沒有改變 AI 就是比人還神的事實，人類靠了 AI 才 02/19 23:42
→ ddavid: 勉強找到的打敗部份 AI 辦法，人家真的有心要解決，加大一 02/19 23:44
→ ddavid: 下模型容量可能就又搞定了XD 02/19 23:45
感謝 ddavid 大的說明
剛巧小弟最近在 trace Katago 所以這裡想回饋點不一樣的想法
我的結論是 以 Katago 的 selfplay 作法 幾乎不可能靠自己挖掘到這個盲點
現在 katago 的模型棋力演進是靠眾人貢獻算力
技術細節上 OpenCL 安裝完下個 "katago contribute"
就會自動開始跑 GPU 自我對戰
然後上傳某些盤面下的著手給伺服器端去訓練下一輪的模型
這個網址有貢獻者的清單
https://katagotraining.org/contributions/kata1/
其中每個人貢獻的內容有分 training 和 rating
training 是使用最新的 katago 模型自我對戰當中的某些著手
rating 則是新舊版本間的 katago 模型對戰 用來幫新模型定段（ELO）
那這就有趣了 儘管一路走來 新的模型等級分總是越來越高
那為什麼還會留下這些對人類業餘低段甚至低級棋手都覺得很荒謬的盲區呢？
d 大說說圍棋 AI 不神的人們是過度反應 我倒覺得武斷了
AlphaGo/AlphaZero/MuZero 等深度強化學習體系的模型裡面
至少 Leela/Katago 這兩者在成長過程中竟然會留有盲區
這不是很不神的事情嗎？
換個領域做比方 當我們說到「速度之神」這個概念的時候
不管腦中想像的是希臘神話的荷米斯 或是紅牛的F1賽車
至少我們不會預期祂或它經過訓練或研發之後
跑一跑回過頭來倒輸烏龜吧？
甚至 人類自己努力跑還是會跑輸 但只要學烏龜跑就能跑贏「神」
當然 任何人類都已經很難靠自己贏過 ELO 上萬的模型 這是事實
但是思考「神」這個字本身的意義以及理想的境界以作為未來的指引
應不至於那麼無聊
上述的「神」的意義論述 其實都是在表達一個驚異感
「強度」這個我們一直以為是單一維度的東西
竟然也開始扭曲了 變得像是剪刀石頭布一樣有生剋在裡面
至於這個是方法論上的性質（只要調整AI的參數、設計、演算法本身）就可以改良
或是學理上註定會有這種特徵
（所有的線性等級分度量註定在某個尺度後扭曲、強度的遞移律並不普遍存在）
在接下來被 AI 所影響的長遠的未來的各個領域
人們必須發展出不同的策略去應對
針對前者 可以預期大型機構持續探索各種方法
但如果後者的理論被證明或建立 大家就會終於恍然大悟
田忌賽馬一般的賽局到處都存在 只是尺度不是三匹賽馬的數量級而已
→ ddavid: 只是搞定這些硬搞出來的贏法根本沒有什麼商業價值，現在 02/19 23:45
→ ddavid: AI 的主要定位本來就不是自己出來下棋而是輔助學習了，對 02/19 23:46
→ ddavid: 人類完全無效的下法完全沒有商業價值，只是證明了設計 AI 02/19 23:47
→ ddavid: 本來就已經可以預想得到的事實而已 02/19 23:47
也許 AI 對於圍棋這個經典遊戲來說就只能停留在「輔助學習」的定位
西洋棋界人機混戰（https://en.wikipedia.org/wiki/Advanced_chess）也仍是少數
也許圍棋賽事裡面的 AI 影響力未來也很難從現在的離線學習、賽況分析進入到即時對抗
所以評論說一個對抗式圍棋模型完全沒有商業價值 是合理的
這個東西本來就是一個研究專案、幾篇論文
而不是哪個棋院或是法人推出來的產品
但對於未來將使用強化學習模型作為界面的其他領域應用的話
對抗式AI 也就是「硬搞出來的」的那些作法 不管是在攻擊端還是防禦端都會有需求的
比方說 chatGPT 現在只需要有技巧的詠唱就可以繞過限制器以產生情色與仇恨內容
但是未來可能會升級成 連限制器本身都是 AI 模型
屆時 破解這些限制器的對抗模型就可能會很值錢了
※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/20/2023 11:22:38
推 peterfarm: 有bug就要處理，讓圍棋AI變完美吧! 02/20 16:53
推 Blackout: 對絕藝也能用哦，可以看看大橋拓文的推特 02/21 07:48
推 staristic: 有盲點很合理，畢境圍棋的狀態樹用整個宇宙存都存不下 02/21 08:53
→ staristic: 區區一丁點大小的權重就想cover整個圍棋數學上就不可能 02/21 08:53
→ staristic: 也許你會覺得用業餘下法就能破解很不可能，但從數學上 02/21 08:55
→ staristic: 講，就只是一條分枝而已 02/21 08:55
推 sb710031: 我覺得可能就是引導到像這篇的盤面 02/21 14:37
推 TerminalD: 覺得有點搞笑，原po大概沒學過張量才會有這種強度三一 02/21 15:19
→ TerminalD: 律的誤解 02/21 15:19
小弟確實是學藝不精 根柢不深
不過本文並不是拿神經網路訓練好的 model 張量來互相比較大小
而是以這三組模型（Leela、Adversial、業餘高段人肉大腦）的長時間綜合行為的結果來比
所謂長時間綜合結果 或說互相對局
表示我不是單純的以某些張量的函數在比較 f(L) f(A) f(Human) 的值
如果我有什麼誤會 那就請 T 大多多指教了
回到我在推文中的速度之神的類比
F1 賽車也是現代工藝的頂尖成果之一
裡面牽涉的控制模型、空力動力熱力電力 應該也很複雜吧
哪一天有一隻針對性的緩慢機械可以拼贏它的話 不是很誇張嗎？
※ 編輯: KAOKAOKAO (114.25.73.146 臺灣), 02/21/2023 15:48:13
→ mantour: 要做出三個AI模型A穩定勝B，B穩定勝C，C穩定勝A並不難吧 02/21 21:20
→ mantour: ，勝負本來就沒有遞移律 02/21 21:20
→ mantour: 跟比速度的概念完全不同 02/21 21:20
推 sunev: 人類棋手也有棋風相剋的問題啊..... 02/21 23:59