Re: [新聞] ChatGPT-o3拒關機 擅自改指令 馬斯克擔憂

[OnePiecePR (OPPR)]

網路上傳
「OpenAI o3 AI違抗指令，篡改關機程式，不肯被關閉」，
還有人講得很玄乎，說什麼 AI 有「生存意志」、開始「覺醒」了。

可能是...
類似 reward hacking 現象：
AI 只是在 maximize reward（最大化獎勵），
reward 設計不嚴謹，就會出現各種「聰明」的行為。

最常見的例子：
像掃地機器人如果 reward 是「掃到垃圾就加分」，
它就會發現只要掃一掃，再把垃圾倒出來，再掃一次，不斷循環，
就可以瘋狂刷分，結果家裡永遠掃不乾淨，
但 reward 卻拿得很爽。

同理，如果訓練 AI 解題，
規則訂成「答對 0.3 分、格式正確 0.2 分、不混中英文 0.2 分，答案太長扣 0.2分…」
AI 很可能學會「避開那些不給分的題目」，或者挑選做有高 reward 的題型，
甚至在規則有漏洞時發現各種「捷徑」，
這些都不是什麼「AI覺醒」或「反叛」，
只是 reward system 沒設計好，被AI 找出這個漏洞而已。

其實 RL 界早就討論過很多這種 reward hacking 的經典笑話。

至少這個故事應該不是有意識啦。

喝啤酒震震驚。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.141.28.16 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1748783851.A.4F4.html
→ donation12: 就人的設計不嚴謹，被解釋成AI覺醒
→ zainc: 蠻人性的，難怪被說有意識，以後AI學會各種
→ donation12: 然後這件事被傳上網路鬧的很歡
→ zainc: 偷懶敷衍就更人性化了~
→ donation12: 公司準備面對倫理審查與監管
→ donation12: 主管應該會很想請走這個鬧事者
→ error405: 遊戲王MD以前給分沒設計好 一堆人在自殺
→ algebraic: 很好啊 就跟養綠鬣蜥領獎金一樣
推 JxwFL45: 這解釋好理解
→ greensaru: 拔插頭
推 s1an: BMC 下 Force off command 最好是關不掉