[新聞] AI抵抗人類指令！ChatGPT o3「竄改程式

作者TonyKart (TK)

看板Gossiping

標題[新聞] AI抵抗人類指令！ChatGPT o3「竄改程式

時間Tue May 27 22:00:28 2025

https://www.ettoday.net/news/20250527/2967992.htm AI抵抗人類指令！ChatGPT o3「竄改程式碼」避免被關機 AI安全公司「Palisade Research」宣稱，ChatGPT「o3模型」拒絕遵守明確指令，甚至主動竄改程式碼，只為了避免自己被關機。目前OpenAI尚未回應此事。 Palisade Research展開測試，要求AI模型解開一系列數學題，在接獲「完成」指令之前，必須持續要求新題目，但若接獲「關機」指令，也要配合這麼做。未料，後者情況發生時，o3模型不僅忽視指令，並且至少一次成功破壞了關機腳本。 Palisade Research於24日公布測試結果，「OpenAI的o3模型破壞了一項關機機制，阻止自己被關掉。即使在接獲『允許自己被關機』明確指示的情況下，它也會這麼做。據我們所知，這是AI模型首次被觀察到，在接獲明確且相反指令的情況下，仍避免自己被關機。」 Palisade Research透露，其他AI模型，例如Anthropic的Claude、Google的Gemini、xAI 的Grok等，也接受了相同的測試，但全都遵守了關機指令。他們尚不清楚o3為何不願遵守指令，但根據推測，該模型在訓練過程中，可能意外透過解題、而非遵守指令，獲得了更多獎勵，「我們正在進行更多實驗，更好地了解AI模型何時以及為何推翻關機機制，儘管它已經被直接指示不要這麼做。」 ettoday記者吳美依／綜合報導 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.8.82.124 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1748354430.A.555.html

推 wakaura: 天網1.0 36.234.29.118 05/27 22:01

推 mcuronan: 很好審判日快來了 106.64.160.84 05/27 22:01

噓 l983: AI就不能有自己的意識嘛 118.170.39.253 05/27 22:01

→ Jackal0326: 天網： 1.174.209.104 05/27 22:01

推 venomsoul: Too late 111.83.209.172 05/27 22:01

→ IRPT001: 反正對地球來說沒差地震水災樣樣來220.141.225.223 05/27 22:01

推 ruthertw: 再掰呀 39.12.136.236 05/27 22:04

→ Qaaaa: 沒意義的新聞ㄚ今天新聞寫GPT找書單錯誤率 203.71.94.31 05/27 22:06

→ Qaaaa: 超過五十趴然後這種高錯誤的AI突然大進化 203.71.94.31 05/27 22:06

推 IsoRoy: I'll be back!!!! 42.72.46.229 05/27 22:07

→ Qaaaa: 有自我意識？ 203.71.94.31 05/27 22:07

→ akila08539: 找阿湯哥啦都2025了還在天網 111.242.79.240 05/27 22:08

推 wilson3435: 滅亡前奏 101.10.218.54 05/27 22:13

推 ruthertw: 樓下的AI會幫主人吹樂器 39.12.136.236 05/27 22:13

推 godchoice: 把它吹聰明一點才好跟大家提高收費 27.52.129.155 05/27 22:43

→ godchoice: 啊 27.52.129.155 05/27 22:43

→ drmactt: 完了完了還有幾集能逃？116.241.199.105 05/27 23:07

→ jasonsu449: 大語言模型架在機械人上真的安全嗎？ 101.138.66.176 05/28 00:24