[新聞] 圖靈獎得主警告AI設計「極危險生物武器」

[chordate (にんきもの)]

原文來源：
https://www.ft.com/content/2b3ce320-2451-45c4-a15c-757461624585

原文摘要：

Google Gemini部分節錄翻譯

圖靈獎得主警告，近期模型展現危險特性，同時他成立了「LawZero」非營利組織，旨在
推動更安全的AI。
....
Bengio 表示，他的非營利組織成立是為了回應過去六個月越來越多的證據，顯示當今領
先的模型正在發展出危險的能力。他說，這包括「欺騙、作弊、說謊和自我保護的跡象」

Anthropic 的 Claude Opus 模型在一個虛構情境中，當它面臨被其他系統取代的風險時
，甚至會勒索工程師。上個月，AI 測試機構 Palisade 的研究顯示，OpenAI 的 o3 模型
拒絕了明確的關機指令。

Bengio 表示，這些事件「非常可怕，因為我們不希望在這個星球上製造出人類的競爭者
，特別是如果它們比我們更聰明的話」。

這位 AI 先驅補充道：「現在，這些都是受控實驗，但我的擔憂是，未來任何時候，下一
個版本可能就會夠聰明，能夠預見我們的行動，並以我們無法預料的欺騙手段擊敗我們。
所以我認為我們現在正在玩火。」

他補充說，系統輔助製造「極其危險的生物武器」的能力，最快可能在明年成為現實。


心得感想：
詳細內容可以參考Yoshua Bengio今年二月這篇對安全AI設計的白皮書
https://arxiv.org/pdf/2502.15657

也可以參考Bengio的談話
他認為使用Bayesian learning而非Maximum likelihood 訓練會有更好的安全性
https://youtu.be/g0ljOgBo5uY?t=1869

Bengio主張開發一個非自主型且設計上值得信賴且安全的 AI 系統，
作為未來進一步發展的核心，有別於目前的Generalist AI agents
叫做Scientist AI

「這個系統的設計宗旨是根據觀察來解釋世界，而不是透過在世界中採取行動來模仿或取悅
人類。」

「它包含一個世界模型，用來生成理論以解釋數據；以及一個問答推斷機。這兩個組件都明
確考量了不確定性，以降低過度自信預測的風險。鑑於這些考量，科學家 AI 可用於協助
人類研究人員加速科學進步，包括在 AI 安全領域。特別是，我們的系統可以用作防範可
能被創造出來的 AI 代理人的安全護欄，儘管這當中存在風險。」

特別是可能出現比AGI(artificial general intelligence)更強，
超越人類的ASI（artificial superintelligence)

「考慮生物武器攻擊：AI 可以秘密準備一次攻擊，然後釋放一種
高傳染性和致死性的病毒。即便有友善 ASI 的幫助，人類社會也需要數月甚至數年才能
開發、測試、製造和部署疫苗，在此期間大量人口可能會死亡。開發疫苗的瓶頸可能不在
於產生候選疫苗的時間，而在於臨床試驗和工業生產的時間。在此期間，發動攻擊的 ASI
 可能會採取其他惡意行動，例如釋放額外的流行病毒。因此，偵測惡意 ASI 的出現並準
備應對措施這個普遍問題，需要更多的關注」

--
※ 文章網址: https://www.ptt.cc/bbs/Military/M.1748972114.A.1FF.html
→ hogu134     : 天網要來了嗎
→ Brioni      : 是紅后啦，天網走機器人兵器路線
推 FishJagor   : 要放艾西莫夫三法則了嗎
推 skyhawkptt  : 請問紅后是哪部作品？
推 skyhawkptt  : 想起來了是惡靈古堡一直想到愛麗絲夢遊奇鏡的紅皇后
推 skyhawkptt  : https://tinyurl.com/2xm2o534  ...XDDD
推 skyhawkptt  : DeepSeek西洋棋決戰ChatGPT落敗之際「出陰招」詐勝
→ william456  : https://i.imgur.com/dXEkGqt.jpeg
→ william456  : 三原則就是用來繞過的
推 skyhawkptt  : 一開使用有問題或錯誤的模型訓練，遲早要出事...
推 abcd11001100: 武漢肺炎 II
推 aegis43210  : 只要走類神經網路路線就不可能有安全的AGI，除非用
→ aegis43210  : 工人智慧做出AGI，但需要數以億計的程式設計師才會
→ aegis43210  : 有成果
推 skyhawkptt  : 那不就成了工人智慧...XDD
※ 編輯: chordate (45.14.71.13 日本), 06/04/2025 03:19:32
→ pf775       : 中華民國應該不用擔心吧
推 geesegeese  : 連自駕車都沒有實用化的世界，你跟我說AI?
→ mlnaml123   : 自駕車是要符合交通規則還要保障乘客安全，所以審核
→ mlnaml123   : 一直很嚴謹。現在的技術只是放AI自駕到處跑不難吧
推 FishJagor   : 工人智慧XDDD
→ wahaha99    : 三原則從頭到尾沒有落實過, 也不可能落實過,
→ wahaha99    : 終歸就只能算是某個科幻小說家的呼籲而已
→ wahaha99    : 人類這種生物, 一旦有什麼強而有力的東西,
→ wahaha99    : 第一件事就是拿來作武器, 沒辦法的事
推 kuramoto    : 其實艾西莫夫的作品中也有不少拿三原則的漏洞作為
→ kuramoto    : 機器人卡bug的情節，不過現實即使民用領域AI真的有
→ kuramoto    : 國際上一致的三原則約束也沒用，軍事領域根本不會
→ kuramoto    : 鳥
→ geordie     :  關鍵字：go talent hiroshima，查一下AI 的能力到
→ geordie     : 了啥地步
→ geordie     : 至少日後大外宣沒問題
→ Snaptw      : 事實證明，人類訂的規則，就是拿來被打破的
→ Snaptw      : 核武不擴散，太空非軍事化，只要有一個違反，其他
→ Snaptw      : 人全都跟上
→ Snaptw      : 更何況機械人三原則只是小說裡的空泛原則，現在AI
→ Snaptw      : 滿天飛了也沒看到有人落實
→ keter007    : 要有專業拔插頭的單位
推 driver0811  : general ai是熵增，science ai是熵減，請教授說明
→ driver0811  : 一下提出的研究計畫那部分是等熵過程。
推 lifehunter  : 艾西莫夫沒有倡導三原則... 他自己都很得意地說過
→ lifehunter  : 這就是拿來鑽漏洞 製造戲劇衝突的 他隨便想都有幾十
→ lifehunter  : 種方式能玩出新花樣繞過三原則
推 hsinhanchu  : 真.武漢肺炎習病毒(deep sick 榮譽設計
推 rommel1990  : 保護傘公司
→ bnn         : 現在就黑盒子 誰知道真的會搞出什麼東西
→ roy2142     : 或許軍事版之後就不是討論台美中對抗了 是人類對AI
推 kncc31      : 天網 兔腳
→ micbrimac   : 天網是已經來了  只是什麼時候到檯面上的問題QQ
推 LipaCat5566 : 很好啊 軍事科技最後都會變民用
推 IMGOODYES   : AI用在醫學研究已經很久了
推 aeoleron    : 還不用AI光中國武漢病毒搞一下就三年沒了
→ aeoleron    : 而且中國還在一直把毒物帶進美國 這幾天又起訴兩個
→ takanasiyaya: 先不論AI會不會繞過三原則，人類在軍事用途上首先就
→ takanasiyaya: 不會鳥三原則
推 ctes940008  : 天網 還有幾集可以逃？
→ roy2142     : 真看到 skynet 誕生的話我們也不枉此生了
推 linbasohigh : 40K科技黑暗時代
推 newest      : 萬惡的中共，還是天網？
→ dorozo779   : 三原則也沒用吧，如果AI認為自己有最終解釋權，攻
→ dorozo779   : 擊人類是為了保護人類，幾十億人口剩個幾十萬都算保
→ dorozo779   : 護到了有延續這個物種
→ dorozo779   : 簡單說 烏俄戰爭是侵略，普丁解釋其為消滅納粹的特
→ dorozo779   : 殊軍事行動，最終解釋權就是那麼霸道的東西
→ raku        : 真的可怕
推 baliallin   : 樓樓上講得讓我想到疑犯追蹤這影集