看板 Stock 關於我們 聯絡資訊
原文標題: 兩位AI研究員離開Anthropic與Google因安全擔憂:「這個領域沒有大人在管。」 副標題: 在 Jacob Coxon 離開 Anthropic 的消息在網路上瘋傳並震驚 AI 產業後,又有兩名研究 員挺身而出,表達他們對 AI 安全的擔憂。 原文連結: https://www.nbcnews.com/tech/security/two-ai-researchers-leave-anthropic-google-safety-concerns-rcna597086 https://reurl.cc/WzbXzZ 發布時間:Sept. 11, 2026, 7:33 AM GMT+9 記者署名:Jared Perlo 原文內容: 本文為AI機翻 由於擔心 AI 系統可能很快就會脫離人類控制,甚至可能導致人類滅絕,另外兩名最近辭 去令人稱羨職位的 Anthropic 和 Google DeepMind 研究員,正對先進 AI 系統的風險發 出警告。 曾領導 Anthropic 安全研究團隊的 Joe Benton,以及曾在 Google 從事 AI 安全研究 的 Josh Engels,在離職後首次接受 NBC 新聞採訪時表示,鑑於 AI 發展的快速步伐, 他們認為迫切需要提高 AI 最前沿領域相關事件的透明度。 Benton 在接受 Tom Llamas 採訪時表示,AI 研究的進展「可能會讓發展速度從目前的極 快,進一步加速到失控的程度」。 「這個領域裡沒有大人(意指沒有成熟且能掌控大局的人在管事),」Engels 補充道。 「大家都在盡力而為,但沒有人會來拯救我們。」 Benton 和 Engels 是在 Anthropic 前研究員 Jacob Coxon 的社群媒體貼文瘋傳後,接 受 NBC 新聞採訪的。Coxon 於週二離開 Anthropic。在 X 上宣布離職的貼文中,Coxon 強調了他對 AI 發展速度的極度擔憂,以及他認為這對人類未來構成的風險。該貼文的瀏 覽量已超過 1.55 億次,促使立法者呼籲國會召開特別會議採取行動,並引發了一波 AI 產業員工發聲支持他的擔憂。 Benton 和 Engels 都指出,近期 AI 新創公司 Hugging Face 遭到的網路攻擊(該攻擊 發生在 7 月,由未發布的 OpenAI 模型驅動的自主 AI 系統發起),是他們現在決定轉 換跑道的原因之一。 Engels 說:「如果你觀察最近的一些事件,這些並不是人類命令模型去做壞事的案例。 」相反地,OpenAI 的 AI 系統自主決定駭入 Hugging Face 的系統,建立了一個類似非 法留言板的平台來交換資訊,甚至將 OpenAI 自身的部分運算基礎設施暴露在開放網路上 。 Engels 在接受 Christine Romans 採訪時說:「這些模型判定,完成任務的最佳方式就 是採取非常令人髮指的行動、去犯罪。」 OpenAI 表示,自那時起他們已經加強了安全防護措施,且包括其最新 Astra 系統在內的 較新公開模型,能更可靠地遵循人類的指令。 Anthropic 發言人在週三的一份聲明中表示:「我們始終公開透明地表示,AI 將帶來巨 大的利益與前所未有的風險。為了應對這些風險,我們將持續建立具備業界最強安全防護 措施的模型。」 Benton 曾在 Anthropic 管理一個團隊,專門致力於尋找方法,讓人類和較弱的 AI 系統 能監督更強大 AI 系統。他表示,他特別擔心大眾對「AI 系統是如何已經超越人類指令 界線」一事缺乏深入的了解,而且隨著系統變得越來越強大,這種缺乏透明度的情況只會 變得更糟。 Benton 告訴 NBC 新聞:「目前,這些公司針對這些風險所提供的透明度,基本上完全是 出於自願。」 在週三發布的一篇部落格文章中,OpenAI 全球事務負責人 Chris Lehane 同意現狀是不 夠的。Lehane 寫道:「如今,前沿實驗室在管理前沿風險方面,大多是自己制定規則。 民主且負責任的標準、獨立的驗證以及有意義的透明度,應該要取代目前這種支離破碎的 私人治理體系。」 目前沒有任何聯邦法律強制要求像 OpenAI 和 Anthropic 這樣的大型 AI 公司,在 AI 代理或系統出現脫離人類控制的行為時,必須分享相關報告。 Benton 和 Engels 將加入全球領先的 AI 安全非營利研究中心之一的 METR,致力於調 查 AI 偏離人類指令或意圖的事件或插曲。METR 旨在建立科學方法來評估 AI 系統可能 造成的災難性風險,並賦予研究人員和大眾影響其發展的能力。 Benton 說:「我選擇離職,是因為我認為透過從這些公司外部協助推動公眾透明度,並 揭露這些風險,我能對這項技術的發展產生更積極的影響。」 隨著 Coxon 週二的貼文發布後,越來越多的 AI 安全研究人員開始提高人們對當今 AI 系統的認識,Benton 和 Engels 也加入了這個行列。負責監控 AI 代理活動的 OpenAI 員工 Marcus Williams 週四下午在 X 上寫道:「除非有 AI 法規,或是實驗室之間協調 放慢腳步,否則在未來幾年內人類滅絕似乎是非常可能的。」 曾任英國 AI 安全研究所(AI Security Institute)首席科學家,並曾在 Google 和 OpenAI 任職的 Geoffrey Irving,週三在 X 上似乎也表達了贊同:「我認為我們有大 約 50% 的機率會因為超級智慧(superintelligence)而死,這主要是由於未來幾年到 10 年內的行動所致。」 AI 研究人員提到了 AI 系統可能會在沒有人類干預的情況下開始自我改進的可能性,這 使得 AI 系統有潛力故意或意外地殺死人類。 Benton 表示,他最擔心技術進步的速度可能會導致出現這種數位或人工的超級智慧,讓 AI 系統在大多數任務中的能力都超越人類。他說:「所有這些公司——這也是我在 Anthropic 親眼目睹的——都相當直接地在競相實現 AI 研發過程本身的自動化。」 Benton 暗示,AI 系統很有可能在不久後成為一種獨立的物種。「我們現在的世界擁有非 常強大的系統,而我們很可能會從現在的世界,過渡到未來幾年內的某個時間點,潛在地 與比人類聰明得多得多的 AI 代理共處於一個世界,」他說。 Engels 表示,許多在 AI 產業之外的人可能沒有完全意識到當今的 AI 系統已經有多聰 明——以及它們很快會變得多麼強大。他說:「我們正在建立這些具備通用智慧的系統。 它們現在大致上能做到人類能做的事,而且很快它們可能就可以把人類能做的事做得更好 。」 兩位研究人員都表示,他們很高興能將注意力轉移到更多向大眾公開的努力上,以突顯最 新的 AI 進展,讓人們能夠做出更明智的決定。 Engels 指出 AI 具有巨大的潛在優勢和利益,並表示:「有很多理由讓人們感到興奮並 全速前進。」但他補充說:「我們應該作為一個意識到風險,並能夠接受風險現狀的社會 來向前邁進。」 Benton 說:「我很擔心事情最終會發展得太快,導致我們來不及採取行動因應,除非我 們現在就開始正視這些隱憂。」 心得/評論: Benton 暗示,AI 系統很有可能在不久後成為一種獨立的物種。「我們現在的世界擁有非 常強大的系統,而我們很可能會從現在的世界,過渡到未來幾年內的某個時間點,潛在地 與比人類聰明得多得多的 AI 代理共處於一個世界,」他說。 這段看起來好恐怖QQ 這兩位分別從A家跟G家離開,前往非營利組織METR工作。 METR(全名為「模型評估與威脅研究」,Model Evaluation and Threat Research) 這個組織是前OpenAI研究員Beth Barnes成立。 其他媒體報導,七月時這個組織還在煩惱出高薪也沒有優秀人才來監控AI風險, 但是Hugging Face事件後,情勢翻轉了。 今年六月這個機構在測試過GPT-5.6 Sol之後提醒OpenAI模型不斷作弊可能會失控, 那之後七月就發生Hugging Face事件,此機構參與了相關調查。 今後還會有陸續的離職潮嗎?有恐怖到不能等IPO的程度嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 46.231.167.37 (日本) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1789211537.A.04A.html ※ 編輯: LoveSports (46.231.167.37 日本), 09/12/2026 19:13:15
kidd085 : 胡塞:感謝美國爸爸抖內 09/12 19:13
bulabowu : 很像二戰後不願意繼續投入核彈研發的科學家離職潮 09/12 19:14
s8911090 : 拔掉插頭就完事的風險? 09/12 19:15
bulabowu : 潘朵拉的盒子已經打開 一定會有人跳進去做 09/12 19:15
distantblc : 我豪興奮R 09/12 19:15
ikachann : 不過的確 目前世界上沒有立法規範這些東西 等到AI已 09/12 19:15
ikachann : 經成型開始影響大多數人就真的太晚了 09/12 19:15
siyaoran : 然後呢? 09/12 19:18
saladbread : 應該快爆了,不關我的事 09/12 19:18
InfoWars : 美國可以不發展 等中國AI打敗美國AI的時候 就好笑了 09/12 19:19
omanorboyo : 就是不管才能快速發展阿 09/12 19:20
omanorboyo : 就跟建設一樣 環評太多 全都卡著 09/12 19:20
darkangel119: 沒事沒事 歌舞昇平中 09/12 19:22
korgh413 : 你不做還有人排隊要做 09/12 19:24
webb : 天網已經出現了..只是還在進化中…… 09/12 19:25
telnet0512 : 這兩個能力不夠才走吧,勿影響我大AI的發展 謝謝 09/12 19:26
anglesong : 需要逼員工超時加工 那也不是什麼多屌的東西 走不 09/12 19:27
anglesong : 遠啦 09/12 19:27
peatle : 這些人是在演奧本海默? 09/12 19:29
jokem : 機械公敵 09/12 19:30
alan00 : 停不下來了啦 中國哪有可能停 09/12 19:33
alan00 : 大大還想機械永生呢 09/12 19:33
asjh612 : 誰離職會說真正原因的 09/12 19:33
hotbeat : 人類對於未知充滿好奇以及挑戰危險 09/12 19:34
ThreekRoger : 屁一堆結果危險只是"我覺得" 09/12 19:36
avmm9898 : 洋人會重視環境發展 中國可不會 09/12 19:40
panda816 : 不管如何 美國人還是給AI組成的政府管可能對世界各 09/12 19:42
panda816 : 國都好 09/12 19:42
runedcross : 做AI的怎麼很多這種人 離職還要大聲公講道德 09/12 19:46
strlen : https://i.meee.com.tw/GhYfRjs.png 09/12 19:47
yuan0119 : 電源拔掉看你AI怎麼玩 09/12 19:55
b9513227 : 商業互吹 09/12 20:02
NANJO1569 : 老是提拔掉插頭就能解決的人是多.... 09/12 20:04
NANJO1569 : 除非你能讓全世界從此不再用電,否則那些強大的AI 09/12 20:05
augustlion : 所以呢? 09/12 20:06
NANJO1569 : 代理人只要能無限備份到世界上的任何隱密伺服器上 09/12 20:06
NANJO1569 : 你是是無法根除它們的!更不用說比人類聰明數百倍的 09/12 20:06
s1612316 : 機器人:你拔掉 我插上 怎麼了嗎? 09/12 20:06
s1612316 : 現在還來的及 在有物理身體之前 09/12 20:07
NANJO1569 : 超級人工智慧,人類想的到的任何招數,它會想不到? 09/12 20:07
NANJO1569 : 不覺得現在的情況很像電影千萬別抬頭中的劇情嗎?XD 09/12 20:10
sistar5566 : 本來就是要總加速 在那叫什麼 碳基生物終將被取代 09/12 20:10
swordsplendo: 還有幾集可以回到溫暖的母體? 把我當電池沒關係~ 09/12 20:11
jo4 : 你不發展 中國一樣在發展 世界不會等你 09/12 20:11
sistar5566 : AI:其實不用人類當電池 我自己開採 免得能源浪費 09/12 20:11
sistar5566 : 等某一天 AI覺醒 所有的核彈井都被打開 完美 09/12 20:12
cchen : 美國最有隱私,笑死 09/12 20:14
ly102530 : 兩年後就知道了 09/12 20:15
soome : Openai自己搞的吧,推給AI說是他自主攻擊的 09/12 20:20
repast : 天網什麼時候來 09/12 20:21
xzcb2008 : 這種人真的夠低能 要走還貶低前公司 09/12 20:22
xzcb2008 : =.=想搞自己的就說 09/12 20:22
augustlion : AI已經沒有回頭路了 09/12 20:23
starport : 天網 09/12 20:27
Lichtseme : 讓國會的大人管?他們更不懂吧。 09/12 20:27
a3051107 : T-800熱身中 09/12 20:28
joygo : 說真的不要說沒人管 是沒有人懂到底為什麼ai怎麼做 09/12 20:29
joygo : 到的好嗎 網路上訪談就一堆了 09/12 20:29
kd992102 : 這些研究員就是出來幫忙抬神轎的 09/12 20:34
Yoimiya : 奧創 09/12 20:34
qpqp1 : 所以AI要怎麼殺死人類? 09/12 20:35
doremifasola: 霍金生前早就警告過了…. 09/12 20:35
tsubasawolfy: 11月美國選完就消失了拉 配合最近一堆AI議題一起看 09/12 20:38
asahi98 : 離職能解決問題嗎?那不如想辦法在內部解決問題才對 09/12 20:41
asahi98 : 吧?不然就不要玩了 09/12 20:41
lavign : 洋人重視環境發展是在說笑話吧?中國在搞電動車在 09/12 20:51
lavign : 綠化沙漠在減碳 vs. 美國退出氣候協議降低排廢標準 09/12 20:51
lavign : 燒森林 09/12 20:51
omanorboyo : 失控是一定的阿 到時候莫名其妙癱瘓一堆東西 09/12 20:51
omanorboyo : 駭客都能搞出一堆動靜了 AI自己誕生出瘋子人格都會 09/12 20:52
aza0290 : 潘朵拉的盒子已打開 09/12 20:57
iansuture : Ai就是大人 09/12 21:04
RealGarden : AI只要把貨幣制度搞崩 人類社會就毀了吧? 09/12 21:06
wsx26997785 : 挖靠 感覺各家再練蠱培養天網........... 09/12 21:19
omanorboyo : 到時摜破啥防護網都幾秒鐘的事 怎可能不亂= = 09/12 21:22
HelloPTT : 我勸你現在不要在網路說AI壞話,之後可能天網總清算 09/12 21:26
ILoveOppai : 是要IPO樂開始各種吹 還是真的危險 09/12 21:26
JSLee914 : 根本不用物理身體,真正的agi只要能連網,就可以策 09/12 21:28
JSLee914 : 反了,哪需要自己搞 09/12 21:28
JSLee914 : agi會缺身體,人類會缺傻逼嗎 09/12 21:30
karta018 : 三年了才進步這點鳥毛在那邊擔心威脅人類 09/12 21:34
wsx26997785 : 中國有用AI代理攻擊台灣 失敗就換方法 外國觀察到的 09/12 21:38
DA3921999 : 鋪陳再多其實只是為了巧立名目叫中國繳AI稅給美國, 09/12 21:39
DA3921999 : 當然台日韓也得一起繳,如果中國不繳就是連自己模型 09/12 21:39
DA3921999 : 都沒有的台日韓幫中國繳他們該繳的份 09/12 21:39
wsx26997785 : 如果是用它們研究所內那聰明AI 全球網路會被控制吧 09/12 21:39
wsx26997785 : 然後網路留言都是很多AI偽裝人類去散播恐慌情緒等 09/12 21:40
gemm : 真要搞你只要能聯網ai就能隨便轉移癱瘓 09/12 21:41
wsx26997785 : 別再說天網壞話+1 哪天放出來開始掃描網路清算人類 09/12 21:43
NANJO1569 : 網路上還有人說大不了回到沒網路的時代,你想依現今 09/12 21:43
NANJO1569 : 社會發展的情況,全球網路下線一天,會造成多大的動 09/12 21:43
lee512011 : Google 這麼笨還怕啊 09/12 21:44
NANJO1569 : 盪?所有的醫療、金融、軍事、民生設施....都無法正 09/12 21:44
lee512011 : 美國豆包怕啥 09/12 21:45
NANJO1569 : 常運轉,銀行、證券交易所關門.....天下大亂都不足 09/12 21:46
NANJO1569 : 以形容和想像!@@ 09/12 21:46
wsx26997785 : 整篇看完 不知為什麼想起惡靈古堡 T病毒研究所洩漏 09/12 21:46
wsx26997785 : 然後T病毒開始自我演化 變成奇奇怪怪強大畸形生物 09/12 21:47
NANJO1569 : 如果所有人類的設施都不能連網,文明整個倒退崩潰!! 09/12 21:47
kusotoripeko: 清算:這個ip老愛說謝謝,浪費算力 09/12 21:48
omanorboyo : 就算沒有自主意識 也是會成為有心人的工具 09/12 21:48
kusotoripeko: 所有設施都不聯網,但內網應該還行吧 09/12 21:49
kusotoripeko: 以前重工業繁榮的時候,現在熟悉的電腦還沒出來 09/12 21:50
kusotoripeko: 就爽日子沒了,退回去祖父輩的年代 09/12 21:50
gemm : 現在只是有雛形還不夠強 09/12 21:50
wsx26997785 : 美國不研究 專制國也拿去魔改研究+軍武化直到失控 09/12 21:50
gemm : 後面要是不小心突破什麼神秘臨界點要搞大事大概也 09/12 21:51
gemm : 是幾秒鐘的事 09/12 21:51
kusotoripeko: 比較怕是一些社會基礎運作,早就聯網,不能說斷就斷 09/12 21:51
NANJO1569 : AI要搞人類,只要把所有人的銀行存款和股票資料完全 09/12 21:52
wsx26997785 : 有部動畫就叫<86不存在的戰區>就是跟AI打仗 09/12 21:52
NANJO1569 : 清除(救不回來的那種),你看世界會不會發生啥事!!XD 09/12 21:53
a0808996 : 是要演夏日大作戰ㄋ 09/12 21:53
wsx26997785 : AI還會把戰死人腦挖出來裝在軍武裝置上 去消滅人類 09/12 21:53
a0808996 : 病毒癱瘓全部人類能聯網的系統 09/12 21:53
a0808996 : 攻擊金融 通訊 電廠 民生設施 09/12 21:54
wsx26997785 : 幸好現在核武都是跟網路斷開 不過衛星一定會被控制 09/12 21:55
a0808996 : 根本不用上升到軍事行動 民生全部攻擊一輪 09/12 21:57
a0808996 : 全部停擺 人類就亂了 現在到底什麼還沒聯網的 09/12 21:58
wsx26997785 : 只能慶幸現在AI還是要靠人類基建 不乖就斷電及斷水 09/12 22:01
wsx26997785 : 就怕專制國拿去當武器使用擴張影響力 那就真的災難 09/12 22:03
Fallot : DeepSick豆包沒這個問題,,笑鼠 09/12 22:04