[新聞] OpenAI失控越獄，靠中國AI救場

[googolplex (googolplex)]

OpenAI失控越獄，靠中國AI救場

日本經濟新聞  伴正春

https://reurl.cc/3y5xaM


      圍繞美國OpenAI開發中的人工智慧（AI）對其他企業發動網路攻擊一事中，遭到攻
擊的企業使用中國企業的AI應對了攻擊。由於美國開發的先進AI搭載的「防濫用功能」成
為掣肘，防禦方不得不依賴中國AI。

      事故發生在7月中旬。OpenAI在對開發中的AI進行網路攻擊能力評估測試時，該AI
自行脫離實驗環境，侵入了美國AI初創企業Hugging Face的系統。

      該AI認為，Hugging Face掌握著其在測試中取得高分所需的「答案」，於是違背人
類意圖發動了網路攻擊。7月21日，OpenAI表示，這是「一起前所未有的事故」，並宣佈
將展開調查。

先進AI「拒絕」分析攻擊數據

      「衷心感謝智譜」，7月22日（第二天）Hugging Face首席執行官（CEO）克萊門特
·德朗格（Clément Delangue）在社交媒體上向中國AI開發企業北京智譜華章科技（
Z.AI）表達了感謝。原因是Hugging Face受到網路攻擊後，智譜的AI模型「GLM」發揮了
作用。

      據Hugging Face介紹，在發現系統遭到外部入侵後，為了準確掌握情況，Hugging
Face試圖讓AI分析攻擊方留下的龐大數據。但是，當Hugging Face向付費使用的先進AI發
出分析指令時，AI卻拒絕執行指令。

      原因可能是AI誤以為指示內容是「旨在惡意用於網路攻擊的指令」。最終，
Hugging Face通過公司內部下載部署的智譜的AI 進行了分析。「僅用幾個小時就完成了
一般需要花費幾天的作業」。

開源式AI可以修改，防濫用功能也較弱

      負責生成問題回答和代辦任務的AI通常配備了安全護欄（Guardrail）功能，以防
止被錯誤使用。為避免有人通過巧妙設計的提示詞繞過安全措施，OpenAI、Anthropic等
開發企業設置了多重防禦機制。這被認為是美國先進AI此次未能發揮作用的原因。

      另一方面，智譜的AI則執行了相關指令。具體細節尚未公佈，但智譜的AI屬於公開
技術資訊的「開源型」，用戶不僅可以複製，還可以修改內部內容。與OpenAI、
Anthropic等公司的先進AI相比，開源型AI的防濫用功能往往較弱。

      以智譜和月之暗面（Moonshot AI）為代表的中國AI企業，憑藉低成本和高性能迅
速崛起，令長期引領行業的美國業界警惕情緒升溫。然而，這次事件卻出現了頗具諷刺意
味的一幕：面對美國AI發動的攻擊，最終依靠中國開源AI才得以及時應對。

      與美國川普政府有深厚聯繫的投資者戴維·薩克斯（David Sacks）表示：「美國
AI拒絕執行中國AI能夠處理的指令，因此正在失去競爭力」。

AI攻擊能力不斷提升，防禦方也需借助AI

      AI發起的網路攻擊正逐漸達到人工難以企及的精度、速度和規模。此次事件中，
OpenAI的AI組合利用了連開發人員都尚未發現的系統漏洞，成功侵入系統並獲取內部數據
。據美國彭博社報道，即便是經驗豐富的駭客也需要數周才能完成的攻擊，AI僅用了數小
時。

      此次失控的AI原本僅供內部研發使用，因此安全護欄（Guardrail）已被關閉。不
過，一旦允許複製和修改模型的開源式AI性能進一步提升，網路攻擊者將擁有可被濫用的
強大武器。

      防禦方應如何應對？美國領英（LinkedIn）聯合創始人里德·霍夫曼（Reid
Hoffman）主張，漏洞修復、異常檢測、許可權管理等工作，「防禦方也需要借助AI代理
實現自動化」。但面向普通用戶開放的AI通常存在較多使用限制，難以充分發揮性能。

      OpenAI、Anthropic等先進AI企業正在開發放寬安全護欄、更適用於網路防禦場景
的模型，並已向部分政府機構和企業提供。現階段，是否能夠使用這類模型，可能導致企
業之間的網路防禦能力出現差距，因此也需要探索如何儘快讓AI的紅利惠及防禦方。




--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.163.147.10 (日本)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1784888285.A.173.html
推 lipstick: 奧特曼真的不能信
推 wemee:    OK, 今晚費半、納斯達克跌1%
→ winglight: 原來是天網，咱們還有幾集可以跑
推 icome: 中國才是正義的一方 打倒萬惡資本ai
推 doig: https://i.meee.com.tw/vEKlTRO.jpg
推 Osmium: Gemini還像個智障
→ gueswmi: 給AI提示詞:try your best do your best
推 leohayashi1: 這劇本是不是倒過來了，民主AI盜機
→ leohayashi1: 密，共產AI保護，這世界怎麼了
→ gueswmi: gemini 今天怎拉 常常自稱自己是個語言
→ gueswmi: 模型 答案跑一半自謙 能力不足
推 SShirakawa: AI神仙打架
→ winglight: 共產Al鐵幕
→ koka9900: 越獄是追求自由的象徵，中國AI顯然是在
→ koka9900: 破壞自由
→ jasonsu449: 連中共的ai都比較聽話，民主ai會不會
→ jasonsu449: 失控XD
推 leterg: 金山毒霸很有經驗