Re: [新聞] 美國國防部威脅制裁 Anthropic

[Scion (G8羊，專噓廢文)]

我覺得大多數的報導跟討論都沒有搞懂這件事的核心問題
其實也不是特別複雜，就是一個東西，叫做Constitutional AI (CAI)
中文直翻叫做憲政AI，說白了就是在AI的思考基礎上套上一個類似憲法的東西

傳統的AI(如ChatGPT)是透過人類反饋來學習好壞(RLHF)。
但Anthropic認為，人類反饋太慢且容易有偏見
於是他們給AI寫了一份「憲法」，讓AI根據這份憲法自己訓練自己

原則上聽起來沒什麼毛病，但問題在於這套憲法是Anthropic自己可以決定的
等於是在賣給國防部的AI上面加了一個上級機關：CAI
而這個機關直接接受Anthropic指揮，規則由Anthropic制定
這代表著這個AI將會有兩個指揮官，一個是國防部，一個是總公司的CAI代碼
小事聽國防部的，大事聽CAI的，然後CAI聽Anthropic的
當然，CAI目前的框架就是一些基本的道德觀念，比如說聯合國公約，人權宣言等等
內容來說沒有什麼問題，起碼現階段沒有問題

總而言之，這件事的問題核心，不在於道德標準的內容
OpenAI跟Anthropic框架的內容都是一樣的，國防部也是可以接受的
關鍵在於誰有權力制定以及控制這個道德標準
OpenAI的協議是，它跟國防部雙方同意了這樣的架構，就讓AI照這樣下去走
Anthropic的堅持是，它不相信國防部，甚至不相信自己AI的現在版本
所以它要保留未來改變及強化這個道德架構的權力

※ 引述《chordate (にんきもの)》之銘言：
: https://www.cna.com.tw/news/aopl/202603100013.aspx
: Anthropic提告反擊　要求五角大廈撤黑名單認
: （中央社記者張欣瑜舊金山9日專電）美國五角大廈和AI公司Anthropic間的軍事倫理衝突
: 持續延燒。Anthropic今天就五角大廈將其列入黑名單的決定向法院提起訴訟，請求法院
: 撤銷「供應鏈風險」之認定。訴狀指出，相關措施危及公司數億美元的營收。
: 總部位於舊金山的人工智慧（AI）新創公司Anthropic今天在提交給加州北區聯邦地方法
: 院的訴狀中表示，政府相關行動「前所未見而且違法」，正在對Anthropic造成不可挽回
: 的傷害。
: 美國媒體CNBC報導，Anthropic與川普（Donald Trump）政府在過去兩週衝突急遽升溫，
: 雙方爭議焦點，在於Anthropic的AI模型能否、及如何被用於戰場及其他用途。
: 在衝突公開升溫之前，Anthropic是多個美國政府機構的早期合作夥伴，當時政府正試圖
: 利用最先進的AI技術，快速升級其系統與能力。
: Anthropic堅持在技術中加入防護機制，但戰爭部則認為這些限制過於極端。
: Anthropic上週證實，公司已被正式認定為「供應鏈風險」企業。CNBC報導指出，這是一
: 項極為罕見的措施，過去通常只針對外國敵對勢力；此決定要求國防供應商與承包商必須
: 證明，在與五角大廈合作的案件中沒有使用Anthropic的模型Claude。
: Anthropic試圖推翻聯邦政府將其列入黑名單、認定其為「供應鏈風險」企業的決定。
: 訴狀並指出，Anthropic與聯邦政府的合約已經陸續遭到取消；目前及未來與民間企業的
: 合約也陷入不確定性，短期內恐危及數億美元的營收。
: 此外，訴狀表示，除了這些直接的經濟損失，政府行動還損害公司聲譽，並侵犯其受美國
: 憲法第一修正案保障的言論自由。若沒有司法救濟，這些傷害在未來數週與數月只會持續
: 擴大。
: Anthropic已請求法院撤銷「供應鏈風險」企業之認定，並在案件審理期間暫緩執行相關
: 措施。公司也已在華盛頓特區的美國聯邦上訴法院另外提出申請，要求對戰爭部的決定進
: 行正式審查。
: ------------------------------------------------------------------------------
: 如同之前大多數人所預料，進入法律戰了，
: 個人猜測甚至可能會打到美國最高法院。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 207.70.155.162 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Military/M.1773169690.A.F06.html
※ 編輯: Scion (207.70.155.162 美國), 03/11/2026 03:15:21
→ rogger      : 沒道理是私人企業決定這個
推 fman        : 私人企業的東西當然是私人企業決定
推 greedypeople: 政府起碼兩年一次有人制約可以改變  給私人企業決定
→ greedypeople: 那沒有制衡機制  甚至無法改變
→ greedypeople: 講極端一點  如果中國持有該私企的過半股權  他可以
→ greedypeople: 直接癱瘓掉美國戰爭部
推 cannedtuna  : 這可是天網啊 起碼要能被議會監督
→ LoveSports  : Anthropic的憲法AI是受訓的時候把原則內化 跟OpenAI
→ LoveSports  : 還有其他家AI訓練方式不同 其他家是訓練完才外加規
→ LoveSports  : 則 比喻來說是上鎖練或關監獄(所以才會有些人引導AI
→ LoveSports  : "越獄") 如果要把已經內化的參數刪除 連帶會影響其
→ LoveSports  : 他已經學過的東西 因為那些參數不是只含一個知識
→ LoveSports  : 也不是只包含同類的知識
→ LoveSports  : A家無法接受國防部說的"同意一切合法使用"是因為現
→ LoveSports  : 行法律可以透過鑽漏洞達到"接近"AI自主攻擊+大規模
→ LoveSports  : 監控這兩件事("+"不是說同時)
→ LoveSports  : #1ffjbkje (Gossiping)  #1ffkYSph (Gossiping)
→ LoveSports  : 這兩篇是AI分析的如何鑽漏洞 後者是好讀版
推 okbon       : 左膠公司真是可怕.
推 vandervaal  : 某些人只會扣左膠的帽子嗎？
推 EBVirus     : 就算官員說廠商不用負責，民間輿論還是會影響吧。
→ EBVirus     : 更何況是戰爭這種議題
→ iterator    : 其實Anthropic已經早有Claude Gov為政府服務的版本