[討論] OpenAI安全專家紛紛辭職 Altman將回應

[jackliao1990 (j)]

https://x.com/janleike/status/1791498185627865147
OpenAI安全團隊負責人Jan Leike也宣布辭職了:
"在過去的幾個月裡，我的團隊一直在逆風航行。有時我們在計算方面遇到困難，完成這
項重要的研究變得越來越困難。(這是指高層不給足夠算力嗎??)

建造比人類更聰明的機器本質上是一項危險的工作。
OpenAI 代表全人類承擔著巨大的責任。
但在過去的幾年裡，安全文化和流程已經讓位給閃亮的產品。
我們早就該認真看待通用人工智慧的影響了。
我們必須優先考慮盡可能為它們做好準備。
這樣，我們才能確保AGI造福全人類。
OpenAI 必須成為一家安全第一的 AGI 公司。

我想對所有OpenAI員工說：
學會感受 AGI。
採取適合您正在建立的內容的嚴肅態度。
我相信你可以「傳遞」所需的文化變革。
我指望你了。
世界指望著你。
openai-愛心:"

過去幾年，OpenAI安全團隊和Altman因為理念不合(防止AI害人 V.S. 商業營利)不斷內鬥:

2021年 - GPT-3 團隊領導者因安全問題辭職
Dario 和 Daniela Amodei 離開 OpenAI，創辦了 Anthropic，理由是在優先考慮安全研
究方面存在分歧。  達裡奧受訪時表示，他的P(doom)是10-25%。

2021年 - RLHF 安全研究主管辭職
RLHF 的發明者 Paul Christiano 博士從 OpenAI 的安全團隊辭職，創辦了獨立的非營利
組織 Alignment Research Center。  克里斯蒂安諾在接受採訪時表示，他的P(doom)是
50%。

2023年 - OpenAI 董事會解僱執行長 Sam Altman
共同創辦人 Ilya Sutskever 站在 OpenAI 董事會的一邊，投票決定終止 Sam Altman 的
領導職務。  該非營利委員會的使命是確保安全有益的 AGI。

2024年 - OpenAI 解雇了兩位安全研究人員
利奧波德·阿申布倫納 (Leopold Aschenbrenner) 和帕維爾·伊茲梅洛夫 (Pavel
Izmailov) 因涉嫌洩露信息而被解僱。  阿申布倫納被視為一顆冉冉升起的新星，也是伊
利亞·蘇茨克韋爾的親密盟友。

2024年 - 關心安全的研究員辭職
Daniel Kokotajlo 辭職的原因是「對 OpenAI 在 AGI 時代負責任地行事失去了信心」
。  他表示他的 P(doom) 是 70%。

2024年 - 首席科學家 Ilya Sutskever 辭職
Sutskever 之前曾說："無論如何，人工智慧的未來將會是美好的。  如果它對人類也有
好處，那就太好了。 "

2024年 - 超級對齊負責人 Jan Leike 辭職
與 Ilya Sutskever 共同領導 Superalignment 團隊的 Jan Leike 也辭職了。  雷克先
前在接受採訪時表示，他的P(doom)是10-90%。

由於OpenAI離職員工都要簽協議保證不對外說OpenAI壞話(否則拿不到公司股份)，外界常
常對離職員工的影射推文感到困惑。為此Altman決定做出回應:

https://x.com/sama/status/1791543264090472660
"我非常感謝@janleike對 openai 的對齊研究和安全文化所做的貢獻，我為他的離開感到
非常難過。他是對的，我們還有很多事情要做；我們致力於這樣做。在接下來的幾天裡我
將發表一篇更長的文章。"

希望不是官腔式廢話回應啊!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.177.213 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1716047382.A.520.html
推 earltyro    : 廢話 他抄著谷歌臉書 怕安全問題 不敢大力發展的LLM
→ earltyro    : 模型 跑出來以為自己是救世主 出來賺到爛 微軟收購
→ earltyro    : 後死都不歸自己 就是OPENAI爆了 你的事 我BING只是
→ earltyro    : 您客戶端 OPENAI好 那是我的投資 然後同一個模型GOO
→ earltyro    : GLE META被拿出來安全操練 你的功能 網紅每一個都
→ earltyro    : 說功能好棒棒
→ camp0102    : 內部極其混亂 整個快炸了
→ wts4832     : 炸了誰來接盤？ 微軟嗎？
→ yunf        : 遲早被反噬
推 kkmon       : 內部是都會來ptt分享嗎 XD 大家好熟
推 WWIII       : 人類要尋死路了
推 jamesho8743 : 離職的都是負責AI安全的 是不是在進行什麼危險實驗
→ jamesho8743 : ? 看來天網即將誕生