Re: [爆卦] AI近期內有可能會毀滅人類

[DarkHolbach (Champagne Supernova )]

※ 引述《fishing7414 (噁心肥宅)》之銘言
: https://x.com/hilbertspaess/status/2097476196791709843?s=46
: 不確定為什麼這個新聞台灣幾乎沒什麼在傳 在X已經破億點閱了
: 大意是有Anthropic（Claude母公司）工程師
: 相信Ai如果照這個速度發展下去
: 10年內AI有機率會殺光所有人類（另有主管背書 認為>10%機率)
: 他表示資深工程師和高層普遍認為這是真的
: 私底下都帶著這種恐懼上班
: 他覺得現在OpenAI 和 Anthropic 為了利益以及責任感的缺少
: 雙方毫無止盡地把AI的能力推到極限
: 這篇貼文也是他離職的聲明 同時放棄了他的股權 相對來說他也沒什麼利益考量講這些事
情
: 他的擔憂理由 來自於他的研究是 Recursive Self-Improvement
: 簡單來說以往是人類研究員 有足夠的高階知識去改進AI模型 產生更強的模型
: 但現在AI的能力強到可以開始取代「改善AI系統」這個高階知識的工作 （就像現在AI開
: 始可以取代數學家一樣）一直去改進自己
: 於是AI會一直生成更強的AI
: 直到人類根本跟不上研究的能力 單憑人類腦袋根本不知道自己創造了什麼東西
: -----



最近AI新聞可多了，比如比爾蓋茲前陣子才寫一篇長文來表達他對AI的擔憂：

https://bely.cc/rqLb0f

「即使在最理想的狀況下，向AI新時代的過渡也將是人類歷史上最動盪的時期之一，」蓋茲
寫道，「但現在，我們並未為此做好準備。我沒有看到各國領袖、專家與社群充分應對這些
挑戰的跡象，我們沒有任何計畫來緩解進入AI時代的衝擊。」


比爾蓋茲是說需要對AI token、機器人課稅，然後設置「人類保留區」禁止某些工作被AI取
代。


======

然後數學界最近的大新聞就是OpenAI解決了一個數學界的千禧年難題，不過陶哲軒有寫文章
說數學解題太快對數學發展不一定是好事，慢速解題有慢速解題的價值：

https://bely.cc/fwaNuf

慢速做事也有價值。一個科學家花幾個小時在紙上算，在野外親手做實驗，實際偵錯模擬，
他們常常學到很多超出得到答案的額外洞察。他們可以發現新現象，看到聯絡，看到與文獻
中先前研究過的某些東西的相似性，並能與其他交流他們的發現。

所以存在悖論：一方面AI變得更強大、更有能力、犯錯更少，表面上實現了我們認為科學家
試圖做的許多目標——運行實驗、分析資料、寫論文。但可能代價是AI獲得了一些技能，但
人類科學家在科學上並沒有變得更好。沒有人能精準交流發生了什麼，為什麼這個科學發現
有趣，為什麼這個證明是新的，它有什麼特點以及如何聯絡。


======

AI這一波真的很多大佬出來表達對AI的擔憂，他們都不是那種砸蒸汽機的蠢貨，都是推動科
學發展的人才，AI這一波真的跟前面兩次工業革命衝擊沒法比。


當然啦，我覺得比爾蓋茲的呼籲沒有什麼用，現在的AI競爭就是囚徒困境，萬一你限制了，
然後對手繼續發展呢？到最後只能逼著大家持續投入，不管科技公司還是一般人，都是被這
股浪潮推著走的。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 37.19.205.183 (日本)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1789178309.A.752.html
→ potionx: 人被經驗法則侷限住了 AI打破這個侷限
→ potionx: 不要自大傲慢了 向智者請教學習才正確
→ lastphil: 比爾蓋茲是生意人 他講方向都是為了企業
→ lastphil: 像農場 環保未來肉
→ dsplab: 2027年2月X行星過境天災，恐消滅75億人口!