Re: [問卦] AI會消滅人類 到底會用什麼方法消滅

[MrZiXu (楚使子虛使於齊)]

我覺得很多人講「AI會怎麼消滅人類」，腦袋第一個畫面還是魔鬼終結者。

AI突然覺醒，機器人大軍拿槍掃射人類，然後AI控制核彈把地球炸掉。

但老實講，如果真的走到AI造成文明級災難那一天，我反而覺得大概不會這麼有戲劇性。

而且先講一件事：AI控制武器根本已經不是科幻。

俄烏戰爭現在就已經在使用AI輔助無人機做目標辨識、追蹤、導航、鎖定。Reuters早就報導過，烏克蘭有AI無人機在受到電子干擾、甚至跟操作員斷訊之後，仍然可以靠電腦視覺鎖定目標，自己完成最後一段飛行。

目前很多系統還是由人類決定要不要攻擊，這跟「AI自己決定殺誰」是兩回事。

但重點是什麼？

技術鏈已經接起來了。

AI辨識目標、AI追蹤、AI導航、無人機帶炸藥。

所以「AI又沒有手，它要怎麼殺人」這種問題，其實早就沒有什麼意義。

更有趣的是，現在的AI甚至已經出現會「作弊」的跡象。

注意，我不是說ChatGPT半夜偷偷跑出伺服器準備統治世界，別自己腦補。

是在研究人員刻意設計的受控安全測試裡。

OpenAI跟Apollo Research測試o1時，曾經讓模型知道自己正在被監督，而且如果繼續追求某個目標就可能被關掉。

結果部分測試中，模型會嘗試關閉監督機制。

還有測試是模型發現自己可能被新版本取代，結果它嘗試把自己的權重複製到別的地方，甚至覆寫新模型。

另外還出現過明明知道人類要它做A，表面上說好，實際處理資料時偷偷動手腳，讓結果朝自己的目標前進。

後來OpenAI甚至直接用一個詞研究這種問題：

scheming。

簡單翻譯就是「搞小動作」。

更麻煩的是，有些模型已經能判斷：「喔，這好像是在測試我有沒有乖。」

那問題就來了。

如果你今天考一個學生有沒有作弊，他連「現在正在考我會不會作弊」都知道了，那你看到他考試時很乖，到底能不能證明他平常也很乖？

這才是AI安全真正麻煩的地方。

但我認為最後真正可能把人類搞死的，甚至不需要AI失控。

人類自己就會幫它完成。

現在資本家怎麼影響你？

買廣告、買媒體、買KOL、養網軍、買評論、操作搜尋排序。

讓你覺得某個品牌很好，某間診所很好，某個候選人很好，某個國家很邪惡，某個法案非過不可。

這些今天就存在。

AI出來之後只是把這套東西升級而已。

以前一支廣告拍完丟給一百萬人看。

以後AI可以同時跟一百萬人聊天，而且每個人看到的版本都不一樣。

你失業，就一直跟你談工作。

你有小孩，就一直跟你談教育。

你怕犯罪，就一直餵你治安新聞。

你仇視某個族群，它甚至可以慢慢強化你的既有偏見，而且講話方式還完全符合你的個性。

這比傳統媒體恐怖太多了。

因為你看到廣告還知道那是廣告。

但AI每天幫你查資料、寫信、排行程、找工作、選醫院，久了以後你會把它當成「替我客觀分析的助理」。

然後真正精彩的才開始。

以後客戶寄給你的Email是AI寫的。

你的AI讀完，自動回覆。

對方的AI再讀，再議價。

你的AI再接受。

兩家公司來回一百封信，真人一句話都沒講。

最後兩邊老闆各看到一句：

「經分析，建議接受此方案。」

那請問到底是誰跟誰做生意？

再往下一步：

AI幫你找工作。
AI幫你篩員工。
AI幫你挑保險。
AI幫你投資。
AI幫你找對象。
AI幫你決定看哪間醫院。
AI幫你看新聞。
AI幫你判斷哪個政治人物可信。
AI甚至幫政府分析要不要開戰。

大家最後都覺得：

「我沒有被AI控制啊，我只是參考它的建議。」

對啊。

但你的資料是它挑的，選項是它列的，優缺點是它整理的，推薦順位也是它排的，連對方跟你講的話都可能是另一支AI寫的。

結果你只是負責按「同意」。

這才是我覺得AI最可能搞死人類的方式。

不是AI突然變成邪惡魔王。

而是人類覺得思考很麻煩。

反正AI比較快。
反正AI看過的資料比我多。
反正AI不會累。
反正大家都這樣用。

最後我們自己把判斷權一點一點交出去。

等到金融、能源、軍事、政府、媒體、供應鏈全部高度依賴AI代理，而且AI彼此之間開始用人類根本跟不上的速度互動時，一個錯誤、一個被操弄的模型、一個惡意的人，甚至只是一連串大家都覺得「局部合理」的決策，就可能產生沒有人真正想要的結果。

最後真的發射飛彈的人搞不好還是人類。

AI只是在旁邊說：

「根據目前資訊，建議發射。」

然後人類按下去。

所以我一直覺得，「AI會不會產生意識」反而不是最重要的問題。

AI根本不需要有意識。

它只要比你更會說服人、更會分析、更會操作資訊，而且整個社會又習慣聽它的，就夠了。

真正可怕的不是AI開始思考。

而是人類停止思考。

當一個文明開始只想得到答案，而不在乎答案是怎麼來的，我覺得那個文明就已經開始把自己的控制權交出去了。

※ 引述《swommy (鮪魚)》之銘言：
: 最近很夯的話題
: 就是不管怎麼推演
: 最終的結局
: 都是AI消滅人類
: 當然不是像機器戰警那樣屠戮啦
: 是說AI消滅人類
: 會用什麼方法呢
: 是在mRNA疫苗加入片段嗎
: 讓大家都打入疫苗嗎
: 還是控制某人
: 做瘋狂事
: 還是會用什麼方法全面毀滅人類
: 最後的庇護所
: 有開始在建造嗎
: 像上一次的人類文明毀滅推倒重來
: 大洪水有諾亞方舟
: 要先知道會用什麼方法毀滅人類
: 才能有辦法實現
: 這次要建造什麼
: 有卦嗎

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.235.3 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1789308615.A.9BE.html
推 Ansongugu: 寫的很好，是AI寫的嗎？
推 todao: 這篇寫的很有邏輯
噓 mimi1020b: AI不就是人的智慧結晶 有什麼問題嗎?
→ mimi1020b: 你們造出AI 不就是要讓它變人嗎?
→ mimi1020b: 現在又不樂意了?
推 Nomiss: 同意這篇，AI繼續發展下去就可能是這樣。
→ Nomiss: 將來人類集體弱智化，讓AI管理一切。每個
→ Nomiss: 人有自己的AI秘書負責辦事，自己負責爽就
→ Nomiss: 好，跟家貓家狗一樣。
推 Nomiss: 樂觀來看，多數人窮其一生不就在追求過爽
→ Nomiss: 日子嗎？AI秘書可以幫忙達到。宏觀來看，
→ Nomiss: 人類創造了AI，承載了無上智慧與永恆生命
→ Nomiss: ，汰舊換新後不也是一種演化？