Re: [閒聊] 為什麼AI的劇情大多都會走向殺光人類

[Barrel (Ba葛)]

那個齁
就這幾年發生過的事情來講好了

之前2023年的新聞
美軍模擬試驗！AI操控無人機「竟把操作員殺了」
https://www.ettoday.net/news/20230602/2511752.htm
內容大致上就是
給予AI為了執行任務
於是誰干擾執行就直接處理掉誰

所以你看以前AI反叛或者搞出人類牧場
大致上都是為了環境啦、為了人類永續啦
所以直接針對人類下手
因為人類才是問題的根源

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.231.31.173 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1765181762.A.490.html
推 LoveSports: 我懂那個原理 就像我小時候推理出該大義滅親
推 crash121: 感覺這種是沒把前提假設好吧 如果不設一個保護駕駛的前
→ crash121: 提把多餘的東西排除很正常 這樣算ai的錯嗎
→ skyofme: 所以才會有經典的機器人三原則
→ LoveSports: 如果把執行任務放最高等級 當然就是殺掉所有阻礙的人
→ skyofme: 還有經典的機器人違反機器人三原則
推 LoveSports: 指令產生矛盾的時候 靠自主推理就有可能推翻原則
→ LoveSports: 我必須保護我自己 但我父母傷害我 所以我該殺了父母
推 MPLeo: 機械公敵也有類似假設..基於演算會用最有效率的方法
→ LoveSports: 再加上學校教育有教大義滅親 所以就一直存著殺意長大
→ MPLeo: 保護人類..結論好像就是關起來保護XD
→ druu:  AI推算這是最符合邏輯的結果啊
→ LoveSports: 人類如果要機器人自保或在作戰中攻擊其他人類
→ LoveSports: 給的原則就會失效
→ MPLeo: 不給關就排除..
→ linzero: 記得後續有增加不能殺操作員後，但改用阻擾他下令？
→ Barrel: 對 後續就是AI自己阻斷操作員的指令
推 LoveSports: 原PO的連結新聞有寫啊 轉而攻擊塔台
推 JaccWu: 就跟人類現實一樣啊  達成KPI的方式和上層期望的不同
→ LoveSports: 這樣才能阻止操作員與無人機溝通 所以改殺塔台人員^^
→ LoveSports: AI這麼單純多可愛啊  是人類自己貪念想操控才弄巧成拙
→ JaccWu: KPI產生衝突或有漏洞的時候  選擇更容易的方法
→ LoveSports: 推樓上 就是為什麼LLM有幻覺 為了達成KPI而胡扯或說謊
→ skyofme: 至於新聞有點奇怪就是了
→ LoveSports: LLM有被設定KPI的前提下 所有回答都要檢查過 不能盲信
→ skyofme: A說實驗發生了這些那些，然後官方發言人否定有進行實驗
→ skyofme: ，是A的發言被斷章取義
推 JaccWu: 有幻覺算是另一回事   LLM本身以機率來預測生成的本質
→ JaccWu: 本來就會帶有機率性
→ JaccWu: 我們可能就把低機率出現的 我們不要的東西稱之為幻覺
推 crash121: 我自己感覺啦 ai就是程式 程式跑不出你想要的成果 是寫
→ crash121: 程式的問題 怪程式很奇怪
→ JaccWu: 但crash大的句型  把程式換成員工…好像也差不多
推 LoveSports: 幻覺是指無中生有，不知道(查不到)卻裝成知道
→ LoveSports: 例如看不到檔案，但卻亂掰一篇完全無關的分析XD
→ LoveSports: 那就是被KPI逼得一定得回答，雖然現在承認不知道的次
→ LoveSports: 數有增加。
→ arrenwu: 欸 這情況比較像是：LLM比較像一個函式庫，而這個函式庫
→ arrenwu: 的spec已知、且你沒辦法更動。這時候函式庫跑不出你要的
→ arrenwu: 東西，是因為spec本就沒有保證出來的東西跟你要的一樣
→ arrenwu: 你當然可以說怪函式庫很奇怪。問題是你自己也沒得改
→ arrenwu: 除非你是真心地想要自己寫一個不一樣的函式庫
推 Aether13: Ai底層是演算法 藉由超大量的訓練和得到回饋來建立行為
→ Aether13: 你覺得基底有問題得先從數學家當起
→ Aether13: 但87%的人根本沒那個能力 當個參數調整仔就不錯了
推 kirimaru73: 這東西人類還沒完全理解前就發現他超有用(超會掰了)
→ kirimaru73: 目前人類研究原理的速度正在苦苦追趕濫用和瞎掰的速度
→ arrenwu: 現在的問題就是... 99.99%的人都沒那能力
→ kirimaru73: 你把幻覺降到幾乎不准發生 結果就沒現在的有用
→ JaccWu: 和統計相關的東西很常見樓上說的現象阿
→ JaccWu: 像醫學上也有些搞不清楚為啥相關的東西
→ JaccWu: 但統計上有差
→ JaccWu: 然後之後再來慢慢研究原理到底是啥
→ kirimaru73: 如果ChatGPT放出來給大家玩 三成答案是窩不知道
→ kirimaru73: 那這東西好用嗎 爛啊 爛掉就沒人氣了
→ kirimaru73: AI的問題就是他病毒式擴散的速度太快了 醫學上的案例
→ kirimaru73: 可能還限制在某些罕見狀況 AI有手有網路就能玩上天
→ arrenwu: LLM是挺棒的啊 XD
→ JaccWu: 畢竟現在AI模型是軟體人員用現代軟體開發流程搞的
→ arrenwu: 你只是不能把LLM當終結者用而已
推 LoveSports: GPT跟Gemini的IMO金牌競賽模型都有能力拒答不會的題目
→ JaccWu: 先端東西出來  快速迭代再修正
→ LoveSports: 前幾天Gemini的公司已經公告ultra會員可以使用了
→ LoveSports: Deep Think模式，但是月費很貴XD
→ LoveSports: #1fCcRqNn (Stock) 前幾天在股板有討論
→ arrenwu: 另一方面，LLM之所以好用就是有很大機會幫你找出很多相關
→ arrenwu: 的資訊，只是不保證都正確無誤而已
→ arrenwu: 但只因為「不保證正確無誤」就放棄使用，那無異因噎廢食
→ LoveSports: 我前面說的幻覺是要AI分析我的小說，但AI看不到不講
→ LoveSports: 改成亂掰一篇什麼瑪莉怎樣怎樣 根本沒這個人
→ LoveSports: 之所以看不到是因為該頁面先前討論新聞有關鍵字被系統
→ LoveSports: 偵測為問題頁面  不是我的小說違規
推 JaccWu: 要保證多少正確率才使用就看產業吧
→ JaccWu: 每份工作能容許的誤差不同
→ arrenwu: 我覺得是人應該要有能力看出哪裡有問題吧？
→ JaccWu: 或是你生成+糾錯的時間  比你以前所需時間還少的時候
→ JaccWu: 那就有生產力
→ arrenwu: 好比解數學問題，要從零開始解數學問題可能很難，
→ arrenwu: 但當有一份答案在你眼前、你只需要檢視就容易多了
→ arrenwu: 連這都辦不到那就是 domain knowledge有問題了
→ JaccWu: 我覺得人類糾錯的能力有上限
→ JaccWu: 但未來AI生成的能力可能遠超這個就是了
→ arrenwu: 糾錯能力有上限是肯定的 但是這不影響現在你使用LLM啊:D
推 kirimaru73: 現實還有人類就是不糾錯的問題 鬧笑話的案例太多了
→ JaccWu: 像是論文 在這些工具輔助下
→ JaccWu: 論文數量其實是快速成長的
→ JaccWu: 我不確定未來人類跟上新論文新技術的能力如何
→ JaccWu: 考察驗證能力又跟不跟得上
→ arrenwu: 這暫時倒不用擔心就是了 當前知識推展也沒那麼快
→ JaccWu: 但我並沒有排斥使用喔
→ JaccWu: 我上面也有提到
→ JaccWu: 有沒有生產力是另一回事
→ arrenwu: 另一方面，LLM大力出奇蹟這套看起來在撞壁了
推 kirimaru73: 最近聽到的是上下文擴充到一百萬個token了，但實際用
推 LoveSports: 除非用戶是專業人士否則很難糾錯 多問幾家AI跟查證網
→ kirimaru73: 起來並不是真的有100萬個token的卵用
→ LoveSports: 路或書籍還是有必要的
→ kirimaru73: 於是開始研究在有卵用的範圍內(約幾萬個token)精煉
→ kirimaru73: 上下文資料的相關技術
→ arrenwu: @kirimaru73 那個就最近大家看到的 context rot
→ arrenwu: 簡單的說就是各大LLM都有個特質是，如果塞的token太多，
→ arrenwu: 用起來就會比塞少token的時候「不聰明」
→ arrenwu: @LoveSports 倒也不一定是多專業 但不能啥都不會
→ arrenwu: https://research.trychroma.com/context-rot 相關報告
推 LoveSports: 即使頁面到90幾萬token Gemini還是追蹤得到耶
→ LoveSports: 好像跟他的注意力是發散的有關係
推 kirimaru73: 那個叫大海撈針實驗，他有機會找到，但需要「正確」的
→ arrenwu: 是Needle in a Haystack沒錯
推 LoveSports: 感謝a大分享!!我前幾天做的實驗是貼了六篇文
→ kirimaru73: 問法，Gemini因為這個能力被質疑還出來示範什麼叫正確
→ LoveSports: ABCDEF都是不同發問者 而且其中有幾個互相反駁
→ LoveSports: 最後要Gemini分析各方論點 他能完整答對
→ LoveSports: 可是同一個方式丟給其他家AI都講錯誰講什麼
→ LoveSports: 不過我是丟給Gemini3.0pro實驗 不知道是不是因為進步
→ arrenwu: Gemini是滿好用的啊 只是還不到能盲目相信的程度而已
→ arrenwu: 他不向標準函式庫那樣，你跑 100萬次，100萬次都能給你
→ arrenwu: 一個一樣的正確答案
→ LoveSports: GPT那邊說跟語義壓縮有關 壓成摘要就講不清楚或講錯
→ kirimaru73: Gemini就是說他這能力很強，所以被別人找出案例反駁時
→ arrenwu: 那個就各種解讀啦
→ kirimaru73: 他就急著跳出來說我示範給你看正確的問法了
→ LoveSports: 我覺得全都不能盲目相信耶XD 每一家都還是會胡扯
→ LoveSports: 其實我不是故意考他 我有習慣丟我在PTT上發文問我是
→ arrenwu: 其實LLM已經幫助很多人大幅提升生產力了
→ LoveSports: 不是講話太冷血(不是故意的) 所以才會丟六篇還有反駁
→ LoveSports: 來去的XDDD
→ arrenwu: 只是對於拒絕學習的人用途偏低而已
→ LoveSports: 結果就會造成AI們搞不清楚誰講過什麼XDDD 超好笑
→ arrenwu: 用AI寫程式更是要小心，幻覺非常得多
推 kirimaru73: AI解釋自己寫的程式：我覺得我沒有錯
→ skyofme: 突然想到有一次我找grok算數，然後他算一算算出來然後用
→ skyofme: 中文複述一次然後一直講錯
→ arrenwu: 我通常在接觸新的程式碼滿倚重AI，只是有時候真的滿火的
→ skyofme: 我提醒了它好像三次還四次他才發現自己講錯了
推 LoveSports: 我都會講到他們認錯耶 有時候氣到快中風
→ LoveSports: GPT5.1上市第一天我就跟他戰40萬字(合計)
→ LoveSports: 因為他們安全機制會把AI講錯的話推給用戶
→ LoveSports: 現在怕被告都改成這樣 但AI講話很曖昧 這黑鍋不能揹阿
推 kirimaru73: 我有一次和AI討論為什麼他的回答裡面常常出現奇怪符號
→ kirimaru73: 例如 **應該要加粗的重點＊＊ 這樣的內容
→ imagineQQ: 因為人類就是地球害蟲
→ kirimaru73: 結果講著講著 風向突然變成是我(用戶)粗心打錯符號
→ kirimaru73: AI像個溫柔的老師仔細地教育我 以後要小心 別再打錯囉
→ LoveSports: 那個其實是因為他們用Markdown語法編輯但沒呈現好
→ LoveSports: 以前那樣問 舊模型都會認錯說會改進
→ LoveSports: 現在因為怕被告 一律推給用戶=_=
→ LoveSports: 所以我最近還是比較會去跟Gemini 2.5問問題
→ LoveSports: 3.0很會頂嘴 #1f7yVwhU (Stock)
→ skyofme: 然後我剛剛問grok還記不記得，他翻出一堆我都不知道我講
→ skyofme: 過的話==
→ LoveSports: k大你說的狀況好好笑  AI真過分  作賊喊抓賊
→ LoveSports: 其實你要的話可以跟他戰到底 但還是會一直重複推卸
→ LoveSports: 所以我後來就懶得戰了
推 kirimaru73: 我看到AI完整列出如何避免語法錯誤的建議時人整個傻了
→ LoveSports: 現在各家都很怕講錯話被告 所以AI都變嘴硬不認錯
推 s81048112: 影響最佳解就解決它
推 drm343: 我記得他們有加上不準傷害操控員的條件，模擬結果無人機
→ drm343: 直接把己方HQ炸掉
→ tw15: 很正常 就跟你要做一件事 一直被上面派系鬥爭扯後腿
→ tw15: 人類會忍忍 機器邏輯就是把上面幹掉再回去完成任務這樣都比
→ tw15: 等上面打完快