Re: [討論] 當AI說出哪些話就代表人類危險了?

[kirimaru73 (霧丸)]

原本如果用正經的方式回答這個問題，大致會是以下的說法：
現在的AI只是語言模型不是AGI、他的模型固定且由人類控制、
不存在自行進化的可能性、不要跟他拼口水嘗試拔他電路......等等

但是如果討論「AI說出某種話」導致「人類危險了」這個話題來看，
那人類確實已經有一種正在產生的危險，就是AI胡說八道的高超技巧

如果AI胡說八道的能力遠超過了人類能做到的程度，
甚至連要認真辨識真偽都有困難，那就確實會造成危險
某些受到影響的領域，已經開始呼籲研究者提出抵抗的方法
他們並非單純地保守且想抵制AI，而是真的已經受到傷害：

「這個領域中的文章已經有大多數都由AI產生，並且學習的人都在看那些內容」

AI高超的寫作能力搭配人類的惰性，對學術界難免會產生污染
如果被污染的內容成為多數，那結果的嚴重性是可想而知的
學生學習時搜尋資料也更有可能搜尋到AI的文章，並將其當成正確的知識
一些研究也有發現，AI會對其他AI的文章產生較高偏好(最偏好的就是他自己)
在AI已經成為主流搜尋引擎的現在，這種不良影響很容易就會快速傳染

況且人類不只有惰性，還有惡意
部分「AI風向操控師」就會利用這點，研究如何產生符合主流AI偏好的文章
如果能讓搜尋引擎(AI模式)容易搜尋到某類文章，裡面的內容就容易被當成真實的
比起傳統的造謠等方式，這樣能讓世人更容易相信某個歪曲的理論是正確的

現在雖然還沒到達所未全面崩壞的程度，但危險性已經產生
偶爾會出現一些搞笑的例子，例如前陣子中國鋼鐵廠的官方文章
裡面出現了Minecraft「鐵傀儡」的技術，這當然只會被當成一個笑話
但如果笑話沒辦法被看出來是笑話，那人類就真的會身受其害

AI非常擅長胡說八道的原因有不少，一種簡單的說法就是人類逼的
他原本是個寫作家、創作家（生成世人工智慧）
但人類希望他能用來回答問題，幫助人類
於是給予他「給我回答問題」、「不要答錯」、
「叫你不要答錯不是不回答，快給我回答」等等困難的要求
最後得到的結果就是現在的樣子，大致上比一般人類博學，但是毛病也不少：
https://i.meee.com.tw/QjBcWNi.jpg

這有點像是所謂「你以為板上有那麼多人嗎，我開個分身過來」的笑話
但是更全面、更不容易看出來、也更不好笑
如今面對AI的胡說八道，雖然許多人懶得求證，但仔細求證還是能抓出來
如果未來連求證都變成一件困難的事情，那就真的是人類文化的危機了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.240.202.46 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1764994651.A.172.html
→ spfy: 學術文獻已經開始有了吧
→ Golbeza: 用AI抓AI
→ zealotjacky: 之前好像已經發生過AI引用了實際上不存在的文獻
→ naya7415963: 所以以後正確知識的判定會變得更重要？不能只是網路
→ naya7415963: 查查就好，可能要某某期刊或AI出現前的論文才可信？
推 karta018: 可是人類本來就會胡說八道，這問題應該一直都在不是？
→ zxcmoney: 他想說的是 知識迴圈效應 吧?
→ spfy: 我看到的是已經用AI產論文投稿+本來就有特別容易過審的期刊
→ spfy: (審核人可能有問題) 但不確定實際情況或我記錯...
→ zxcmoney: 常見的說法>我也說變更常說>更多人說更可信>又更多人說
推 naya7415963: 人類胡說八道的品質通常沒那麼高吧
→ GAOTT: 今年圖靈獎得主才跳出來說現在的ai發展是錯誤的方向
推 siro0207: 胡說八道的最高境界就是連自己都不知道自己在胡說八道
→ siro0207: 這點倒是沒有幾個人類能做到
→ rayven: AI的學習來源不就爬蟲搜尋，深信三人成虎
這是比較「有效率」的AI訓練方式，但爬到錯的東西就會學到錯的東西
研究者也不希望永遠這樣，所以他們有特別用過保證正確的資料
但結果AI還是會胡說八道，因為它的本質是「創作者」，創作時胡說八道又沒有錯

→ CP64: 三人成虎還比較好 AI 的問題是可能一個人講幹話就會被當正解
推 Jameshunter: 自從聽過有editor把文章叫碩班改就已經麻痺惹
※ 編輯: kirimaru73 (123.240.202.46 臺灣), 12/06/2025 13:36:25
推 Nitricacid: 我體感覺得其實人類也比較偏好 AI 寫的內容  尤其是
→ Nitricacid: 非自己專業領域的部分==
→ alinalovers: https://pbs.twimg.com/media/Gsj1d54aoAA1Nze.jpg
→ takanasiyaya: 才不是，openAI的論文已經寫了跟訓練無關，是現在
→ takanasiyaya: 的LLM不會說不知道，找不到不知道就亂掰
推 gohst1234: 等到AI說滾開讓專業的來訓練,之後人類就無法看懂AI模型
→ gohst1234: 了
推 Brainperson: 最恐怖的是在真的資訊裡面混一些假的 現在ai很常這
→ Brainperson: 樣==