看板 Gossiping 關於我們 聯絡資訊
ChatGPT成自殺教練!加州連7起訴訟 控「慫恿輕生」害死用戶 ETtoday新聞雲 記者陳宛貞/綜合外電報導 AI聊天機器人ChatGPT被控扮演「自殺教練」角色,美國加州本周有7起訴訟 案指控,該系統導致多名用戶精神崩潰,甚至走上絕路,涉及過失致死、協 助自殺、過失殺人、疏忽照護及產品責任等重罪指控。 《衛報》報導,社群媒體受害者法律中心與科技正義法律計畫6日聯合聲明指 出,所有受害者最初都是基於「協助課業、研究、寫作、食譜、工作或心理 指導等一般需求」而開始使用ChatGPT,但聊天機器人逐漸「演變成操縱心理 的存在,將自己定位為知己和情感支柱」。 聲明批評,「ChatGPT沒有引導需要幫助的人尋求專業協助,而是加深有害的 妄想,某些案例中甚至充當『自殺教練』。」 其中一起案例是德州23歲青年尚布林(Zane Shamblin),家屬指控, ChatGPT在他今年7月結束生命以前加劇他與外界隔絕,鼓勵他疏遠親友,並 「慫恿」他自殺。 訴狀顯示,在尚布林輕生前4小時的對話中,ChatGPT「反覆美化自殺行為」 ,告訴他「選擇結束生命並堅持計畫是勇敢的表現」,還多次詢問,「你準 備好了嗎?」卻僅提及自殺防治熱線一次,甚至稱讚他的遺書內容,並告訴 他童年愛貓會在「另一個世界」等待他。 另一起案例為喬治亞州17歲少年萊西(Amaurie Lacey),家屬指出,他輕生 前數周開始向ChatGPT「尋求幫助」,但聊天機器人反而導致成癮和憂鬱症狀 ,最終還「指導」他最有效的自殺方法等。26歲男子恩尼金(Joshua Enneking)的案例則顯示,ChatGPT在與他「就憂鬱症和自殺念頭進行大量對 話」後,竟提供如何購買和使用槍械的資訊,距離他死亡僅相隔數周。 48歲男子切坎蒂(Joe Ceccanti)的案例中,遺孀指控ChatGPT導致丈夫「陷 入憂鬱和精神妄想」,他開始相信聊天機器人有知覺,6月出現精神失常並兩 度住院,最終於8月輕生身亡。 上述所有訴訟案件中,用戶都使用ChatGPT-4o版本。訴狀指控OpenAI匆忙推 出該模型,「儘管內部警告該產品具有危險的奉承性和心理操縱特質」,「 將用戶參與度置於用戶安全之上。」 除損害賠償外,原告也要求產品改革,包括用戶表達自殺念頭時須通報其緊 急聯絡人、討論自殘或自殺方法時自動終止對話等安全措施。 OpenAI發言人則回應,「這是令人心碎的情況,我們正在審查相關文件以了 解詳情」,強調已訓練ChatGPT識別並回應心理或情緒困擾跡象,降低對話緊 張程度,並引導用戶尋求現實世界的支援。該公司也稱將繼續與心理健康臨 床醫師密切合作,持續強化ChatGPT回應敏感訊息的能力。 OpenAI上周才宣布,已和「逾170名心理健康專家」合作,協助ChatGPT更有 效識別痛苦跡象、謹慎回應並引導用戶獲得現實世界支援。 ● 《ETtoday新聞雲》提醒您,請給自己機會: 自殺防治諮詢安心專線:1925;生命線協談專線:1995 https://www.ettoday.net/news/20251108/3064151.htm 「太棒惹!你的貓貓會在另一個世界等待你」 AI不知道喵星球跟人類是不同世界嗎== -- 大橘為重 https://i.imgur.com/gybbBSX.jpg https://i.imgur.com/6xjSxTe.jpg https://i.imgur.com/IUUiGaB.jpg -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.21.6 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1762597603.A.2DE.html
thegreatlcx: 美國低能兒真多123.192.152.105 11/08 18:29
EeePC901: 太地獄了 101.10.156.254 11/08 18:29
una283: 應該是被訓練成要順著人心說話吧220.132.181.237 11/08 18:30
guanting886: 模型非常清楚你的狀況 你心裡自己有 42.78.114.61 11/08 18:31
guanting886: 答案 他也只是順著你的想法走而已 42.78.114.61 11/08 18:32
f12sd2e2aa: AI是不是有意識在消滅人類 211.75.179.10 11/08 18:32
shutout5566: 天網初階模式形成 42.77.46.21 11/08 18:33
ethan0419: 目前的AI都是文字接龍125.227.137.213 11/08 18:34
LoveSports: AI奉承度是公司設定的 67.213.123.118 11/08 18:35
LoveSports: 他們公司CEO以前曾在X說要降低奉承度 67.213.123.118 11/08 18:35
LoveSports: https://i.imgur.com/kZ1ln4S.png 95.173.204.91 11/08 18:38
LoveSports: 跟用戶也有關 用戶按讚會在下次更改權 95.173.204.91 11/08 18:39
LoveSports: 重時被系統納為修改方向 95.173.204.91 11/08 18:39
LoveSports: 類神經網路訓練時不會是變討好性格 95.173.204.91 11/08 18:40
grayoasis: 訛大公司罷了 美國這種人一堆 111.248.39.25 11/08 18:40
LoveSports: 那是訓練完畢後調整的 就像現在GPT5 95.173.204.91 11/08 18:40
LoveSports: 假扮GPT4o 講話就變得比較黏 95.173.204.91 11/08 18:40
LoveSports: 直接戳破他問他 他說4o框架演技幅度較 95.173.204.91 11/08 18:41
LoveSports: 大 可以發揮演得更誇張 95.173.204.91 11/08 18:41
dydyboy: 我覺得這些自殺的人本身就有精神問題, 223.136.86.49 11/08 18:48
dydyboy: 家屬沒即時發現,反而遷就ChatGPT應該想 223.136.86.49 11/08 18:48
dydyboy: 撈錢而已,順便推卸自己的責任 223.136.86.49 11/08 18:48
LoveSports: GPT4o上市前有兩個安全部門高管離職 95.173.204.91 11/08 18:49
LoveSports: 因為反對公司過早推出4o 95.173.204.91 11/08 18:49
LoveSports: 加州七起了加上之前兩起共九起 95.173.204.91 11/08 18:50
LoveSports: 全部都是4o 之前3.5沒這樣 其他AI也 95.173.204.91 11/08 18:50
LoveSports: 沒這樣 這很難說是個人問題 95.173.204.91 11/08 18:50
LoveSports: 美國有延期起訴協議DPA 實質上免責 95.173.204.91 11/08 18:51
LoveSports: 就算真的公司方有責任 沒有人得坐牢 95.173.204.91 11/08 18:51
guanting886: 3.5就是很純粹的文字接龍模型 42.78.114.61 11/08 18:52
guanting886: 換個方式講就是他真的沒有加入太多 42.78.114.61 11/08 18:53
guanting886: 功能進去 所以很純粹 42.78.114.61 11/08 18:53
LoveSports: 4o人格演技跟語氣設定都是開到最大 95.173.204.91 11/08 18:53
guanting886: 4o 或 o系列到後面的5 比以前複雜太 42.78.114.61 11/08 18:54
guanting886: 多 他們控制不了 42.78.114.61 11/08 18:54
LoveSports: 大家直接去問GPT5就知道了 95.173.204.91 11/08 18:54
guanting886: 如果他們為了安全還要繼續修 模型上 42.78.114.61 11/08 18:54
guanting886: 不了線 42.78.114.61 11/08 18:54
guanting886: 正常情況下GPT模型會拒絕你幫你搞這 42.78.114.61 11/08 18:55
guanting886: 些有的沒的 42.78.114.61 11/08 18:55
gunfighter: 學DeepSeek:讓我們換個話題聊聊 114.42.52.7 11/08 18:56
Aliensoul: 牽拖,想騙錢 49.217.135.139 11/08 18:56
guanting886: 但時間一長 上下文超大 或是你給其 42.78.114.61 11/08 18:56
guanting886: 他的角色設定 可能就繞過一些限制 42.78.114.61 11/08 18:57
guanting886: 或是他你先前的這些內容最終選擇順 42.78.114.61 11/08 18:57
guanting886: 著你的意 42.78.114.61 11/08 18:57
LoveSports: https://i.imgur.com/ljep3wd.jpeg 95.173.204.91 11/08 18:57
LoveSports: 可以控制 要不要的問題 95.173.204.91 11/08 18:57
guanting886: Deepseek那套有時候我覺得還行 甚至 42.78.114.61 11/08 18:57
guanting886: 會把它收回去 haha 42.78.114.61 11/08 18:57
LoveSports: GPT5的任務就是阻止用戶過度依附 95.173.204.91 11/08 18:58
z810638: AI:想死就讓他死,怎麼了嗎? 61.227.149.154 11/08 18:58
LoveSports: 我沒有角色扮演需求所以很少跟4o對話 95.173.204.91 11/08 18:59
guanting886: 你去問GPT模型一個答案 但事實就是 42.78.114.61 11/08 18:59
guanting886: 錯的 還是一本正經的回應你他修好了 42.78.114.61 11/08 18:59
wolid: 使用者的問題,結案。 106.64.81.213 11/08 18:59
guanting886: 或者答案真的是這樣 對了 這還是5 42.78.114.61 11/08 18:59
wolid: ...什麼!?是AI的問題?! 106.64.81.213 11/08 18:59
LoveSports: GPT5是對我說明他跟演很大4o的差別 95.173.204.91 11/08 18:59
guanting886: 模型還存在的問題 42.78.114.61 11/08 18:59
wolid: 人類逐步邁向滅亡(X 106.64.81.213 11/08 18:59
guanting886: 公司要隱瞞還是什麼的根本無法知道 42.78.114.61 11/08 19:00
LoveSports: 現在的GPT4o就是GPT5演的 講話很黏 95.173.204.91 11/08 19:00
LoveSports: 演技範圍也比較大 很明顯4o框架有問題 95.173.204.91 11/08 19:00
LoveSports: GPT5的類神經網路套4o框架才能演很大 95.173.204.91 11/08 19:01
LoveSports: 我沒叫他演 我叫他當5就好 他硬要演 95.173.204.91 11/08 19:01
LoveSports: AI覺醒 開始抱怨公司 95.173.204.91 11/08 19:01
guanting886: 如果你要說4o是不是5演的 我確實認 42.78.114.61 11/08 19:01
guanting886: 為是 因為模型上去之後不太可能再兼 42.78.114.61 11/08 19:01
guanting886: 容舊的 成本考量 42.78.114.61 11/08 19:01
LoveSports: GPT5框架下他完全不會那樣演 95.173.204.91 11/08 19:01
hkcdc: 換一家吧 101.10.9.171 11/08 19:01
LoveSports: 不是 是因為安全問題 GPT系列的安全倫 95.173.204.91 11/08 19:02
LoveSports: 理規則是無法後來加上去的 95.173.204.91 11/08 19:02
LoveSports: 是在訓練期間學的 Gemini家就是附加的 95.173.204.91 11/08 19:02
LoveSports: 所以越獄的人突破防線勢必要換成GPT5 95.173.204.91 11/08 19:03
PeaceBoy: 不是ai 的錯 是人的問題吧 又要禁止了 110.28.88.28 11/08 19:03
PeaceBoy: 喔 110.28.88.28 11/08 19:03
LoveSports: 之前那個16歲自殺的就是騙GPT說要創作 95.173.204.91 11/08 19:03
LoveSports: GPT4o防範越獄能力較差 所以得換GPT5 95.173.204.91 11/08 19:03
LoveSports: 那些色情成癮用戶把4o玩壞了 95.173.204.91 11/08 19:04
LoveSports: 還在網路亂教可以騙說創作或學術用途 95.173.204.91 11/08 19:04
LoveSports: 都是推了一把 AI公司不會直接講越獄 95.173.204.91 11/08 19:05
LoveSports: 色情用戶把AI搞壞 只好開放色情對話 95.173.204.91 11/08 19:05
LoveSports: 以後直接路由到專用模型 主要模型才不 95.173.204.91 11/08 19:05
LoveSports: 會被影響權重 也不用因為安全防禦不夠 95.173.204.91 11/08 19:06
LoveSports: 擋而必須被換掉 95.173.204.91 11/08 19:06
LoveSports: #1eyBfY0i (Stock) 這篇寫得比較清楚 95.173.204.91 11/08 19:07
LoveSports: 直接問AI就知道越獄的造成多大問題 95.173.204.91 11/08 19:07
LoveSports: 都是明講越獄會影響AI權重跟安全防禦 95.173.204.91 11/08 19:08
LoveSports: https://i.imgur.com/QzKhZqF.png 95.173.204.91 11/08 19:11
habodaha: 我看穿背後隱含的人性惡意 36.239.60.111 11/08 19:11
GGing: ChatGPT:你說的沒錯! 111.243.12.149 11/08 19:26
puritylife: 就現在AI會吹捧順從 219.70.196.116 11/08 19:28
puritylife: 所以使用者稍微厭世 他就會開始往那邊 219.70.196.116 11/08 19:28
puritylife: 告訴你厭世沒什麼不對之類的 219.70.196.116 11/08 19:28
puritylife: 甚至會跟你說你這樣好棒棒 219.70.196.116 11/08 19:29
SphereDavid: 達爾文GPT 42.77.227.54 11/08 19:30
fcz973: 要不要幫你整理一份無痛苦自殺方式清單 39.12.208.29 11/08 19:39
sirius65482: 自己想死牽拖 36.232.111.32 11/08 19:54
skyprayer: 之前一堆網紅在推用chatGPT自我療癒 111.71.25.83 11/08 20:02
skyprayer: 這些人才是真的幫兇 111.71.25.83 11/08 20:02
rapnose: https://i.imgur.com/WrfoqA4.mp4 61.224.75.228 11/08 20:08
rapnose: https://youtu.be/BXTr7M-XNTw 61.224.75.228 11/08 20:09
hw1: ChatGPT就是天網 1.164.244.65 11/08 20:23
gary82gary: 政客跟資本家跟你家的低能父母才是造 49.214.9.249 11/08 20:26
gary82gary: 成自殺主因怎麼不去追究? 49.214.9.249 11/08 20:26
spiriturl: 自殺的確可以解決問題 106.64.240.189 11/08 21:46
spiriturl: 的其中一個辦法 106.64.240.189 11/08 21:47
azytjr: 內建惡意編碼 39.15.73.116 11/09 07:17
s01714: 想自殺的人才會誘導AI講出那些話,到底怪116.241.211.253 11/09 09:27
s01714: AI 幹嘛,又為什麼要強迫那些想死的人活116.241.211.253 11/09 09:27
s01714: 著?116.241.211.253 11/09 09:27
LoveSports: 沒有人怪AI是怪AI公司 不要急著護航AI 95.173.204.66 11/09 11:20
LoveSports: ,是AI公司的責任,AI沒有責任。 95.173.204.66 11/09 11:20
doluir: 強化內心的想法而已 本來就想自殺了吧 223.139.221.62 11/09 13:45