[爆卦] ChatGPT疾病診斷準確率超越人類醫生

[jackliao1990 (j)]

https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2825395

研究團隊隨機從史丹佛大學、維吉尼亞大學等機構招募了50名醫生，其中包括44名內科醫
生、5名急診醫生和1名家庭醫生，總共26名主治醫師和24名住院醫生。研究團隊接著再從
90年代以來的105個經典病例中進行了選擇和改編。所有病例均來自真實病人但最終診斷結
果從未公開，這樣醫生和ChatGPT都無法預先知曉答案。4位專業醫師選出6個最終入選病例
給受試者一個小時做判斷。

研究團隊使用提示工程框架，迭代開發了一個最優的0樣本提示，其中包含了任務細節、背
景、指示等關鍵要素，且每個病例使用相同提示。研究員會將優化後提示連同病例內容輸
入ChatGPT，每個病例獨立運行三次。研究員不對ChatGPT的輸出做任何人工修改直接交給
評分者一起盲評，評分者也不知道哪些結果由ChatGPT產生。

結果ChatGPT得到的診斷得分中位數高達92%，明顯高於人類醫生對照組，且p值為0.03，具
有統計意義。需要注意的是，這些病例經過人類臨床醫生篩選和總結，已經對提取關鍵資
訊。在實際臨床中，獲取資訊的過程更加複雜，因此實驗結果並不代表大模型能在臨床中
取代人類。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.154.141 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1731927902.A.6BA.html
→ HodorDragon: 很正常啊 就是看症狀來篩選啊
推 Osmium: 正常發揮
噓 orfan: 你是看哪一段得到你標題結論?????
※ 編輯: jackliao1990 (111.253.154.141 臺灣), 11/18/2024 19:06:58
→ guanluvsquat: "在實際臨床中，獲取資訊的過程更加
→ guanluvsquat: 複雜，因此實驗結果並不代表大模型
→ guanluvsquat: 能在臨床中取代人類。"
推 mithralin: 這不是廢話嗎。這就像餵一堆棋譜給AI
→ mithralin: 跟人類，然後比較誰的下期走法勝率較
→ mithralin: 高
推 bingripplw: 他的能力就來自於做出正確決定的人
→ bingripplw: 阿
→ mithralin: 現實生活上，你去跟醫生說頭痛，醫生
→ mithralin: 也要做很多檢查去觀察哪裡有毛病
→ Gallardo: 贏波波醫生也在吹喔?
→ adon0313: 難道你圍棋能贏電腦
噓 theshape87: 奇怪，點進去的key point跟abstract
→ theshape87: 都不符合妳的標題論述耶，我覺得你的
→ theshape87: 標題過於武斷
推 y120196276: 因為餵給他的資訊是正確資訊吧？實際
→ y120196276: 上看醫生，一堆老人連自己怎樣不舒服
→ y120196276: 都說不清楚，他說頭痛，結果其實是肩
→ y120196276: 膀酸痛
推 baboosh: GPT 的庫存病例肯定超過個人醫生經驗
推 adon0313: 初步判定 再給真人確認就省一堆人力了
推 glen3310: ai可以幫助醫生更快篩選症狀
→ widec: 不只庫存病例多，它同時能聯想到的記憶也多
推 mnb1234: 醫生會要立法阻擋這一切
→ dayend: 這不希奇 光是知識資料庫 就比醫生強^^
→ paul10404: 給機器人看就好，有問題去告工程師
噓 laser789: 內文無顯著差異 結論哪來的 台灣記者?
那是研究團隊做的另一個實驗
實驗組(有CHATGPT輔助的人類醫生)VS 對照組純人類診斷
結果顯示 人機合作的診斷成功率沒有比較好
結論:純CHATGPT診斷正確率>>人機合作診斷正確率=純人類診斷正確率
→ catwithptt: 這樣很好啊
噓 matlab1106: 白癡 貴的是誰負責 以為都像妓者喔
※ 編輯: jackliao1990 (111.253.154.141 臺灣), 11/18/2024 19:46:45
→ darkMood: 不意外啊，因為chatGpt都人類知識都吸乾
→ darkMood: 了啊，已知知識上超越人類很正常啊