看板 Soft_Job 關於我們 聯絡資訊
提供一個有趣的觀點 在 堆疊溢出 的網站有關於一則公告內容是禁止 chatgpt 回文。 底下有一個 AI 研究員的論點很有趣。 https://meta.stackoverflow.com/questions/421831/ temporary-policy-chatgpt-is-banned?cb=1 有意願看英文詳細的可以直接搜尋TL;DR,第三個就是了。 我這邊簡單敘述大意 stackoverflow 應該禁止所有 AI 回文,因為 chatgpt 是基於 stackoverflow 上 訓練的,如果 stackoverflow 不禁止會導致無法訓練 2022 年以後的 AI, 因為 AI 無法分辨訓練資料這是 AI 回文還是人類回文,會導致 Circular reasoning。 這意味著 AI 還是是需要真正人類的資料去訓練,如果不訓練就無法進步。 除非你的公司有 FAANG 一樣大,不然我不認為可以訓練出足夠強大的 offline chatgpt。 我覺得這個論點很有趣的地方在於,實務上你是無法禁止AI回文的,也就是說 AI 訓練 會出現一個死胡同,越強的語言模型會被濫用的越嚴重,最終會有一個上限。 我大概可以猜測為何使用 stackoverflow 訓練,因為有問題有答案,答案還 大部分都有標準解答,跟 chatgpt 與你聊天的模式有點像。 簡單來說你想用 chatgpt 解決工程師就會有雞生蛋,蛋生雞的問題。 你開除工程師,就沒訓練資料可用,沒訓練資料可用的 chatgpt 就不能產生 code 最終還是要請工程師開發。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.10.119 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1678178344.A.05B.html
quickbym1: 酷 03/07 17:09
RayLeeRock: 很有意思的觀點 03/07 18:27
ohmylove347: 可以換個角度,能被AI回答的問題,本身就屬於 已解決 03/07 18:34
ohmylove347: /爛問題 ,比起禁止AI回答,不如說是禁止能被AI輕易 03/07 18:34
ohmylove347: 解答的問題發文,像是Quora好像就有導入相關使用 03/07 18:34
GoalBased: 禁的原因是因為錯誤率太高但是回答品質又高。我在revie 03/07 18:51
GoalBased: w 的時候都會覺得是高品質的回答但答案卻是錯的 03/07 18:51
GoalBased: 而且那種code 會有人覺得寫的很好,但其實在很多情況下 03/07 18:56
GoalBased: 會出bug 03/07 18:56
JaccWu: 簡單來說 AI回文可能導致從自己身上學習 03/07 19:02
JaccWu: 使得既有的錯誤被強化這樣? 03/07 19:02
JaccWu: AI自己污染了訓練資料 03/07 19:03
jonathan793: 不認同 因為最後答案還是人去標的 如果ai回錯了就不 03/07 19:40
jonathan793: 會被當成訓練資料 03/07 19:40
superpandal: 所以閉源好 自己寫的又跟別人寫的很不一樣 03/07 20:52
superpandal: 黑魔法就是讚 03/07 20:55
yueayase: 讚,這表示工程師的思路才是真正有價值的地方 03/07 21:34
shortoneal: 所以標仔也得是個高手,不然難一點的問題你連判斷他 03/07 21:47
shortoneal: 對不對都沒辦法 03/07 21:48
bnd0327: 挑點讚率高的答案就好啦,哪需要人肉標 03/07 22:58
TAKADO: 就是訓練時拿已經被AI標過的資料再回去餵AI,或是兩套AI戶 03/07 23:22
TAKADO: 餵資料,就會發生各種神奇現象。 03/07 23:22
maypcc: 不會啊,因為2022後又不是只有chatgpt回文 03/08 01:01
maypcc: 還是會有真人回 03/08 01:01
now99: 拿奇摩知識+的資料訓練不知道會走鐘成什麼樣子 03/08 01:27
stu51211: 有趣的切入點 學習了 03/08 03:10
eva19452002: 再訓練新的AI來判斷是AI回文或是人類回文不就好了 03/08 05:58
ku399999: 6樓才是對的 03/08 06:31
EKman: 就是ai 還不夠強大啊,似懂非懂要怎麼用 03/08 08:31
EKman: 跟死胡同是不同的兩個問題 03/08 08:31
比較好的做法確實是挑打勾的答案,目前這個結論是推測 chatgpt 沒有這樣做。 至於不這樣做的原因不知道,我猜是因為要更多訓練資料吧。 因為這個是語言模型,不是 coding ai。 ※ 編輯: y2468101216 (1.171.133.82 臺灣), 03/08/2023 10:13:52
jobintan: 如果ChatGPT的相關數據是出於StackOverflow的話,那麼, 03/08 10:16
jobintan: StackOverflow應該有權要求ChatGPT付費。 03/08 10:17
lycantrope: chatGPT就很適合用在產ptt廢文 頭頭是道但內容錯誤 03/08 10:32
jason017050: 說的真好 03/08 11:39
Ekmund: chatgpt商用的話 有權要他支付授權費用的單位會多到爆... 03/08 12:29
Ekmund: 相較於圖文創作和數據 code可能反而還好 03/08 12:33
bheegrl: 取代版上廢文應該是沒問題了,至少還頭頭是道 03/08 12:34
jay123peter: 有趣的文章! 03/08 13:12
ku399999: 簡單理解一下gpt原理就知道為什麼他不這麼做 03/08 13:20
ku399999: 他根本不理解自己在輸出什麼 03/08 13:21
DrTech: 我還以為這是常識耶,本壘就不可能取代工程師,不然誰產生 03/08 13:26
DrTech: 資料…。取代的是搜尋參考資料的時間而已。取代的是Google 03/08 13:26
DrTech: 搜尋的使用次數而已。 03/08 13:26
keepxha: 被取代的是google!? 03/08 14:10
onlyeric23: 是啊 谷歌都快哭了 03/08 23:15
viper9709: 原來是這樣 03/09 00:12
siriusu: 推 03/09 00:27
papple23g: 對耶 03/09 00:59
brucetu: 非監督跟reinforcement的模式不會有這個問題 03/09 01:56
brucetu: 只要他的目標是code能滿足功能 加上可讀性維護性optimize 03/09 01:57
brucetu: 還是可以左右互搏就像練圍棋一樣 03/09 01:57
純 code 我覺得不好用,本來就有 copilot,但是你不是每天都要處理 code。 比如如何配置 database ,配置 nginx 之類的。 copilot 也不能幫你建議這段 code 如何優化,還有幫你處理提案, 處理 commit message。 然後我覺得像圍棋那樣是不能的,圍棋規則近年沒有大變動, 程式語言改個版可能就不一樣了,比如 golang 1.18 增加的泛型,這個 AI 沒資料肯定 寫不出來。 我最近讓 chatgpt 寫 redis match 語法都會寫錯了,更何況是新特性。 ※ 編輯: y2468101216 (36.226.25.90 臺灣), 03/09/2023 11:24:02
wuliou: 有意思 03/09 21:28
dannyko: 我喜歡這個想法 03/10 08:52
supersnoII: 目前是這樣沒錯,但算法會進化的 03/13 10:59