作者LDPC (Channel Coding)
看板Stock
標題Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
時間Thu Jan 30 01:19:19 2025
現在全網路上的開源數據資料是屬於pre-training端 大多都是野生數據 無標籤
那東西只是讓模型去向鸚鵡一樣 去做文字接龍
但第二階段訓練會用到RLHF (Reinforcement Learning from Human Feedback)
就是要人類針對不同數據給意見 這個是要給標籤
所以你才會聽到狗家之前要求全公司員工去給意見讓Gemini前身 Bard 去做人類feedback
這個人工成本是很大
Deepseek-R1跟大家說 我們不用人類給的feedback了 我們可以免除這塊
大家都在討論的叫做sythetic dataset
這個步驟是來自於你有許多野生數據 但需要加上標籤 那標籤可以拿更強大模型來標註
比方說 一道數學題目 你可以用人類寫解答 或者要拆步驟 每步驟讓gpt-4o寫個答案
這就是所謂synthetic dataset 然後用這組數據去調教模型 這步驟會決定
你的模型多智能 這過程就是call api 現在ai界都這樣幹 缺點就是訓練模型上限就是
原始母模型 這跟傳統蒸留 用模型直接交模型不太依一樣
這種方式就是可以用低成本 接近gpt-4o 但你如果這樣幹 你模型就不能商業化
頂多發表到文章 講你這是怎樣做 最經典例子就是LLaVA那篇 講如何用gpt4o
產生sythetic dataset讓textLLM 變成多模態 直接打爆其他大廠高成本多模態
之前網路上已經有人在討論 到底deepseek有沒有用api去合成數據
https://reurl.cc/A6ab98
https://x.com/bboczeng/status/1883374489519698413 (zero是r1第一版)
在training這部分還沒定案之前 大家就先吃瓜看看吧 @@
但這思路還是有可取之處 就是模型教模型 不要再用人類RLHF去教模型
https://x.com/op7418/status/1884065603184681162
這有點像回到當年alphago那條路線 模型互相教
下面網址是第三方 大家要複製deep-seek R1開源計畫 任何人想參加都可以
https://huggingface.co/blog/open-r1
目前公認是dep-seek R1隱藏了
Replicate the R1-Distill models by distilling a high-quality
reasoning dataset from DeepSeek-R1.
上面專案在徵求大家嘗試去製造出合成數據
好了 我要去炸薯條了 @@/ 救救我
※ 引述《IBIZA (溫一壺月光作酒)》之銘言：
: ※ 引述《mangle (mangle123)》之銘言：
: : 比較好奇這段：
: : 儘管蒸餾是AI業界常見做法，但DeepSeek若利用蒸餾技術來打造自家模型，並與OpenAI競 爭，將違反OpenAI服務條款，因此產生疑慮。
: : OpenAI的服務，或是「利用輸出結果，來開發與OpenAI競爭的模型」。
: : 各個ai 大語言模型不是都會互相參照比較和訓練嗎？ 我以為這是業界常識…
: : 不過要怎麼定義「與openai 競爭的模型」？ 因為deepseek 也沒盈利而且也開源學習，他也承認他不只從chatgpt訓練也參照不少，deep seek 也認為自己是chatgpt
: : 所以是真有盜竊疑慮，還是業界常識的互相學習使用？ 如何定義這部分
: 各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣
: AI = 模型的程式碼+訓練
: 能開源的部分只有程式碼, 訓練是看各自調教
: 模型的能力夠, 差不多的調教方式就會得到差不多的結果
: 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強
: 自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法
: 預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識
: 監督微調: 有了基本能力之後, 模型開始有推理能力
: 這時候由人類介入, 告訴模型怎麼想是對的, 怎麼想是錯的
: 之前所謂的貼標籤, 就是這個階段
: 獎勵建模: 把對錯的判斷建立模型, AI想對了, 這個模型就獎勵他
: 強化學習: AI自己跟自己練習
: 不管是meta還是google, 之前都是照OpenAI這個成功模式做
: 所以這些公司能做的就是拚算力, 透過更大量的訓練, 希望最終可以暴力超車
: 但蒸餾就不同, 蒸餾是直接拿另一個模型的推理結果, 讓另一個模型照著得到同樣結果
: 譬如我要我剛剛問ChatGPT, 要他給舉例說明什麼是擬人法
: 他的回答是這樣
: https://i.imgur.com/ey5mX61.png
: ChatGPT要回答這個問題, 中間要經過很多推理, 譬如他要先理解我的問題
: 這裡面就牽涉到, 他要理解我講的擬人法是修辭當中的擬人法
: 然後再從這一個理解, 去思考擬人法的意思是甚麼, 最後再想出一個符合範例
: 蒸餾的話, 就是學生模型已經預先知道這個問題的答案是甚麼
: 有頭有尾, 要生出中間的推理就會比較容易
: 但這裡有個問題
: 你要用蒸餾讓一個模型得到另一個模型類似的能力
: 通常就是需要老師模型產生極大量的練習後結果
: 才能傳授畢生功力給學生模型
: 如果ChatGPT是開源模型, 可以自己部署在自己平台上
: 要做這樣大規模訓練是有可能
: 但ChatGPT無法部署在自己平台
: (剛剛有人說ChatGPT 2可以, 但蒸餾頂多只能逼近老師, 用ChatGPT 2只能蒸出垃圾)
: 所以要做蒸餾只能透過API, 而要透過API做幾千萬甚至幾億規模的蒸餾訓練
: 這難度極高啊....
: (ChatGPT剛剛教我另一個方法
: 就是拿一個原本就有ChatGPT4能力的模型
: 這樣只要少量訓練, 就能超越ChatGPT 4
: 但原本就有ChatGPT 4能力的新模型難道自己會生出來嗎XD
: 你還是得先得到這個模型啊...就是V3
: 那V3怎麼來?)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738171163.A.A6D.html
※ 編輯: LDPC (76.21.72.78 美國), 01/30/2025 01:19:54
※ 編輯: LDPC (76.21.72.78 美國), 01/30/2025 01:21:13
推 sdbb : 炸薯條，甘薯？馬鈴薯？ 01/30 01:22
推 a0808996 : 美國大爺 薯條這種小事 小弟來幫你炸就好 01/30 01:23
→ chordate : 簡單的說就是省掉RLHF的成本？ 01/30 01:23
→ a0808996 : 你翹著腳 喝著82年的拉菲 等我服務就好 01/30 01:23
→ jo4 : 答案不就很明顯 難道真的可以無中生有 01/30 01:23
→ sdbb : 推文感覺澀澀的 01/30 01:24
→ jo4 : 如果這麼屌在GPT出來之前早該有了 01/30 01:24
→ good5755 : 裁判、球證、旁證都是我的人 你怎麼跟我鬥？ 01/30 01:25
推 TaipeiKindom: 好多英文，不過跟我想的一樣 01/30 01:25
→ sdbb : 可能是因為要先有gpt之流的強大模型 01/30 01:25
→ sdbb : 才能模型教模型 01/30 01:25
→ sdbb : 0到1是最難的 01/30 01:26
→ ken85 : 所以openAI剛開始的數據蒐集 商業化也會危險嗎 01/30 01:26
推 ABC610478 : 專業 01/30 01:29
→ IBIZA : DeepSeek的論文自己說 在沒有任何監督數據的情況下 01/30 01:29
→ IBIZA : 自我演化 01/30 01:29
→ IBIZA : DS是不貼標籤的 01/30 01:29
推 TaipeiKindom: 用AI訓練AI，天網一定就是這樣誕生的 01/30 01:30
推 ntr203 : 找學霸幫我畫重點的意思 靠腰阿如果重點越畫越細， 01/30 01:31
→ ntr203 : 到最後不就等於學霸在答題 01/30 01:31
推 meta41110 : 一個互尻的概念0.0 01/30 01:32
→ jo4 : 自我演化給時間就變AGI了阿 恭喜實現AGI 01/30 01:33
→ jo4 : 幾個月就超越GPT 想必年底就屌打GPT了吧 01/30 01:34
※ 編輯: LDPC (76.21.72.78 美國), 01/30/2025 01:41:19
推 sean667cd : LD大是薯條之王，加大是直接一卡車 01/30 01:48
※ 編輯: LDPC (76.21.72.78 美國), 01/30/2025 01:59:34
噓 Wolverin5566: 西神壇 01/30 02:04
推 applejone : 我認為是有的 01/30 02:12
推 ProTrader : 從資工人的角度看這種做法很合理啊 01/30 02:35
→ ProTrader : 比較值得討論的是為何會被中國人先做出來 01/30 02:35
→ ProTrader : 照理說 那些大廠裡的資工高手一定想的到 01/30 02:36
→ iamacomic : 矽谷大老發文就是不一樣 01/30 02:41
推 kuso198610 : 大概覺得沒必要？一直疊高階晶片就好了 01/30 05:09
→ morisontw : 不可能沒有監督 機器學習中無監督都是沒意義的東西 01/30 06:31
→ morisontw : 最後有意義的東西都是後來人類賦予上去的 01/30 06:32
→ morisontw : 有些看來沒監督的東西只是你表面看不出來監督 01/30 06:33
→ morisontw : 其實初始都是從人類監督開始的 01/30 06:34
→ morisontw : k-means 分的類你不定義就是看起來很酷的垃圾而已 01/30 06:36
推 dongdong0405: 我已經和同事商量好年後要去賣酸菜魚了（X 01/30 07:22
推 mdkn35 : RL我記得不用給標籤 只需要自訂一個目標 01/30 07:42
→ mdkn35 : 最典型的就是賽車越快到達目的地碰撞越少分數就越高 01/30 07:42
推 mdkn35 : 但llm的回答千百種…好吧應該也算是一種標籤 01/30 07:46
推 wu0119 : 有點不懂，只不過跟我想的差不多。 01/30 08:03
推 KrisNYC : 學到了 01/30 09:01
→ sdbb : 總結就是模型教模型，好班的學生自己教自己 01/30 09:15
→ sdbb : 以前的模型是老師教學生 01/30 09:16
推 mamorui : 補充的是RLHF後衍生的方向是期待AI代替人類reward 01/30 09:43
→ mamorui : ，R1讓模型自訓練 01/30 09:43