Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSee

[sxy67230 (charlesgg)]

呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll
ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更
長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用
deepseek的模型架構。

一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用
了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗
試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再
加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去
也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要
去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還
是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。

我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模
驗證也證明可行，那就可以scaling model跟data size就好了。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.66.147 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738136010.A.EA4.html
※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 15:34:33
推 aria0520    : 那些實驗不是復刻 只是在distill
→ aria0520    : 真的要"復刻" 指的是在完全從零開始
噓 boards      : 滿滿支語
→ aria0520    : 的條件下 跟DS宣稱的成本相同下
→ aria0520    : 復現出R1的結果
→ aria0520    : 但首先DS沒公開他的訓練資料集
→ aria0520    : 所以只能說小lab可以用他公布的模型
→ aria0520    : 做distill 配合他的方法做出不錯的
→ aria0520    : 模型而已
→ aria0520    : 但如果只是這樣 4o實際上也是OAI
→ aria0520    : distill出來的 真正關鍵還是在
→ aria0520    : 如何做出用來給其他模型distill的
→ aria0520    : 源模型 如果這個能用DS宣稱的算力
→ aria0520    : 條件做出 那就貢獻很大 也是最值得
→ aria0520    : "復刻"的部分
R1的技術文件有如實說他們是從Deepseek v3調過來的吧，openAI也是有在某次技術人員訪
談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源）
，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。
不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言
模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這
個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te
st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練
數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源
自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實
值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的
地方本來就值得學習。
推 vbotan      : 3樓只會這招嗎
※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 16:11:25
→ aria0520    : 主要是訓練集沒公開就還是有點懸念
→ aria0520    : 畢竟連OAI之前o3那次math benchmark
→ aria0520    : cheat風波導致benchmark的可信度
→ aria0520    : 變低許多 連OAI都會搞出這齣 一個
→ aria0520    : 急需注資和關注度new fund更有可能
→ aria0520    : 有貢獻是一定的 新方法在distill上
→ aria0520    : 有機會成為新baseline
推 knightwww   : 幫補血
推 PhilHughes65: 貼文的人寫了這麼多技術用語，結果
→ PhilHughes65: 某些人只會噓支語
推 hensel      : 回文用中文的我都噓支語
推 ctw01       : 感謝，讀了真的收益良多
推 lusifa2007  : 傳聞它是蒸餾chat gpt 的基礎這是
→ lusifa2007  : 真的假的
→ ctw01       : 這種事情應該很難知道了 但目前看
→ ctw01       : 起來他真的有提出一套有用的方法我
→ ctw01       : 覺得這是比較重要的
推 tanby       : 蒸餾要有模型  ChatGPT沒有公開
蒸餾不一定要有模型輸出完整機率分佈就是了，但是Deepseek真的有用GPT 4o或o1蒸餾還是
需要有關鍵模型大量輸出統計證據，不然當前都是猜測而已。僅憑很多人隨意測試是很難說
是真的有蒸餾的，畢竟LLM其實真的有心是很容易用Prompt變造出惡意虛假事實的（像先催
眠模型是chatGPT，然後再問他是誰，然後把結果截圖），還是一句話，讓子彈再飛一會兒
。
※ 編輯: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45
推 AiriMania   : 根本不用催眠其實 造假方法多的是