Re: [問卦] DeepSeek怎麼一天就走下神壇?

[KanzakiHAria (神崎・H・アリア)]

※ 引述《tim790809 (scheduling)》之銘言：
: 所以DS到底是屌不屌啊?
: 有沒有專業一句話說明??


專業一句話就是  R1是一個"方法論"而不是模型  v3是新模型範式的概念驗證

建議先去看 LATS 或 ANPL 比較好理解什麼叫"方法論"


先講v3價值：打破了以往單一模型走scaling law  成本是近似指數或n^2誇張上升

原本AI能力要變強 原本是要暴脹式的砸錢   軍備競賽般的資本競賽

v3 open的paper說明了  用成千上百個小model集合也能做出類似效果  不用被大n懲罰


回來講R1  舉例來說 可以先看ANPL原理

ANPL讓AI變強做法是讓AI先拆解問題 再逐步解決 類似"Let's think step by step"


之前要讓LLM做深度思考一律都是COT

比如把每次LLM的輸入輸出當作一個節點

把多個節點做評分  最終選擇整條鏈評分最高的項目  即MCTS概念

這就像是alphago那樣  每次棋步後面都要估算後面幾十步對於這步的總評分(勝率)

LATS就是用LangGraph去實現MCTS的COT  這是方法論  所以可以套用任何LLM

你替換任何LLM  LATS都能提升輸出成果


GPT-o1(原q* project)採用人工先寫好大量的推論步驟去保證COT品質

並非直接讓AI去隨意生成許多條節點再自我評分   而是人工先標註什麼是好推論

因此人工撰寫教科書等級的推論就是o1高成本最主要的因素

(這也是CloseAI藏起來的主因 這個很貴不能給其他人看到XD)

就像alphago master需要挖出所有頂尖對局棋譜然後數位化



R1則是捨棄了節點拆步驟思維  直接讓LLM去隨意探索可能方式

在這個情況下R1反而做出了各種有創意的推論方式

就像是alphago zero 自行探索反而下出自己一套邏輯



如同LATS可以替換任何的LLM   R1也可以使用任何的LLM去做這件事

實驗室復現R1是指拿一個LLM 做這個方法論 看可以拿到AI怎麼做推論過程

復現的結論也高度一致  使用越優秀的LLM當作基底 可以拿到更好的推論過程

所以任何LLM都可以做R1  就跟任何LLM都可以套LATS類似



因此

在那邊說不能回答64 就是根本不懂R1

你拿任何可以回答64的LLM套用R1的方法論  就拿到可以回答64的AI了


今天就算有人把中國從地球上移除   下一個人也可以做出v3和r1

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.231.98.6 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1738162752.A.B2B.html
※ 編輯: KanzakiHAria (36.231.98.6 臺灣), 01/29/2025 23:00:34
推 R3hab: 分析一下台灣的ai lab
推 DustToDust: 方法不同
推 AirLee: 下一位
噓 b19880115: 挺誰直接說。
我挺open source  誰open我挺誰  meta open llama 挺  v3 r1 open 挺
google open 挺  x.ai 唬爛的假公開  thumb down   CloseAI閉源thumb down
※ 編輯: KanzakiHAria (36.231.98.6 臺灣), 01/29/2025 23:11:54
推 taylor0607: 其實就是監督式和強化式學習的原理
→ juicylove: 講得剎有其事 其實是在唬爛
噓 quid1121: 這篇是廢文嗎?
青鳥看不懂論文很氣喔
※ 編輯: KanzakiHAria (36.231.98.6 臺灣), 01/29/2025 23:27:42
噓 a8785007: 好了啦
推 TaiwanHero: 那DS怎麼不用中國國產的AI模型來作結
→ TaiwanHero: 論 ?
→ gueswmi: deekseek不會威脅美國Ai工業
→ gueswmi: deepseek的優化原理減少訓練成本能否複製
→ gueswmi: 才是讓NVDA一天跌17%的關鍵 美國人懂
→ gueswmi: 應該說 華爾街的恐慌是這個
→ henry1234562: DS這次重點是RL方法論
→ henry1234562: 有什麼AI能用當然就用什麼 都能用
推 tim790809: 感謝專業回覆
推 fukku100: 推專業 義和團實在太多了
推 genaro:
推 twntwn: 中共同路人 吊死你