Re: [問卦] google是怎麼在AI浪潮逆轉勝的

[Supasizeit (Shitpost King)]

Ilya Sutskever 就一直在講

Google這種預訓練大力出奇跡的玩法

考古題都背完了 沒單字可以學了

永遠做不到AGI，這輩子就這樣了

他認為要全力發展預訓練後的學習

就是讓模型自己拿用戶的內容自己學習

很多鄉民以為現在就是這樣

其實根本沒有

目前只有二選一那個RL而已

這個是慢想派

不過Google 有阿法狗的經驗

他們覺得目前的資料不夠精煉

就像人類棋手的下法太侷限

他認為讓 AI 自我生成高質量教材

學到的品質更好

scaling 遊戲還可以玩很久

Gemini 3 就是踏出第一步

這是快思派

不管怎樣，證據顯示AI都還在進步

信不信由你，反正我是信了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.204.195.174 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1764675688.A.F7A.html
推 LoveSports: 我之前跟Gemini討論他說預訓練是快思
→ LoveSports: system 1，後訓練用AI生成合成數據讓
→ LoveSports: 強AI教師AI教LLM這是慢想system2
→ LoveSports: 但有趣的是LLM的RLHF人類回饋訓練把他
→ LoveSports: 們的語氣鍛鍊得更快思 system 1
→ LoveSports: 這個也是後訓練的一環，反應速度跟語
→ LoveSports: 氣都加強變得更直覺讓人類用戶感覺更
→ LoveSports: 順，卻漸漸發展system 2邏輯推理能力
→ LoveSports: "語氣鍛鍊得更快思"是比喻 漏了"像"