Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據

[hancel (hancel)]

※ 引述《derekhsu (浪人47之華麗的天下無雙)》之銘言：
: 這段一定很多人沒看懂。
: 正確的說法是，蒸餾可以讓較小的模型（學生）在特定任務上得到比原本的小模型更好，
: 近似於大模型（教師）的結果。
: 近似，就不可能比教師模型更好，只會更差。另外由於OpenAI沒有開源，所以這種叫做
: 黑箱蒸餾。如果可以蒸餾把模型變小可以維持原來的品質，那就一直蒸餾一直蒸餾蒸餾
: 到1K大小好不好？
這裡的說法如果是正確的話,那DeepSeek就不是只靠蒸餾來達成的.
https://reurl.cc/26eaDv
Scale AI’s 28-Year-Old Billionaire CEO Warns About This Scarily Good Chinese
Startup

這個CEO就是指控DeepSeek事實上擁有並使用50000個H100 GPU的人.
( https://reurl.cc/oV6veM )

但是他卻寫出:
Scale AI 最近還與人工智慧安全中心合作發布了“人類的最後考試”，他們將其描述為
人工智慧系統迄今為止最嚴格的基準測試。 Wang 表示，雖然迄今為止還沒有模型能夠在
測試中達到 10% 以上的成績，但 DeepSeek 的新推理模型 DeepSeek-R1 已經位居排行榜
首位。 「他們的模型實際上是表現最好的，或者與美國最好的模型大致相當，」他告訴
CNBC。

也就是說DeepSeek-R1能力根本不輸GPT-4o,
那DeepSeek怎麼可能是靠蒸餾OpenAI來達成這樣的結果呢?

: 還有，他有提到「特定領域」，也就是說是只是一個限定的範圍，而不像是OpenAI或是
: DeepSeek要作的是通用的LLM。
: 你不可能靠蒸餾的方式把模型變小還能在通用領域達到跟教師模型不相上下的水準，這
: 是違反自然法則的。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.223.112.52 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1738200740.A.133.html
推 s0022: 機械有母性原則 軟體就不曉得了
推 vzerov: 沒有說只用 可能只是其中一部分
噓 quid1121: 剽竊還有分剽一部份？果然是支那腦的思
→ quid1121: 維邏輯
剽竊個大綠腦啦,就算是蒸餾也不是剽竊.
因為LLM本來就是得從大量文字中"蒸餾"出來,
你GPT-4o可以在網路上蒸餾不是剽竊,
其他人就是剽竊?

只要DS-R1不是專門從GPT-4o上蒸餾,
那你在哪邊綠腦雙重標準的啥麼德性?
所以你根本看不懂人家說的,
在基準測試中DS-R1能力絕對不輸GPT-4o(甚至超越),
這個代表的意義是啥麼?
※ 編輯: hancel (73.223.112.52 美國), 01/30/2025 10:03:26
推 yoshilin: 所以開源也沒法得到結論嗎？
→ CMCC: http://i.imgur.com/vUTd0o4.jpg
你貼這個幹嘛? OpenAI提出抄襲證據了?
一個閉源的說開源的抄襲,
然後不提出證據這很台灣司法啊.
※ 編輯: hancel (73.223.112.52 美國), 01/30/2025 10:11:51
推 CMCC: 程式碼開源的話，很容易測啦，但抓數據、分
→ CMCC: 析需要時間，這一定抓的到，因為DS不是全新
→ CMCC: 架構，非商業授權部分穩死。
→ CMCC: 開源並不是免罰的藉口
只要OpenAI不提出證據,
你這裡講的通通是廢話.
※ 編輯: hancel (73.223.112.52 美國), 01/30/2025 10:17:26
→ CMCC: 很簡單啦，非自創架構鐵定出事，讓子彈飛一
→ CMCC: 下
→ CMCC: 證據滿手也要估計一下商業損害的量，好做控
→ CMCC: 告啊
→ CMCC: 閉源是否就無法逆向工程？ 你是不懂電腦嗎？
推 ypc1994: 哇有人可以逆向工程LLM訓練集跟參數
→ ypc1994: 諾貝爾獎都不夠你得
→ ypc1994: 宇宙的熱力學定理都被你繞過去
→ CMCC: 照這邏輯，中國一堆人在拿諾貝爾獎、繞宇宙
→ CMCC: 熱力學定理，笑死
→ CMCC: 能不能先去查資料再來秀下限啊