[情報] DeepSeek繞過CUDA 自己優化底層編程語言

[jackliao1990 (j)]

https://x.com/bookwormengr/status/1883355712191123666

關於DeepSeek的優化改進
許多人沒注意到的是:
DeepSeek也繞過了CUDA並使用底層編程語言PTX做優化

在輝達的PTX語言實際編譯流程中
CUDA代碼首先被編譯為PTX代碼
PTX代碼再被編譯為目標GPU架構的機器碼（SASS,Streaming ASSembler）
CUDA起到了提供高級編程接口和工具鏈的作用
可簡化開發者的工作
而PTX作為中間層充當高級語言和底層硬件間的橋樑

PTX允許進行細粒度優化
如寄存器分配和Thread/Warp級別的調整
這種編譯複雜又難維護
所以其他公司用的是CUDA這種高級編程語言

V3硬體效率之所以比Meta高出10倍
關鍵在於V3針對自己需求把132個流式多處理器（SMs）中的20個修改成負責服務器間通信
而不是計算任務
變相繞過了硬體對通信速度的限制
這點是用輝達的PTX實現的,不是CUDA

雖然DeepSeek把優化做到極致
然而同行表示
DeepSeek這種直接編寫PTX代碼的做法很難移植到不同型號的GPU
針對H100優化的代碼移到其他型號上效果打折扣也可能根本不work

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.132.195 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738151752.A.22B.html
推 boards      : 恐怖！DeepSeek遭以色列公司起底 可
→ boards      : 生成惡意程式竊取信用卡資料
→ MoonCode    : 換 cpu 就重寫啊
推 hortl233    : 這有點猛
※ 編輯: jackliao1990 (111.253.132.195 臺灣), 01/29/2025 20:04:44
推 royalpichu  : ASIC 噴
→ jacky40383  : 用PTX去優化速度早不是新聞了 就是
→ jacky40383  : 維護跟編寫麻煩
推 neil0611    : 厲害了 我的國
推 whizz       : 無聊 又不是首次有人用ptx
推 X28338136X  : 那做transformer 加速器有搞頭嗎
推 shyshyan    : 資料都開源了是在恐怖三小
→ olozil      : 翻譯:中國人礦便宜用人硬幹
推 johnjohnlin : 難移植的是後端吧，前端我怎麼記得
→ johnjohnlin : CUDA 4早就改LLVM了
推 mercedeces  : nv賺,還是用它的
推 MatTZerS    : 請問 SM 用於通訊是什麼意思
推 abc21086999 : 換個硬體就不能用很麻煩欸
推 c963852002  : 黃大：不講武德改我晶片？
推 Aquarius126 : 不用C語言改用ASM組合語言優化的概
→ Aquarius126 : 念
推 MisterSmile : 井蛙：看吧，他們就是用手刻
推 HiHiCano    : 小量還可以啦 大量你換gpu要重寫會
→ HiHiCano    : 死人的
噓 IndeedGod   : 一樓黑熊部隊嗎？這裡是科技版不是
→ IndeedGod   : 八卦版
推 ohohohya    : 沒事 到時候真的證明抄襲chatgpt會
→ ohohohya    : 哭的更大聲
→ tactics2100 : 反正窮人又換不起 deepseek指定的硬
→ tactics2100 : 體 有錢換的也是一批就買幾千台以上
→ tactics2100 :  然後操到爛 又不會頻繁更換硬體規
→ tactics2100 : 格接著再頻繁改寫
推 zxp9505007  : CUDA開發方便啊 但優化還是得取捨
→ musashi023  : ds繞過CUDA直接寫PTX很厲害嗎 PTX對
→ musashi023  : 於ds來說不就只是當成另一種語言而
→ musashi023  : 已
→ otaku690    : 做cuda優化的都會碰PTX吧...
噓 pig2014     : 太吹，靠底層語言優化這種事也能拿
→ pig2014     : 來吹是三小，那大家都改寫C不就飛
→ pig2014     : 上天了？軟體開發發展至今會往高階
→ pig2014     : 語法移動不是沒有原因的，因為開發
→ pig2014     : 流程相較於算力需求更重要。現在問
→ pig2014     : 題在於nv硬體資源成本過高或是存在
→ pig2014     : 屏障才有這種鳥需求，等未來算力足
→ pig2014     : 夠或是發展到異質訓練的情況時，這
→ pig2014     : 東西突然就武功全廢了
→ tactics2100 : 你這種說法就像廠商開發UE引擎然後
→ tactics2100 : 開發出黑神話悟空 你就說有什麼好吹
→ tactics2100 : 的
推 stocktonty  : 就2B鉛筆超頻啊XDDD
→ xiemark     : cudnn效率不是最佳
噓 w180112     : 支語滾
噓 NexusPrime  : 講的好像其他公司不懂PTX一樣
→ bnn         : 繞是一定能繞 使用者習慣要不要改
推 kaltu       : 不是繞過中層C寫底層ASM，是業界都
→ kaltu       : 用高層語言 Java 跨平台的時候直接
→ kaltu       : 寫無法移植的中層C，換張卡就要重寫
→ kaltu       : 一遍，復用性有限
→ kaltu       : 除非你這間公司只玩一張顯卡的生命
→ kaltu       : 週期就打算收攤，否則這種問題應該
→ kaltu       : 是改進tool chain，第一次編譯和第
→ kaltu       : 二次編譯的編譯器最佳化策略，而不
→ kaltu       : 是跳過第一次編譯器人肉compile然後
→ kaltu       : 新的顯卡架構出來整間公司的軟體資
→ kaltu       : 產蒸發
→ kaltu       : 但如果DS真的只是拿偷來的GPT權重蒸
→ kaltu       : 餾來重新包裝成自己做的的話，的確
→ kaltu       : 是可以只幹這一票騙到補助和VC之後
→ kaltu       : 跑路
→ kaltu       : 那也可以理解為什麼開源這麼乾脆，
→ kaltu       : 因為根本不需要為公司的未來性著想
推 a1234567289 : 樓上… 所謂的蒸餾不是拿權重.. 是
→ a1234567289 : 拿GPT的輸出入當資料訓練
→ Lordaeron   : 拿CHATGPT 的輸出，這樣的費用要多?
推 annboy      : 蒸餾可以想成是拿大模型的
→ annboy      : input output去背答案
→ tactics2100 : 簡單來說 deepseek 就是開 血輪眼
→ tactics2100 : 或是 金輪法王 用小無相神功 催動
→ tactics2100 : 少林72絕技
→ tactics2100 : 更正 鳩摩智
→ tactics2100 : 補充 血輪眼是後天自己開發出來的
→ guteres     : 最幹的是openai和MS吧，花了一堆錢
→ guteres     : 和智慧財產權的費用，被人蒸餾去用
→ guteres     : 然後再開源。
→ tactics2100 : 一堆文學作家也抗議 openai 蒸餾他
→ tactics2100 : 們的創作啊
推 lolpklol0975: 護城河CUDA 被繞過去？
噓 musashi023  : 不要在說什麼繞過去了 PTX還是nv家
→ musashi023  : 的 到底繞過去了什麼 這篇標題就在
→ musashi023  : 亂寫
噓 ellight     : 講的好像PTX是啥跨世紀發明
→ ellight     : PTX就是N卡上面的低階語言而已
→ tactics2100 : 所以對岸以C++語言寫出黑神話悟空
→ tactics2100 : 你也會嗆C++又不是啥跨世紀發明？
→ tactics2100 : 基努李維出演駭客任務 你也會嗆攝影
→ tactics2100 : 機又不是啥跨世紀發明嗎？
推 tomet       : 確實沒什麼好吹的，時間會證明
→ physicsdk   : 跟死忠仔沒什麼好討論的 邏輯0分的
→ physicsdk   : 論述看了會降智
推 kingofsdtw  : 笑死，原來是手刻底層
→ Ekmund      : 如果有新聞寫基努李維繞過好萊塢
→ Ekmund      : 用攝影機拍JohnWick
→ Ekmund      : 那對 我會開嗆
→ Ekmund      : 這就邏輯很奇怪的講法啊w
噓 tactics2100 : 他也沒宣傳主打繞過什麼啊
→ tactics2100 : 而且好萊塢又不是協會組織
→ tactics2100 : 就像人踩在地球一樣呼吸空氣 「繞過
→ tactics2100 : 」講得好像要不依靠地球空間生存 和
→ tactics2100 :  不呼吸氧氣 來達成某成就才能讓你
→ tactics2100 : 信服
→ tactics2100 : 就像人人都有權利站在地球上呼吸空
→ tactics2100 : 氣一樣自然*
→ tactics2100 : 那你說看看黑神話 你有想要要求繞過
→ tactics2100 : 什麼？
推 Somebody99  : ptx比cuda低階沒錯，但也沒有低到
→ Somebody99  : 沒有維護性吧，那這麼華
→ Ekmund      : 黑神話有繞過什麼？不就正常用UE5
→ Ekmund      : 這個對比更怪 他沒有特定硬體依賴
噓 tactics2100 : 所以黑神話不用顯卡就能玩？
→ tactics2100 : 我還以爲你會要求繞過windows(=電影
→ tactics2100 : 的好萊塢)
→ Ekmund      : 喔 所以你是問 黑神話"假設"要繞過
→ Ekmund      : 什麼的場景嗎？
→ Ron51320    : 一個轉譯程式的事，是要多難
→ Ron51320    : 也許AI都能自己轉了
噓 tactics2100 : 已經開始耍賴用問題回答問題了 那就
→ tactics2100 : 沒有必要理你了
→ Ekmund      : 我一直在回答問題 是你自己一個跳
→ Ekmund      : 過一個 場景沒建立清楚就往下跑 誰
→ Ekmund      : 知道你的對比標準是什麼？
→ Ekmund      : 你看spec或開spec也這樣搞的嗎
→ Ekmund      : 我想想喔 拿你最常講的黑神話來說
→ Ekmund      : 你要假設他繞過什麼 對照回直接用
→ Ekmund      : PTX而不用CUDA的場景 那就是遊戲科
→ Ekmund      : 學跟Epic講好 UE整包太大不想用 只
→ Ekmund      : 抽某一部分lib出來做一些常見的圖
→ Ekmund      : 形運算和cross-platform的功能 完
→ Ekmund      : 成後遊戲爆紅 媒體各種報到 接著有
→ Ekmund      : 篇文跳出來說遊戲科學打破Epic限制
→ Ekmund      : 繞過UE 用xx模組做ooo...
→ Ekmund      : 呃 那 看起來依然是可以吐槽的樣子
推 lalamio     : 重寫就好 概念一樣