[新聞] 震撼！輝達NVFP4格式突破4位元極限 AI訓

[motan (警察先生就是這個人)]

原始標題：
震撼！輝達NVFP4格式突破4位元極限 AI訓練效率翻倍

原始連結：
https://news.cnyes.com/news/id/6129950


原文：
輝達 (NVDA-US) 發布其突破性的 NVFP4 浮點格式，宣稱能以 4 位元（4-bit）的速度與
效率，實現 16 位元（16-bit）的訓練精準度。這項技術的問世，不僅標誌著大型語言模
型（LLM）開發的重大飛躍，更為 AI 訓練的未來開啟了全新的篇章。
cover image of news article
震撼！輝達NVFP4格式突破4位元極限 AI訓練效率翻倍。(圖:shutterstock)

過去，AI 訓練主要依賴 16 位元或 32 位元的高精度浮點格式。儘管後訓練量化（PTQ）
已證明 4 位元量化能顯著提升推理吞吐量，但在要求極高穩定性和收斂性的預訓練階段
，模型仍不得不依賴 BF16 或 FP8 等更高精度格式。
然而，AI 訓練是極其耗費運算資源、電力和時間的過程。在有限的預算和 GPU 週期下，
如何最大化訓練效率，成為所有 AI 開發者面臨的核心挑戰。
輝達發布的 NVFP4 技術，正是為了解決這一痛點。透過將模型權重和活化值的精度降低
到僅 4 個位元，NVFP4 能顯著減少記憶體需求、提升算術運算吞吐量，並優化通訊效率
。
這使得 AI 工廠能夠在相同的硬體配置下，處理更多的數據和代幣，從而加速收斂週期，
並支援更大規模模型的快速開發，最終擴展 AI 所能達到的前沿領域。
輝達為 NVFP4 開發了一套專用的預訓練方法，旨在解決大規模訓練中的動態範圍、梯度
波動和數值穩定性等核心挑戰。其關鍵技術包括：
微區塊縮放（Micro-block Scaling）：輝達 Blackwell 架構原生支援 NVFP4 格式。與
先前的 MXFP4 格式不同，NVFP4 將微區塊大小從 32 個元素減少到 16 個，讓每一小組
元素共享一個共同的縮放因子。這種更精細的粒度設計，能最大限度地減少異常值的影響
，降低量化誤差，並大幅提升整體模型準確性。
E4M3 高精度區塊編碼：縮放因子的精確度對於量化品質至關重要。NVFP4 採用更高精度
的 E4M3 縮放因子，並帶有額外的尾數位，相較於 MXFP4 僅限於 2 的冪次方（E8M0），
這使得數值表示更為精準，能更好地利用有限的量化區間。
張量分佈重塑：預訓練期間的梯度和活化值往往帶有較大的異常值，這會影響低精度量化
。輝達透過對 GEMM（通用矩陣乘法）輸入應用哈達瑪變換（Hadamard transforms），將
張量分佈重塑為更接近高斯分佈的形態。這種方法能平滑異常值，使張量更容易被準確表
示，並在整個訓練過程的前向和後向傳播中保持透明。
量化保真度維持：為確保訓練的穩定性與效率，NVFP4 技術採用了能夠在前向傳播與後向
傳播之間保持一致性的量化方法。例如，選擇性二維塊式量化等技術，有助於在整個訓練
週期中維持張量表示的對齊，最大程度地減少信號失真，並增強整體穩健性。
隨機舍入（Stochastic Rounding）：與傳統的確定性舍入不同，隨機舍入確保梯度以機
率方式隨機向上或向下舍入，其機率與數值距離兩個可表示值之間的距離成正比。這一步
驟對於減少舍入偏差，維持訓練期間的梯度流至關重要。
●支援兆級代幣規模完整預訓練
為驗證 NVFP4 的效能，輝達在一個類似於 NVIDIA Nemotron Nano 2 的 120 億參數混合
 Mamba-Transformer 模型上進行了實驗。該模型在一個包含 10 兆代幣的大規模數據集
上進行了完整的預訓練。
實驗結果顯示，使用 NVFP4 從頭開始訓練的 12B 模型，其收斂曲線與作為基準的 FP8
模型高度吻合，且在訓練過程中沒有出現通常困擾超低精度訓練的不穩定或發散問題。這
證明了 NVFP4 支援兆級代幣規模完整預訓練的能力。
此外，輝達將使用 NVFP4 預訓練的模型與 FP8 基準模型在一系列下游任務和智慧領域進
行了比較。結果表明，NVFP4 的性能在所有領域都與 FP8 不相上下，證明了其有效性與
可靠性。
輝達正與亞馬遜雲端科技（AWS）、Cohere、Google 雲端、Kimi AI、微軟 AI、Mistral
、OpenAI、Perplexity、Reflection 和 Runway 等領先組織積極合作，共同探索 NVFP4
的潛力，將更加鞏固其在 AI 技術領域的領先地位，也預示著未來 AI 訓練將邁向一個更
高效、更節能的 4 位元時代。

心得：
雖然看不懂，但是好像很厲害。

進化速度變兩倍，感覺又要大躍進了。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 116.241.142.240 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1756377335.A.F2A.html
→ oysteromele: 類似32bit升64bit?
→ motan: 還是模糊運送？
噓 sonicyang: 什麼爛機翻把AI token翻成代幣...
推 j112233446: 32到64是提高精度、做更大更精確的計
→ j112233446: 算，文中講的是量化，降低精度、減少
→ j112233446: 儲存量並且提昇運算效率
推 oysteromele: 樓上…請問是指降低暫存記憶體的重要
→ oysteromele: 性嗎？
推 j112233446: 減少暫存就能放參數更多的模型，但通
→ j112233446: 常在server端更重要的是運算效率，4b
→ j112233446: its的運算一定比8/16bits快
推 brightest: 聽起來比較像數據壓縮
推 eineFrage: 看起來有點類似不需要flac檔（反正木耳
→ eineFrage: 居多），給你mp3就可以交差了事。
推 j112233446: 對的 概念上類似
→ fantasystar: ... 官方新聞稿是六月24，結果鉅亨網
→ fantasystar: 在八月底當新聞貼
→ fantasystar: 喔，真正的原始新聞應該是這篇: http
→ fantasystar: s://developer.nvidia.com/blog/nvfp
→ fantasystar: 4-trains-with-precision-of-16-bit-
→ fantasystar: and-speed-and-efficiency-of-4-bit/
→ fantasystar: 訓練用 FP4 的，上一個是 gpt-oss
→ fantasystar: 不知道 NVFP4 vs MXFP4 可以差多少
→ yunf: 這是什麼意思一下跳兩代的意思？
→ yunf: 9樓要加上同樣硬體才會成立
推 abyssa1: 告訴你不需要用FHD, 只要從頭到尾都VGA
→ abyssa1: 就可以
→ abyssa1: 原本的架構是mismatch的 FP訓練 然後4b
→ abyssa1: 推論 他的意思是從一開始就4b訓練 很棒
推 Kawasumi: 用有點不倫不類的比喻比較像發明了JPEG
→ Kawasumi: 壓縮
推 Kawasumi: 這是不是表示如果下放給一般消費級顯卡
→ Kawasumi: 用就能讓16GB的VRAM跑32GB的模型?
推 doranako: 感覺是新的壓縮技術，蠻屌的，nv獨家還
→ doranako: 是其他非nv也可以用？
→ Baling99: 我的理解是,把大矩陣切割成小矩陣,小矩
→ Baling99: 陣裡的非零資料採用一個共用指數,然後以
→ Baling99: 4bit表示除過這個共用指數的結果
→ DrTech: 靠縮放因子，就是精度有損啊。新聞也太吹
→ DrTech: 牛了啦。
→ DrTech: 而且訓練結果跟FP8差不多。結論：大廠沒人
→ DrTech: 要用，一般消費者用不到。
→ WenliYang: 好了啦  瞎吹
→ kuyfd456: 所以實際效益？
→ fantasystar: 實際效益就是精確度差一點但是訓練成
→ fantasystar: 本降低很多啊。在搶世界第一的那些人
→ fantasystar: 我猜不會急著用，但是預訓練小一點的
→ fantasystar:  LM 應該就挺不錯，反正這些小模型大
→ fantasystar: 多最後也要做 quantization
→ fantasystar: 另外我上面有點講錯了，gpt-oss 是後
→ fantasystar: 訓練才用 MXFP4，現在這個新聞是前訓
→ fantasystar: 練就用 NVFP4
推 eineFrage: 有損壓縮就是折衷主義，商用的話追求效
→ eineFrage: 益比或許可以，研究領域最好還是能喂食
→ eineFrage: 完整版的資料。
推 veryGY: 共用bit?
推 lulululula: ms幾個月前有發1.58bit的模型
推 zipigi: 猛，INT4訓練能這麼強真的鬼
→ chng8371: 反正人腦的解析度也就那樣的概念 ai不用
→ chng8371: 太精細糾結？
推 kkes0001: 人腦比ai強很多吧
推 Morphee: 就是看整張馬賽克的a片感覺跟高清一樣高
→ Morphee: 潮迭起。
推 Aquarius126: 8bits變4bits 硬體需求就變1/4，同樣
→ Aquarius126: 的資源下可以做到4倍的訓練量，或是
→ Aquarius126: 服務4倍的客人，應該算不錯吧(?)
→ Aquarius126: 另外NN訓練用了一堆Activation跟Drop
→ Aquarius126: out，本來就充滿隨機性跟折損，只要
→ Aquarius126: 單次訓練有效，可以靠大量迭代來逼近
推 fgkor123: 腦子不用太好，人數來湊
→ alongalone: 翻譯應該有問題,4bit怎麼可能
推 xl3andbp6: 看ppt ptt長腦子