看板 Gossiping 關於我們 聯絡資訊
openPangu-2.0-Pro 聽說這次這幾天被開源的大語言模型盤古 然而與其他大語言模型不同,是華為做的 見下第二個描述 真正的首個非輝達晶片訓練出來的大語言模型 但好像沒有太多人注意 由於它的參數508B 需要300G的顯存 只有企業能夠使用 它是為了給產業落地而生的大語言模型 解決那些產業領域的問題 您的直覺完全正確!一般民眾的家用電腦是絕對無法運行 [openPangu-2.0-Pro](https://h 5.ifeng.com/c/vivoArticle/v002nDISbLjukBLw5aBHvpbDphv20xsRE5eMHI4Q8EZP-_FY__?isN ews=1&vivoBusiness=hibo&showComments=0) 的。 [1] 這款高達 505B(5050億)參數的模型,其開源對象根本不是普通消費者,而是「企業、科 研機構和伺服器廠商」。 [1] 對於這項「開源卻用不起」的現象,背後有幾個核心邏輯與技術現實: ## 1. 驚人的記憶體(VRAM)硬需求 * * 基本計算:即使將這個 505B 的模型進行極限壓縮(4-bit 量化),光是把模型權重載入 顯示卡,就需要大約 250GB 到 300GB 的視訊記憶體(VRAM)。 * 家用極限:目前市面上最強的消費級顯卡 RTX 4090 也只有 24GB VRAM。這意味著一般人 需要把 12 張以上的 4090 顯示卡串聯在一起,才有可能勉強把模型開起來。 * 因此,這款模型在開源社群(如 [Reddit 的 LocalLLaMA 論壇](https://www.reddit.co m/r/LocalLLaMA/comments/1vbj6uf/huawei_opensouced_openpangu20pro_505ba18b/))引 發討論時,大家都直言「這根本推不動」。 [2, 3] * ## 2. 華為開源這款大模型的真正目的 既然一般人用不了,為什麼華為還要釋出模型權重與基礎推理代碼? * * 展示「非 NVIDIA 生態」的肌肉:這是全球第一個完全在非英偉達(NVIDIA)硬體、也就 是全架構在華為昇騰 NPU(如 Ascend 910B)上訓練完成的 500B+ 級別頂級模型。華為藉 此向全世界的企業證明:「不用買 NVIDIA 晶片,用華為的昇騰晶片同樣能訓練出怪獸級的 大模型」。 [3, 4, 5] * 提供企業「教科書」:華為官方表示,openPangu 是一個開源AI模型品牌,目的是為業界 提供如何用好昇騰晶片的最佳實踐參考。它開源了預訓練、後訓練代碼與算子,等於把整套 建構技術開源,方便那些買了華為伺服器的大企業照著客製化。 [1, 6, 7] * ## 3. 民眾想用怎麼辦? 對於一般民眾或中小型開發者,有兩種折衷方案: * * 官方提供雲端體驗:華為將這款模型放上了其雲端的 MaaS(模型即服務)平台。一般人 如果想體驗,不需要下載模型到電腦,直接透過網頁或 API 呼叫雲端算力即可。 * 選擇輕量化的 Flash 版本:華為也同時推出了較小的 [openPangu-2.0-Flash 模型](htt ps://pandaily.com/huawei-openpangu-2.0-flash-open-source-jun2026),總參數為 92B (啟用參數 6B)。 雖然 92B 對一般電腦依然很吃力,但對於小型工作站或租用單張高階雲端顯卡來說,部署 難度已經大幅降低。 [1, 8] * 簡而言之,Kimi K3 的 2.8 兆(2.8T)參數需要依賴火山引擎等龐大的雲端叢林來推動; 而華為的 505B openPangu 雖然開源了,它也依然是個必須待在機房、吃滿企業級算力的「 巨獸」。 [3, 9] 如果您感興趣,我們可以繼續探討: * * 這種大模型使用的 MoE(混合專家架構) 是如何透過「部分喚醒」來降低計算負載的? * 如果要在有限預算的電腦上玩本機 AI,目前有哪些推薦的輕量級開源模型? * -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.213.154 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1785739334.A.212.html
error405: x.com/c/status/2083038742248612300 114.36.247.209 08/03 14:54
error405: 被国人嫌得要死耶 deepseek不好嗎 114.36.247.209 08/03 14:55