Re: [新聞] 博通報喜 ASIC台廠有看頭

[pacino (掃地僧)]

ASIC 應該是主要用在inference.
Inferrence晶片的複雜度沒像training 晶片那麼高。

NVDA在資料中心的霸主地位，目前還沒有看到威脅。
Device端的推論, 競爭者有幾家, 最後就是殺價競爭。

結論: Strong 拜 NVDA

chatgpt的分析如下：

Inference（推論）和 Training（訓練）在深度學習中的晶片設計存在一些顯著差異，主要是由於兩者的計算需求和工作負載特性不同。以下是它們的關鍵差異：

1. 計算類型需求

                Training:
                訓練需要執行大規模的矩陣運算（如前向傳播、反向傳播和梯度更新），這涉及到大量的浮點數運算（特別是 32-bit 或 16-bit 浮點數）。
                訓練需要支持高精度和高吞吐量的運算，以保證模型的學習效果。
                Inference:
                推論通常關注延遲（latency）和能效（power efficiency），需要更快但稍微低精度的運算（如 INT8 或 BF16）。
                計算需求相對較少，更多依賴優化的推論加速和模型壓縮技術。

2. 記憶體需求

                Training:
                訓練時需要存儲和操作巨大的參數矩陣、中間激活值和梯度。
                需要非常高的記憶體頻寬和容量來支持多層模型的並行運算。
                Inference:
                推論只需要讀取已訓練好的模型參數和執行前向傳播，所需記憶體更少。
                記憶體頻寬需求較低，但對於較大的模型可能仍需優化記憶體訪問。

3. 架構設計

                Training:
                訓練晶片（如 NVIDIA A100、H100，TPU v4）通常設計為通用型，支持多種運算需求（矩陣計算、高精度浮點運算等）。
                晶片內有更多的計算單元（如 Tensor Core 或 Matrix Processing Units）和更大的記憶體（如 HBM）。
                Inference:
                推論晶片（如 NVIDIA T4、Jetson Orin，TPU Edge）通常針對低功耗和實時性進行優化。
                設計更專注於 INT8 或類似格式的低精度運算，加速特定操作如卷積和激活函數。

4. 功耗和散熱

                Training:
                訓練晶片通常功耗較高，因為需要處理高吞吐量的計算任務。
                設備多部署於資料中心，配備強大的散熱和供電系統。
                Inference:
                推論晶片針對能效進行優化，功耗較低（特別是在邊緣設備上）。
                更適合嵌入式或移動設備環境。

5. 部署場景

                Training:
                通常在大型資料中心或超算設施中運行，依賴分布式系統進行大規模運算。
                Inference:
                部署在多種場景，包括資料中心（如雲服務）、邊緣設備（如手機、IoT 裝置）、自駕車系統等。

總結

                Training 晶片 強調高效的並行計算、精度和記憶體帶寬，適用於離線的高強度模型訓練。
                Inference 晶片 更關注延遲和能效，專為實時或低功耗環境設計。

因此，廠商通常針對這兩類需求分別開發晶片，以滿足不同場景的需求。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.89.67 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1734308718.A.184.html
推 beagle2001  : NVDA 不曉得何時要發動
推 ohsexygirl  : 有沒有機會130啊，摩拳擦掌
推 xm3u4vmp6   : 感覺NV需要一個假跌破 灌下去 或是下次財報
推 sdbb        : 99nvdl
→ pacino      : 目前鐵底大概是120，130有點機會。
推 ImHoluCan   : 巨頭都是第一個月跌，第二第三個月漲
→ ImHoluCan   : 看似Nvidia 不行了，然後做空結果被拉爆，每次破位
→ ImHoluCan   : 就ㄧ堆人搶