› 看板 Stock 關於我們 聯絡資訊
作者Tox (被動收入存錢筒)
看板Stock
標題[新聞] 大模型Groq首秀引爆話題 自研LPU服務速度
時間Wed Feb 21 13:38:05 2024
原文標題： 大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU 原文連結： https://news.cnyes.com/news/id/5457929 發布時間： 2024-02-20 16:50 記者署名： 鉅亨網新聞中心 原文內容： ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提 示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它 在社群媒體造成轟動。 Groq 憑藉的武器是語言處理單元 (LPU)。 這項尖端技術的速度接近每秒 500 個 token 。 它為數位處理的速度和效率樹立了新的基準。LPU 能將延遲降至最低而脫穎而出，提 供了迄今為止聞所未聞的服務速度。 據報導，Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。 當面對大量運算需求時 ，傳統的處理架構往往無法滿足要求。 Groq 使用新的張量流處理器 (TPS) 架構來實現 LLM 運算。 憑藉其快速推理和降低功耗的承諾，TPS 和 LPU 有望改變處理資料的方式。 據 X 平台帳號 k_zer0s 發文表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料 傳輸，因為它們的系統中沒有 HBM。它們使用 SRAM，其速度比 GPU 使用的速度大約快 20 倍。由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能。與用於 推理任務的 Nvidia GPU 相比，它從外部記憶體讀取的資料更少，功耗也更少。 LPU 的運作方式與 GPU 不同。 它使用臨時指令集電腦架構，因此不必像 GPU 使用高頻 寬記憶體 (HBM) 那樣頻繁地從記憶體重新載入資料。 這有助於避免 HBM 短缺問題並降 低成本。 LPU 不像 GPU 需要超高速儲存。 Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工 智慧任務中取代 GPU。 Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq。該公司迅速確立了自 己在處理單元創新領域的領導者地位。 Ross 在人工智慧和處理技術方面的豐富背景推動 了 LPU 的發展。 Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色。 Ross 曾表示，「Groq 的存在是為了消除『富人和窮人』，並幫助人工智慧社群中的每個 人發展。 而推理是實現這一目標的關鍵，因為『速度』是將開發人員的想法轉化為商業 解決方案和改變生 APP 的關鍵」。 心得/評論： 如果真如報導所聲稱的那麼強, 那麼算力的要求就不需要那麼高? 成本可以大幅下降，對Nvidia是個挑戰 另外該技術似乎不需要大量HBM，對這半年HBM的概念股MU、海力士也是挑戰 -- 被動收入存錢筒~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.126.254.52 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1708493887.A.2D9.html
推 jecint1707 : 過客? 02/21 13:39
推 NexusPrime : 真的這麼強那GPU要退下了嗎？ 02/21 13:42
推 rxsmalllove : 觀望 02/21 13:44
→ BryceJames : 太棒了 NV殺手愈多 NV越漲 02/21 13:44
→ hbj1941 : 先聽聽再說，以前也有很多東西號稱強幾十倍，結果 02/21 13:45
→ hbj1941 : 都是假設 02/21 13:45
→ Tox : 不知道這公司講的是否真的那麼強,或是某些條件假設 02/21 13:46
推 emilchu98 : 所以這幾天NV跌這個? 02/21 13:47
推 a2007535 : Gemini 的 Demo都可以 不講重點 類造假了 02/21 13:47
→ a2007535 : 這種公司的也有可能只是來發個新聞 騙個投資的 02/21 13:47
推 a0902236817 : sram取代hbm 02/21 13:48
推 Homeparty : 吹 02/21 13:55
推 donkilu : 針對inference的加速器很多公司都有在做 02/21 13:56
→ donkilu : 但這種特化的解決方案也很容易跟不上日新月異的模型 02/21 13:58
推 renfro928 : https://i.imgur.com/GaRxzvs.jpg 02/21 14:05
→ imhan705 : 不用去猜跌啥 漲多回很正常的 02/21 14:05
推 Aska0520 : 這新聞應該還有後半段，Groq的綜合成本是NV的30多倍 02/21 14:05
→ Aska0520 : 要實際可以運行需要572張芯片 成本高達1144萬美元 02/21 14:06
→ Aska0520 : 相比之下，8張H100的系統在性能上與Groq系統相當 02/21 14:08
→ Aska0520 : 但硬件成本只要30萬美 02/21 14:08
噓 polypress : 呃 你要不要重看一次文章，再重寫一次心得 02/21 14:09
→ Aska0520 : 所以文章不能只看一半QQ 02/21 14:11
→ Altair : 原來CP值差太多... 02/21 14:12
→ bnn : 成本當然是以後量產才會降下來 現在30倍又怎樣 02/21 14:15
推 Transposon : 沒有像菇狗、軟軟的規模，錢燒完就入土了 02/21 14:15
噓 fedona : 推理使用... 02/21 14:15
推 KrisNYC : Cuda還比較萬用 TPS算是比較貴又功能單一的新解 02/21 14:21
→ KrisNYC : 是說你要繞過cuda幾十年的專利自己出一招真的很難 02/21 14:21
→ KrisNYC : 做到這樣已經真的很屌了 02/21 14:21
→ appledick : 感覺現在AI根本走錯方向了吧，去處理一些難度很高 02/21 14:22
→ appledick : 的模型運算或模擬才有意義吧，一直說文解字的到底三 02/21 14:22
→ appledick : 小 02/21 14:22
→ KrisNYC : 說文解字有市場性阿 現在AI已經真的很多人在訂閱 02/21 14:23
→ KrisNYC : 真的很多公司實打實的在收訂閱錢進來了 02/21 14:23
→ KrisNYC : chat gpt4免錢的去載來用英文跟他聊天看看 02/21 14:23
→ KrisNYC : 你會發現真的幾乎可以取代英文口說家教 而且你跟他 02/21 14:24
→ KrisNYC : 聊什麼他都可以回答你 50年前的星戰到最新的電影 02/21 14:24
→ KrisNYC : 昨天晚上的特定某廠足球比賽 他都可以跟你尬聊 02/21 14:24
→ KrisNYC : 你今天要去開一個會 你大綱寫寫 chat GPT4開起來 02/21 14:25
→ KrisNYC : 直接就是一篇你上場可以引用的資料全集 02/21 14:25
→ Alwen : 就網路上有人提出成本tco質疑 02/21 14:26
→ Alwen : groq在吞吐量方面被h100屌打 02/21 14:26
→ Alwen : 主要是groq的記憶體小到真的是廢到笑 02/21 14:27
→ appledick : 現在的AI大材小用，應該應用在一些難以突破的事情上 02/21 14:29
→ appledick : 才是 02/21 14:29
→ cccict : 因為語言是種時間序列資料跟圖片不同 02/21 14:29
→ appledick : 現在看起來的應用就是取代掉一些人原本也做的到的 02/21 14:30
→ appledick : 事，然後更快，就這樣 02/21 14:30
推 KrisNYC : 其實史丹佛大學已經用AI模擬出95種新的合金 02/21 14:45
→ KrisNYC : 小量測試有4x種大概率可行 未來的2~3年會很驚人 02/21 14:47
→ KrisNYC : 會出現全新的材料 人也能做到但是時間和金錢卡住的 02/21 14:48
→ KrisNYC : 這種單純試錯練蠱類型的研發 AI真的能降低百倍門檻 02/21 14:48
→ KrisNYC : 美國直接要掐斷大陸的AI 力道前所未有是有理由的 02/21 14:49
→ KrisNYC : 要知道飛機尤其客機的材料幾乎30~40年沒進步了 02/21 14:50
推 hcwang1126 : 用在新藥開發也是很可怕的速度 02/21 15:06
→ wayne790614 : 人們不會立即為難以做到的事情付錢，但會為了更輕 02/21 15:13
→ wayne790614 : 鬆更舒服付錢 02/21 15:13
→ wayne790614 : 現在的AI只能證明能力很強，但如果不能賺錢就會變 02/21 15:15
→ wayne790614 : 成泡沫 02/21 15:15
推 doranako : Groq是推論引擎，硬體成本高很多，只能在推論引擎 02/21 15:38
→ doranako : ，訓練模型還是用NV 02/21 15:38
→ doranako : 訓練用nv，推論groq，完美組合 02/21 15:38
推 CaTkinGG : 資訊速食的年代 只要AI幫我們整理個大概就能把資訊 02/21 16:00
→ CaTkinGG : 缺乏的人唬住 02/21 16:00
推 CaTkinGG : 以前去圖書館找資料的最後也是被上網找資料的效率 02/21 16:03
→ CaTkinGG : 打敗 02/21 16:03
推 KrisNYC : 同意樓上 我的小學時代 還有查百科全書比賽 02/21 16:06
→ KrisNYC : 中華大百科每間學校都要備幾套 現在幾乎等同廢物 02/21 16:06
推 nrxadsl : 現在紙本百科，有的新的還有附光碟版，但根本沒人去 02/21 16:17
→ nrxadsl : 會用 02/21 16:17
推 sheng76314 : 蠻神的 速度很快 而且不左膠 02/21 16:42
→ bulabowu : 好像很厲害? 02/21 16:48
推 bj45566 : 連大英百科全書都早就被 Google + Internet 打入冷 02/21 17:42
→ bj45566 : 宮了 02/21 17:42
推 bj45566 : 處理高難度的科學運算基本上是超級電腦的任務，AI 02/21 17:44
→ bj45566 : 是輔助 02/21 17:44
推 bj45566 : 在很多已經有「數學證明的最佳演算法」的大量複雜運 02/21 17:55
→ bj45566 : 算，丟給 AI 只是純然浪費時間 -- AI 再強也無法超 02/21 17:55
→ bj45566 : 越數學，除非你認知的 AI 是靈媒甚至上帝 02/21 17:55
推 KrisNYC : 你換個角度去想吧 這些數學都證實能做但太花時間 02/21 17:56
→ KrisNYC : 比如說一個實證要一個團隊跑5年 成功率7%的東西 02/21 17:56
→ KrisNYC : 過往錢不夠 人不願意投資 做不出來 AI進來以後 02/21 17:57
→ KrisNYC : 5年 同團隊可以跑500次 理論上會成功35件 02/21 17:57
→ KrisNYC : 不能投資的東西突然通通可以投資了 這就是AI的魅力 02/21 17:57
→ KrisNYC : 我說的新合金比例試錯就是一個例子 你可以想想 02/21 17:58
→ KrisNYC : cyber trunk 捨棄了傳統的車架+板金結構 研發了幾年 02/21 17:59
→ KrisNYC : 才找到兼顧可量產購強度可以使用的那個造型 02/21 17:59
→ KrisNYC : 以後要研發這種造型5年本來只能出一個 變成能出50個 02/21 18:00
→ KrisNYC : 現有的車子要模組底盤和鋼架的基本邏輯直接推翻了 02/21 18:00
推 CaTkinGG : 百科+光碟 真的是時代的眼淚大合體 02/21 18:20
推 bj45566 : 你沒讀懂我的意思或你不是很瞭解 CS -- 我講的是「 02/21 19:32
→ bj45566 : 已有數學證明是最佳演算法」的大量運算，像是 sorti 02/21 19:32
→ bj45566 : ng, shortest path,... 那些計算 AI 沒有插手的空 02/21 19:33
→ bj45566 : 間，量子電腦反而可能有，總之和你講的東西非常不同 02/21 19:33