推 joygo : 就沒知名度不知道原來別人承受那麼多token 02/07 23:42
推 junior020486: 硬體還是需要吧 02/07 23:43
推 Eshia : 你還是按部就班一步一步來吧..先多買些GPU好嗎 02/07 23:43
→ onekoni : 買越多省越多 貴不是問題 02/07 23:44
推 jumilin927 : 沒事 任務已完成 02/07 23:45
推 ssarc : 你還是要買輝達和台積電的,那何不~ 02/07 23:45
推 AGODC : 算法再優化,當一堆人用時還是需要巨量的算力… 02/07 23:45
→ fitenessboyz: 硬體本來就是需要的,不然我們都拿哀鳳1就好 02/07 23:46
推 paericsson : 哈哈哈哈哈 02/07 23:47
→ z23061542 : 中芯在生產了 等一下 02/07 23:47
→ sheep2009 : 看起infra 不然沒辦法營利 之前根本亂殺... 02/07 23:49
推 leotompp : 有錢買GB200了 這下要嘎到多少 02/07 23:49
推 weiren6 : 硬體還是要買阿 當別人花那麼多資本資出是怎樣 02/07 23:49
推 almanch : 橫空出世讓空方都賺多少了 .. 02/07 23:49
→ sheep2009 : 看起來很需要infra.. 02/07 23:49
推 ssarc : 鏟子股準備好了 02/07 23:50
推 JingPingKing: 笑死 02/07 23:51
推 fantasyscure: 笑死 市場又錯殺硬體了 一堆傻逼 02/07 23:54
推 moike22 : 老黃:錢拿來 02/07 23:54
推 cosmite : 缺算力吼 02/07 23:55
推 rbull : 又要軍備競賽了 02/07 23:55
推 nakayamayyt : 誰再說不用老黃的卡44看 02/07 23:56
推 strlen : 再來看看哪個低能在吠算力過剩 02/07 23:56
推 godog : 大紀元 02/07 23:56
→ EstelleRinz : 缺算力了吼 找中芯要要看??? 02/07 23:56
推 jeangodard : GPU不夠用了 02/07 23:59
推 jei01 : 真的是大紀元耶!那保留一下 02/08 00:00
推 necrophagist: 真的很爛 一直都是忙線中 沒蒜粒還敢收錢啊 02/08 00:00
→ Gallardo : 大紀元看法居然跟哲哲一樣喊缺算力 要噴了 02/08 00:01
→ GilGalad : su22配大紀元 最熟悉的配方 = = 02/08 00:02
推 sheep2009 : 輝達聲明:DeepSeek未來需要更多輝達晶片 根本送分 02/08 00:02
→ orangesabc : 樓上嘴收錢的你是充多少 02/08 00:06
推 silentence : 效率再好也禁不起流量擠兌www 02/08 00:08
推 AndyMAX : 等哪天中國黃牛不搶5090 才會相信算力過剩 02/08 00:08
→ silentence : 等壓力測試完再說 02/08 00:09
推 DA3921999 : 終究是要買伺服器 02/08 00:09
推 fuhoho : 老黃在對你招手 02/08 00:09
→ kausan : 蒜力過剩的真的很搞笑 把年假恐慌仔一個個抓出來鞭 02/08 00:10
推 koll : 一堆在那邊算力過剩,下去領5毛 02/08 00:15
推 onekoni : 老黃就說過了 別牌0元送還是比他貴w 02/08 00:19
推 sasewill : 笑死人的算力過剩 02/08 00:24
→ CCH2022 : DS現在才幾百萬流量在使用,CHATGPT都上千萬使用。 02/08 00:25
→ CCH2022 : 那以後上億哪能撐得住。普及化一定要擴大硬體建設 02/08 00:25
→ CCH2022 : ,這是很長很長的趨勢。 02/08 00:25
推 bitcch : 早說了 大家都能用就是硬體更缺 02/08 00:26
→ suckkorea : 笑死 02/08 00:28
推 loopdiuretic: 過譽了 吹不起來了嗎 02/08 00:31
噓 jay401401 : 超卡 垃圾 02/08 00:48
推 asidy : 笑死 02/08 00:51
推 ImHoluCan : 笑死說伺服器GPU不用那麼多,結果隨便ㄧ些人用ㄧ下 02/08 00:58
→ ImHoluCan : 直接癱瘓伺服器,那伺服器硬體是誰在賣? Nvidia! 02/08 00:58
→ ImHoluCan : 多人用當然你少量的GPU可以撐起來,但不小心多人用 02/08 00:59
→ ImHoluCan : 呢? 02/08 00:59
→ ImHoluCan : 繞來繞去還不是硬體要買 02/08 01:00
→ ImHoluCan : 到底哪個弱智說硬體夠了? 02/08 01:01
噓 phoenixtwo : 再吹啊 說好的降低成本呢 02/08 01:04
推 knifeking : 老黃:你硬體夠嗎? 02/08 01:08
推 ImHoluCan : 然後有人說什麼你可以用你顯卡跑啊,靠繞來繞去還 02/08 01:19
→ ImHoluCan : 不是你自己要買顯卡,啊顯卡誰在賣? 老黃Nvidia! 02/08 01:19
噓 tangolosss : 支牆粉蛆說的算力過剩 XDDDDDDDDDD 02/08 01:21
→ ImHoluCan : 人同時用會搶GPU算力 02/08 01:26
→ netsphere : the more you buy, the more you save ; ) 02/08 01:39
→ WSY000000000: 就是要老黃的GG啊!想太多。 02/08 01:54
推 micotosai : 中芯連華為新產品都無法供貨了 02/08 02:01
推 micotosai : 完全跟華為手機一樣軟体用抄的半導體偷進 02/08 02:03
→ hsu0612 : 每次都看到一堆新聞精神錯亂的 一下說很爛沒人用有 02/08 02:07
→ hsu0612 : 資安疑慮 一下又說用量很大 到底想怎樣 02/08 02:07
→ TheBeast : 就單純Server不夠 跟ai算力啥關係 02/08 02:16
→ TheBeast : 倒是infra得imporve一下 流量處理應該不是問題 02/08 02:17
推 kendiv : 怕被人蒸餾是吧? 02/08 02:37
推 NEWinx : 終究是要跟老黃下跪買鏟子,但是川川肯定官 02/08 02:40
推 ImHoluCan : 可是某樓,deepseek 都說多人同時用會去搶GPU算力 02/08 02:57
推 jiansu : 推論其實還好 名氣太大 人太多 要用api可以找百度 02/08 03:14
→ jiansu : 官方5折而已 開發模型沒必要用官方的 找第三方 02/08 03:14
推 r40491101 : 就典型算力不夠分才會算那麼久……server只是打api 02/08 03:20
→ r40491101 : 過去而已,沒啥loading,要提升也很容易吧…… 02/08 03:20
推 obody : server不用ai算力用啥 文組就別出來丟臉了 02/08 04:40
推 alphish : 又害怕又緊張 02/08 04:57
→ TheBeast : end user用他的api去call service縱使會吃蒜粒 02/08 04:59
→ TheBeast : 也不至於會讓服務停擺好ㄇ 感覺更多是scaling問題 02/08 05:03
→ TheBeast : 當然我也有可能錯 畢竟可能有千萬筆request併發 02/08 05:04
→ b9513227 : 高能兒以為查詢不用算力喔 02/08 05:22
→ camp0102 : 什麼白癡公司 02/08 06:01
推 slimak : 終究要買鏟子? 02/08 06:06
推 eric61446 : 金鏟子最後還是正解 02/08 06:31
推 asirk124 : 現在才多少人用,如果未來全球有幾十億人用,硬體 02/08 08:16
→ asirk124 : 怎麼可能夠用 02/08 08:16
→ Leo4891 : server裡面就是裝gpu啊. server不夠=算力不夠 02/08 08:32
→ zerro7 : 只好加購鏟子了 02/08 08:36
推 mopa : 之前大家忽略了推論(100×1)比訓練更需要算力(1 02/08 08:48
→ mopa : ×1億)。 02/08 08:48
→ ben1013 : 笑死 02/08 08:49
推 mopa : 推論(1×1億)比訓練更需要算力(1000*1) 02/08 08:54
推 lakershank : NV笑而不語 02/08 09:11
推 darkangel119: 直接被塞爛 02/08 09:22
噓 cityhunter04: 哈哈!不是說不需要硬體的協助?NV又要噴了! 02/08 09:22
推 andy79323 : 再吹啊 02/08 09:34
推 EasyVinus : 廢到笑 02/08 10:34
推 g10 : 不是說被網路攻擊 原來是資源不足 02/08 10:37
推 sturme : 終究還是要買硬體的 02/08 11:11
推 richaad : 說跟算力沒關係的,真的你是理工科的話,該回去找你 02/08 11:45
→ richaad : 老師鞠躬道歉,如果是文組的,去讀科技業人文歷史就 02/08 11:45
→ richaad : 好,算力什麼的,你看不懂 02/08 11:45
推 iopzu3lv0 : 硬體電費終歸還是要錢 02/08 12:36
推 richaad : 訓練 vs. 推理:GPU 的實際分配現狀 02/08 14:20
→ richaad : 以 META 為例,其 40 萬顆 GPU 中,僅 1.6 萬顆專 02/08 14:20
→ richaad : 用於訓練 Llama 模型,其餘則用於應用與服務。類似 02/08 14:20
→ richaad : 地,OpenAI 目前擁有 10 萬顆 GPU,其中大部分用於 02/08 14:20
→ richaad : 支持 ChatGPT 服務,而真正參與訓練的 GPU 可能不 02/08 14:20
→ richaad : 到 1 萬顆。 02/08 14:20
→ richaad : 假設目前訓練所佔的 GPU 比例為 10%,並在未來縮減 02/08 14:20
→ richaad : 90%,但隨著推理應用需求持續上升,以及應用場景大 02/08 14:20
→ richaad : 規模部署,預計 2027 年底以前,推理與服務端的 GPU 02/08 14:20
→ richaad : 需求將增長 20 倍。這意味著總 GPU 需求將達到今 02/08 14:20
→ richaad : 日的 18 倍。 02/08 14:20
推 richaad : 上述摘錄於-史丹佛電腦科學張智威教授 02/08 14:22
推 citymax : 沒那屁股就別吃那瀉藥 02/08 14:46
推 sin31429 : 神化撐不過一星期 02/08 15:04
推 c7683fh6 : 你終究是要買鏟子的 02/08 20:51