看板 Gossiping 關於我們 聯絡資訊
https://x.com/QQ_Timmy/status/1885334159914393989?mx=2 艦長J快訊 重要的突破要多寫一次 2025/1/31 總之,這幾天是一次很燒腦的過年假期,感覺比平常還要認真研讀資料 。甚至大年初一晚上還有大陸券商辦專家論壇..... 這個市場實在太捲。 當然,花了這些精神做功課,就是要研究一下開年後的投資動作,究竟是新春大特賣趕快 撿便宜、還是苗頭不太對腳底要抹油?很遺憾的,這幾天研究下來,個人目前對硬體的看 法越來越偏向後者,但相關的AI應用卻可能加速發展。 DS的論文重點以及它在演算法上的突破,網路上已經有很多人分享,我就不再贅述;直接 講幾個觀察到的重點吧~ 1. 還記得Apple為了推銷Apple Intelligence,將iPhone 全面升級到8GB以上嗎?這僅僅 是為了跑一個3B 參數的小模型而已。 現在,有人成功用一張 Nvidia RTX 6000 (48GB VRAM) 就可以跑動 DS 671bn 參數的大模型,而且這個模型還開源可以直接下載。 這代表什麼意思?以後企業或個人要佈建AI,可能買一台具有高階顯卡的電腦就做的到。 不用每個月花200USD訂閱OpenAI、不用CSP租賃昂貴的AI server & 網路..... 在地端佈 署AI 變得簡單&便宜許多。這兩天已經有看到朋友的公司開始研究把AI模型的佈建轉為 在地端執行的可能性。 2 各大廠紛紛投入:短短幾天,可以看到微軟、AWS、NVIDIA 都開始提供DS R1 模型的服 務。由於對硬體的要求的確不高,百萬token 輸出的價格只要2.19美元(作為對比: OpenAI的輸出價格爲60美元/百萬Token),價差接近30倍。 NVIDIA 官方也有描述:在單個NVIDIA HGX H200系統上,完整版DeepSeek-R1 671B的處理 速度可達3,872 Token/秒。僅需一個系統就可以完整運作DS R1 大模型。就算企業依然需 要利用雲端來佈建AI,需要的系統&價格也比之前簡化許多。 3 NV關鍵優勢不再? 這兩年來,我們持續提到NV產品在大模型與高運算力方面的優勢, 包括記憶體的使用、NVlink多卡串聯、Scale-up/out 的領先等等;在探討下一代Rubin或 更後面的產品,討論的是一個機櫃做到NVL 144/288 、如何處理這麼大功耗的產品、系統 架構該如何演進等等;重點不僅僅是“教主產品做的比別人好”,而是“不用教主的產品 就根本無法訓練&使用這些大的模型”。 忽然間,這個必要性被打了一個大問號。 進而延伸的問題:HBM、CoWoS等等原本為了在空間體積功耗等等限制下塞進最多算力的技 術,是不是仍然必要?還是有許多便宜的替代品可以用? BTW,很多人喜歡把政治問題扯進來。對我來說,探討DS本身到底用了多少卡有意義嗎? 沒有,重點是現在實際佈署R1的硬體需求就是極低;其次,它有沒有抄OpenAI? 應該有吧 ~ 不過OpenAI 的 GPTBoT 在網路上不顧版權的到處亂抓資料也不是一兩天的事情了~ 抓完還不開源勒。對投資而言,研究整個市場結構的變化,比這些枝微末節的小事重要多 了。 投資總有風險,本人過去績效不做未來獲利之保證。最近詐騙猖獗,本人不收會員、不用 追蹤、不騙流量、不需粉絲、更不必按讚分享開啟小鈴鐺。快訊僅供好友交流之用,如果 你與我看法不同,你肯定是對的千萬不要被我影響。 === 當一堆人在炒DS抄襲 盜用 其實也用了五萬顆H100沒什麼了不起的時候 全球玩家已經有人試著把DS離線安裝在手機上測試 發現這東西真的可以大幅減少對硬體的需求 而且最可怕的是這東西還開放原始碼給大家使用 有人下載了671B到自己個人電腦建模 而這對市場整個行業的發展方向其實是很大的衝擊吧 有沒有這種開源給全球玩家去玩的八卦?? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.206.171 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1738395368.A.6AA.html
iLeyaSin365: 其實受到衝擊的可能是人力資源的影 223.141.174.82 02/01 15:48
iLeyaSin365: 響 223.141.174.82 02/01 15:48
wsdykssj: 典型又在瞎掰了 點英文網頁RTX6000跑的 123.252.19.17 02/01 16:17
wsdykssj: 是R1-70B q4 和完整模型完全不同東西 123.252.19.17 02/01 16:18
easonli000: chatgpt也有reason按鈕了 坐等降價 125.227.30.123 02/01 18:06
pttjoe: 新聞說 DS 已經在華為 GPU 上可以跑了 114.44.242.235 02/01 19:29
pttjoe: 新聞說 DS 已經在華為 GPU 上可以跑了 114.44.242.235 02/01 19:29
pttjoe: 新聞說 DS 已經在華為 GPU 上可以跑了 114.44.242.235 02/01 19:29
pttjoe: 未來根本不需要 NV GPU 了 114.44.242.235 02/01 19:29
greprep: 謝謝辛苦發認真文 114.44.195.23 02/01 20:54
windyyw: 671B到電腦的容量到底是多少?200g有沒 121.50.44.44 02/01 21:10
windyyw: 有? 121.50.44.44 02/01 21:10