Re: R: [請益] 為什麼中國越來越強？

[squelch (小迷糊)]

※ 引述《afflic (afflic)》之銘言：
: 給一些覺得中國很爛的人看看市場現在在擔心些什麼
: 艦長J快訊  重要的突破要多寫一次
: 2025/1/31
: 總之，這幾天是一次很燒腦的過年假期，感覺比平常還要認真研讀資料，甚至大年初一晚
: 上還有大陸券商辦專家論壇..... 這個市場實在太捲。
: 當然，花了這些精神做功課，就是要研究一下開年後的投資動作，究竟是新春大特賣趕快
: 撿便宜、還是苗頭不太對腳底要抹油？很遺憾的，這幾天研究下來，個人目前對硬體的看
: 法越來越偏向後者，但相關的AI應用卻可能加速發展。
: DS的論文重點以及它在演算法上的突破，網路上已經有很多人分享，我就不再贅述；直接
: 講幾個觀察到的重點吧～
: 1. 還記得Apple為了推銷Apple Intelligence，將iPhone 全面升級到8GB以上嗎？這僅僅
: 是為了跑一個3B 參數的小模型而已。 現在，有人成功用一張 Nvidia RTX 6000 (48GB V
: RAM) 就可以跑動 DS 671bn 參數的大模型，而且這個模型還開源可以直接下載。
: 這代表什麼意思？以後企業或個人要佈建AI，可能買一台具有高階顯卡的電腦就做的到。
:  不用每個月花200USD訂閱OpenAI、不用CSP租賃昂貴的AI server & 網路..... 在地端
佈
: 署AI 變得簡單＆便宜許多。這兩天已經有看到朋友的公司開始研究把AI模型的佈建轉
為
: 在地端執行的可能性。
: 2 各大廠紛紛投入：短短幾天，可以看到微軟、AWS、NVIDIA 都開始提供DS R1 模型的服
: 務。由於對硬體的要求的確不高，百萬token 輸出的價格只要2.19美元（作為對比： Ope
: nAI的輸出價格爲60美元/百萬Token），價差接近30倍。
: NVIDIA 官方也有描述：在單個NVIDIA HGX H200系統上，完整版DeepSeek-R1 671B的處理
: 速度可達3,872 Token/秒。僅需一個系統就可以完整運作DS R1 大模型。就算企業依然需
: 要利用雲端來佈建AI，需要的系統＆價格也比之前簡化許多。
: 3 NV關鍵優勢不再？ 這兩年來，我們持續提到NV產品在大模型與高運算力方面的優勢，
: 包括記憶體的使用、NVlink多卡串聯、Scale-up/out 的領先等等；在探討下一代Rubin或
: 更後面的產品，討論的是一個機櫃做到NVL 144/288 、如何處理這麼大功耗的產品、系統
: 架構該如何演進等等；重點不僅僅是“教主產品做的比別人好”，而是“不用教主的產品
: 就根本無法訓練＆使用這些大的模型”。
: 忽然間，這個必要性被打了一個大問號。
: 進而延伸的問題：HBM、CoWoS等等原本為了在空間體積功耗等等限制下塞進最多算力的技
: 術，是不是仍然必要？還是有許多便宜的替代品可以用？
: BTW，很多人喜歡把政治問題扯進來。對我來說，探討DS本身到底用了多少卡有意義嗎？
: 沒有，重點是現在實際佈署R1的硬體需求就是極低；其次，它有沒有抄OpenAI? 應該有吧
: ～ 不過OpenAI 的 GPTBoT 在網路上不顧版權的到處亂抓資料也不是一兩天的事情了～
: 抓完還不開源勒。對投資而言，整個市場結構的變化，比這些枝微末節的小事重要多了。
: 投資總有風險，本人過去績效不做未來獲利之保證。最近詐騙猖獗，本人不收會員、不
用
: 追蹤、不騙流量、不需粉絲、更不必按讚分享開啟小鈴鐺。快訊僅供好友交流之用，如果
: 你與我看法不同，你肯定是對的千萬不要被我影響。

要分兩個部份來說

一個是
訓練出模型

一個是
使用模型

1.訓練出模型這件事，

模型資料庫的資料量可以預期的，

所消耗的算力也可以預期。

所以你買過多的算力是成本浪費，

產品成本上升，競爭力下降。

不是算力越多越好，這都是要花錢的。

自然會影響到GPU的銷量，

競爭者也會趁機想辦法拉近跟Nvidia 之間的距離



2.模型運作

實際上就只看卡的平行處理空間大小，

這個通常跟GPU上RAM成正比關係。

也不一定要Nvidia 的卡，

只要有配套的驅動程式你用ASIC做的也行。

大部分使用場景跟

GPU平行運算速度沒有很強烈的掛勾。

所以可以用在嵌入式裝置上面，

那硬體選擇就多了很多了。

Nvidia是靠高階硬體賺錢，低階的他沒有競爭力。

所以他賺不到這一塊。




簡單來說，

當你無法一家獨大，就需要面對競爭，

這時你的獲利空間就會被壓縮，

這是必然的結果。

-----
Sent from MeowPtt on my V2319


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.190.93 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738378235.A.5D5.html
→ SRNOB       : 超爽的 每周50次哪夠用 還沒有中間級距 CloseAi
→ jerrylin    : 訓練出的模型能不能用才重要
→ jerrylin    : chatGPT剛推出沒多久就被玩壞了
推 jerrylin    : 要到夠好  有人願意付費使用  這才會算成功
→ jerrylin    : 不然只是垃圾製造機
→ jerrylin    : 現在中國丟開源軟體出來的意思很簡單
→ jerrylin    : 希望免費版本有人幫他們做修改
→ jerrylin    : 跟以前的安卓還有unix系統一樣
推 godog       : 天才AI大臣會修改嗎?
→ j0588       : 美國媒體報導openai正在思考將chatgpt改成開源模式
→ j0588       : ，好戲真的一齣接一齣欸
推 CaTkinGG    : 開源讓全世界幫他改良 實現軟體民主化
推 newgo1776   : Linux開源了幾十年你還不是用windows?
→ squelch     : 我上班環境都Linux喔
→ squelch     : 伺服器是FreeBSD
推 newgo1776   : 嗯，所以呢？Linux使用人口佔Windows幾%
→ newgo1776   : 就算是當年當到要死的Win95大家還是寧願重開機，不
→ newgo1776   : 是重灌Linux
→ CCH2022     : 應該說希望開源大家集思廣益激盪出不同火花，這是
→ CCH2022     : 鑽研技術熱衷者的初衷。但拿到商業上來說每個人又
→ CCH2022     : 是不同想法。可以壟斷拿來賺錢的東西一定是越少人
→ CCH2022     : 有賺越多。
→ CCH2022     : 現在就像是當初安卓一樣各家都有各自OS平台，低階
→ CCH2022     : 手機可以用，高階手機可以用，普及率高，硬體就是
→ CCH2022     : 擴大需求。
推 k1k1832002  : 現在還有LPU之類的專門做推論不做訓練
→ Mytsb2421   : 高階算力需求降低，企業需求大爆發，爽到其他週邊
→ Mytsb2421   : 設備廠商。市場不再是NVDA、GG&海力士獨享了。
推 duriamon    : 嘴linux的是不知道伺服器、崁入式系統、手機全部都
→ duriamon    : 是linux嗎？無知的人真的是...笑死！
噓 cityhunter04: Open有免費的好嘛…還在200塊？
推 newgo1776   : 呵呵，全部都Linux的言論都出來，等下大概連Windows
→ newgo1776   : 內部都是Linux的言論也會出來了
噓 PureAnSimple: 空了嗎？賣了嗎？沒單在那邊講一堆  還判斷錯誤真好
→ PureAnSimple: 笑