推 arthur52 : 可以避開使用CUDA，NV就不再獨大 02/02 22:39
推 Rattlesnake : 快買a股 02/02 22:44
推 bj45566 : 現今的 compiler 最佳化技術太強大，在很多系統上寫 02/02 22:44
→ bj45566 : C 語言執行效率未必會輸給寫組合語言 02/02 22:44
簡單程式可能效率相當，但稍微複雜點，人力就很難分析驗證整個流程
加上組語/機器語言可以控制更底層的元件，特定情況下會存在更高效率方法
推 jacknavarra : 推 02/02 22:44
推 psee : PTX是CUDA到機械碼之間的中介碼 不可能繞開 02/02 22:45
→ goodjop : 真的快笑死 都是NV的東西 要怎麼避? PTT水準的是... 02/02 22:47
推 hpk89 : 存疑，低階語言很有效率沒錯，但系統大到一定程度 02/02 22:47
→ hpk89 : 後很難維護/除錯，你用機器語言寫的出windows 11? 02/02 22:47
→ hpk89 : 我個人覺得不可能，ds若真的效率比其他model好， 02/02 22:47
→ hpk89 : 應該是算法有進化，不會是用低階語言寫導致的 02/02 22:47
拿Windows來比太誇張，或許再過30年有機會吧
事實上現有LLM的架構很單純，一張圖就能表示清楚
只是運算的數量級巨大無比，所以特別適合追求極端的最佳化
推 duriamon : 架構才是重點 02/02 22:49
推 haunt11 : 專業推 02/02 22:49
※ 編輯: dansy (114.41.64.92 臺灣), 02/02/2025 22:59:53
推 AudiA4Avant : 我記得是用ptx繞過nvlink的限制,但換不同型號就要 02/02 22:52
→ AudiA4Avant : 重寫 02/02 22:52
推 jiansu : 最佳化不是全部底層優化 是瓶頸用底層加速 會用pt 02/02 22:52
→ jiansu : x 表示掌握底層 換別的硬體架構也只是需要時間而已 02/02 22:52
→ jiansu : cuda ptx不是重點了 是他有離開nv生態圈的能力 另 02/02 22:52
→ jiansu : 外不要只關注DeepSeek 模型OpenAI 新模型出來了 用 02/02 22:52
→ jiansu : 戶使用成本也變低了 整個ai用戶成本降價時代來臨 02/02 22:52
推 AdamHuangNew: 不懂裝懂 02/02 22:53
推 jacknavarra : 並不是說DS已完全脫離CUDA 但有機會突破護城河 02/02 22:53
→ jacknavarra : 他開源給大家摸索, 未來會怎麼發展起來都不好說 02/02 22:54
→ goodjop : 等有辦法不用NV的產品 做出一樣的東西再說 02/02 22:55
推 bj45566 : (純討論程式語言)回樓上：其實在桌電、筆電這種或以 02/02 22:57
→ bj45566 : 上複雜的環境，人們投入很多精力在改良 C/C++ compi 02/02 22:57
→ bj45566 : ler，所以用 C/C++ 就很夠了(Windows 11 是用 C++ 02/02 22:57
→ bj45566 : 寫的, Linux 是用 C 寫的) -- 最多就是在少數特定 02/02 22:57
→ bj45566 : 地方夾進一段組合語言 02/02 22:57
→ kensmile : 使用中階GPU，就能產出高效 02/02 22:58
→ kensmile : 這點就是優勢 02/02 22:58
→ goodjop : 我知道你的意思 連AMD都沒辦法克服效能衰退問題 02/02 22:59
→ goodjop : 中國能? AMD還有微軟出錢出人 02/02 23:00
推 bj45566 : 有人應該蠻誤解原 po 的意思 wwww 02/02 23:01
→ goodjop : 用NV低階程式語言做出 較不穩定的ANI要怎麼繞過NV? 02/02 23:04
→ goodjop : 你解釋看看 我哪裡誤解? 02/02 23:04
→ kensmile : 架構的極致優化和算力需求的精簡，就是Ai的精髓 02/02 23:04
→ kensmile : DS做到了 02/02 23:04
→ kensmile : 讓業界廣泛使用 02/02 23:06
→ b9513227 : 門外漢以為寫程式是電影敲鍵盤亂按喔 02/02 23:06
→ kensmile : 事實上也是爭相採用 02/02 23:06
推 bj45566 : AMD 在做的事和 DS 在做的事情又不一樣 =.= 02/02 23:07
→ kensmile : 台灣軟體界的看法，褒貶不一，但台灣自己搞不出來 02/02 23:07
→ goodjop : 我只是舉例AMD+微軟都無法取代NV的意思 02/02 23:09
→ goodjop : 除非 AMD+微軟做出自己的平台 02/02 23:10
→ kensmile : openAi準確率也不是100%，DS準確率較低，只要繼續優 02/02 23:11
→ kensmile : 化 02/02 23:11
推 bj45566 : 微軟在做的事和 DS 在做的事又不一樣 =.= 02/02 23:12
→ kensmile : 拉高準確率，小而美就是市場主流 02/02 23:12
→ bj45566 : 微軟自己沒什麼在搞 LLM 02/02 23:13
→ goodjop : 你自己去找資料吧 02/02 23:15
推 bj45566 : 微軟主要合作的 LLM 公司都是用 NV 的硬體架構，含 02/02 23:16
→ bj45566 : NVLink 和 NV 認證的 HBM 02/02 23:16
→ bj45566 : 微軟和 NV 根本不是競爭對手的關係 02/02 23:16
推 neo5277 : 樓上正解 微軟大概只能算算力掮客 02/02 23:21
→ bnn : PTX優化是其中一項 但DS還做了其他事情 兩件以上 02/02 23:22
推 Virness : 一樓完全誤解 PTX只是自己寫cuda 02/02 23:23
推 slothman : 不是都是NV架構嗎 要拿什麼繞 你當撐竿跳喔 02/02 23:48
→ followwar : 傻眼..PTX是NV跨架構的膠水語言哪有啥繞過NV== 02/02 23:53
推 ilovebig99 : 難怪open AI會說自己站錯邊，開源真的很猛 02/03 00:31
推 Brioni : 不是繞過，而是研究NV架構比其他家透徹 02/03 01:11
→ Brioni : 從開發框架到主要架構都有一定掌握 02/03 01:12
推 ndilavril : 現在怕的是萬一用低階GPU就可以達到OPEN AI 02/03 03:04
→ ndilavril : 高階顯卡會有賣不掉的疑慮 02/03 03:04
噓 bhmagic : 疊帶 習大大你字打錯了 02/03 06:06
噓 mdkn35 : 迭代吧？ 樓上是習大大的秘書？ 02/03 07:43
推 guanting886 : 這個就跟某些廠商拼時間魔改java把某些拿掉執行速 02/03 08:27
→ guanting886 : 度一樣 但後面新的語言足以做到ex: Rust 公司團隊 02/03 08:27
→ guanting886 : 就重新改寫切過去了 不可能再折磨自己用魔改版本維 02/03 08:27
→ guanting886 : 護系統 02/03 08:27
→ guanting886 : 用PTX寫這些東西 不要CUDA自己干涉 由自己決定所有 02/03 08:29
→ guanting886 : 事 這個要考慮團隊經營跟當時時空的環境有什麼條件 02/03 08:29
→ guanting886 : 你往更低階的寫所有條件會更難維護或非常考驗的開 02/03 08:31
→ guanting886 : 發團隊的經驗 但真的會變得更窄 02/03 08:31
→ guanting886 : 團隊成員拿翹你就知道問題會變成什麼樣 02/03 08:31
→ guanting886 : 我相信r1能如此成 PTX不會是最大功勞 02/03 08:33