[閒聊] 8600G stable diffusion (directml, ROCM)

[egnaro123 (原po是大叔)]

對案文,

https://m.163.com/dy/article/IPQBQBIS0531TUDO.html
https://zhuanlan.zhihu.com/p/680776182


可開16G,生成512x512,linux ROCM比windows directml快,
(第二個URL是建議應使用ROCM)

小玩stable diffusion的人,可以試試,

看來個人生成式,AMD CP值應很高,

apple應該是也走個人生成式

那種撒錢式的server GPU,就讓那些創投或國家經費的人去玩吧

---------

第二個URL有個數字

實測結果，8600G 的核芯顯示卡 Radeon 740m 三次平均用時為 60.9 秒。
13400 的核芯顯卡 UHD 730 平均用時時間為 368.3 秒。
所以實測 8600G 核顯的 AI 繪畫性能是 13400 核顯的 6 倍。這也是 Ryzen AI NPU 帶來的效能提升！

結論

8600G 的出現，讓低階顯示卡的門檻巨大幅度拉升，也讓 intel 有集顯的 CPU 成了時代的眼淚。

----

i廠在個人市場越來越不吃香
補充:
補了下intel新的筆記用cpu,有內建NPU,但找不到用stable diffusion生圖的數字比對,
(再補,目前選購不用特別選有無NPU,還沒有大量應用,好不好用也不知道)
intel在virtualization仍有很大優勢,這塊很吃網路卡功能及穩定性

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.107.121 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1709471311.A.BDF.html
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 21:11:09
推 kaorucyc: 價差不大 大家也不會選F吧
推 fu1vu03: 16G是bios 最高設定嗎
→ Depthsharky: 現在就看8系的散熱膏時間久了會有影
→ Depthsharky: 響?
→ scarbywind: 你要小玩不如去試試網路上提供的..
幾乎都是付費或卡次數
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 21:20:17
推 oppoR20: 反正個人市場小成這樣 i皇也不怕
就牛步,大家都知道生成式AI的趨勢,
intel這幾年真不知做了那些研發,相比amd快速
amd在個人使用上,virtualization我不放心使用rtk網路卡,esxi也沒rtk driver
bcm又不想做消費市場
補上好的網路卡,就很不錯了,mtk wifi和amd有合作
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 21:25:11
→ oppoR20: Intel未來趨勢是靠NPU吧
→ tomsawyer: intel one系列sdk跟mpi很猛
→ mayolane: 拿8600G打13400會不會有點欺負人
→ mayolane: 拿個135H比才對吧
推 kaj1983: mtk的wifi網卡評價現在變好了嗎？
推 james725twtw: 指RZ616嗎
→ narukaza: 說到MTK，他們最近的進步幅度，連高通
→ narukaza: 都瑟瑟發抖(?
推 kaj1983: 是往好的發抖還是...
→ narukaza: 4+4+0打爆高通1+5+2架構(超大核、大核
→ narukaza: 、小核)，而且能耗比還更高...高通都嚇
→ narukaza: 尿了
推 IPhoneXVI: Intel不是有OneAPI?
推 SHR4587: Stable diffusion看測試應該是RDNA3發威
→ SHR4587: 而不是NPU吧 ?
→ SHR4587: PC上的NPU目前不知道能尬麻就是了
生成式ai,8600g/8700g有NPU,合理推測應是有NPU加持
PC的NPU有用,不想出$的個人還是很多,手機的NPU就真不知做什麼了
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 22:07:47
推 kira925: PC上的NPU是讓你執行變快 不是訓練
推 james725twtw: 手機的也一樣啊，三星也有生成式的
→ james725twtw: 手機應用
→ james725twtw: PC上的主要是為了Copilot吧
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 22:20:08
→ scarbywind: 這種ST你也跑不了訓練
→ scarbywind: 手機npu比pc還久吧 修照相圖跟語音助
→ scarbywind: 理
→ scarbywind: 一分鐘才能算一張圖的水準你還要跑訓
→ scarbywind: 練
→ NoneWolf: 有NPU=就能用=會變快 這邏輯呵呵
推 qwe753951: ROCM就是用內顯跑，XDNA的驅動還沒好
→ qwe753951: 異構運算超難寫，這NPU加進去是變快變
→ qwe753951: 慢還不好說呢
google是有release了
https://news.ycombinator.com/item?id=39137502
不是ai業界內,但在做IC時,一定會針對指令/API做驗證,不至於會無用
當然多年前島內,3D減速卡的笑話,那更多是商業操作
不過google查尋下,這領先看來是以GPU為主,
NPU的用法應大家還在尋找,猜測可能是突然工作簡易的工作協助CPU方向
大語言那些看來還是GPU好用
推 johnpisces2: 這不錯阿 這樣搭個48G*4的消費級顯
→ johnpisces2: 存，特定應用可以啊
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 22:43:17
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 22:52:05
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 22:54:50
推 tsubasawolfy: Intel內顯要玩sd要等桌面版用arc架
→ tsubasawolfy: 構的。因為Arc獨顯現在用IPEX跑還
→ tsubasawolfy: 比AMD的卡快。
→ god145145: AMD AI等7月底才知道有什麼好應用
推 kkcity59: 一分鐘才出一張512x512...而且是SD 1.5
→ kkcity59: 如果用上SDXL+Controlnet幾乎就沒可用性
→ kkcity59: 我覺得起碼要有一定效率才有玩的動力
大概就做投影片時,做插圖時不想花大腦,不是專家想有插圖時,
不是那麼在意生成的圖片,又不想花錢的人,
很有市場的,但那是在個人生成式,
雲端也會有,但這種是專家才需要,都是專家了,AI不AI也沒那麼重要,
對我來說$$$$很重要,個人式就夠了
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/03/2024 23:51:24
推 kkcity59: 如果是這樣上網一堆生圖的網站快得多
→ kkcity59: 幾乎都有每日十幾張的免費生成數量
推 chang1248w: 新世代文書機？
→ kkcity59: 要自己生圖的目的是作"精確的控制"
→ kkcity59: 要做的這一點反覆的生成是必須的
→ kkcity59: 如果只是玩一玩就用網站免費的
→ kkcity59: 一分鐘一張SD 1.5的512x512真的沒實用性
→ gbcg9725: 免費的玩玩bing 很夠了
→ kkcity59: 如果要出一張SDXL 1024+Highres插件
→ kkcity59: 大概就要十分鐘囉
→ kkcity59: 如果要加上些Controlnet控制
→ kkcity59: 一小時都不見得出得出來幾張圖
那個太專業,要設定太多,多數使用者是想簡單快樂過日子,要他們花錢買4090更不可能
多數人工作重點在別的地方,與其花時間不如,多些時間追劇上網
啾啾鞋也分析過,傷害最大的就初級創意工作者,因為需要這些素材的人
會直接用AI生成,當然想好一點的就直接雲端了,也到專家那層次,這些會讓他們更有生產力
平凡如大眾,可用就夠了
※ 編輯: egnaro123 (111.240.107.121 臺灣), 03/04/2024 01:02:48
推 kkcity59: 這樣說光架設出Stable Diffusion平台
→ kkcity59: 就根本不是一般人會去幹的事情吧
→ kkcity59: git,python,加上webui或者forge交互頁面
→ kkcity59: 這樣的預設前提本身就太奇怪了
→ kkcity59: 花費一大番功夫幾十GB空間後用8600G開算
→ kkcity59: 然後要算出像是copolit那樣精美的圖片
→ kkcity59: 一張大概要二十分鐘吧
→ kkcity59: 等候二十分鐘不見得還是你想要的結果
推 oopFoo: AMD的NPU根本都還沒有支援，DirectML目前
→ oopFoo: 只支援intel的，AMD的還在開發中。ROCM的
→ oopFoo: roadmap也還沒看到npu的支援。
→ oopFoo: 最新消息是，win11的工作管理員可以看到
→ oopFoo: AMD的NPU了，總算是開始了。到底什麼時候
→ oopFoo: 可以用？AMD到現在還沒給個說法。
→ oopFoo: https://reurl.cc/979rDX
→ oopFoo: Intel的NPU現在可以在Pytorch玩了。ARC也
→ oopFoo: 支援Pytorch沒多久，NPU就支援上了。NPU
→ oopFoo: team的效率實在很高，不過也是NPU架構非常
→ oopFoo: 簡單。
推 oopFoo: 目前npu只是功耗佳。igpu的效能還是贏。
推 SHR4587: 手機上的AI功能一堆都要連網，那NPU到底
→ SHR4587: 有洨用我很懷疑，桌面端目前看起來GPU還
→ SHR4587: 是比較強……
推 as920909: CPU生圖速度現在部分筆電評測都會做
推 tsubasawolfy: 要吐槽的點大概就是為何AMD特別用
→ tsubasawolfy: ROCM, 但Intel沒用OpenVINO。今年
→ tsubasawolfy: 十月Intel會推出原生支援PyTorch
→ tsubasawolfy: 的東西,到時候連IPEX都省了。另外
→ tsubasawolfy: 我覺得這類型的運用應該是在windo
→ tsubasawolfy: ws輔助的AI層面。你說的那種小需求
→ tsubasawolfy: 沒必要先去讀天書自己裝一堆有的沒
→ tsubasawolfy: 的。
推 oopFoo: npu當初設定根本沒考慮sd，gpt的運用，這
→ oopFoo: 兩年gen AI大爆發是沒料到的事。npu的性能
→ oopFoo: 目前是不足的，等二代或三代，或AI優化到
→ oopFoo: 位為止。現在錢滾進AI，AI優化應該是有機
→ oopFoo: 會大躍進。npu目前真只是玩具而已。
推 hzaxcp386: 要玩SD還是得乖乖買NV的卡，沒辦法產
→ hzaxcp386: 圖速度差太多，手上有3050 laptop 跟
→ hzaxcp386: RX570就差很多，directml 跟CUDA效率
→ hzaxcp386: 還是差太多
推 annboy: Stable diffusion 訓練也是8卡起跳
→ annboy: PC基本上就只能推論跑圖
推 tcchu: npu用在自駕比較多啊 但算力還是在中低端
→ tcchu: 短期內應該做不到L3
推 donnyyy: 訓練不是從零開始是拿現成模型來train
→ donnyyy: 素材選的好甚至二三十張圖就有效果
→ donnyyy: 很多人就是用3060之類來train自己的模型
→ as920909: 那個叫做fine-tune
推 abc5555990:  8600G差不多多久會降價0.0?