Re: [閒聊] 欸不是，買個顯卡還要買驅動= =

[liweilee (簡單男人)]

※ 引述《AKSN74 (AKS-74n)》之銘言：
: ※ 引述《MACROSS2K (MACROSS2K)》之銘言：
: : 由於proxmox不是NVIDIA支援項目，所以我猜proxmox是設計成直接讀取
: : 給其他hypervisor用的驅動程式，例如VMware ESXi
: : 但因為可能有license鎖，所以可能要花時間去改動一些細節才能
: : 讓proxmox利用
: 這邊多解釋一下好了，雖然說推文內也有人提到部分
: Proxmox基本上底層的Hypervisor即是Linux KVM，這部分NVIDIA目前也已經支援了
: 大約是2020還2021年的時候開放的，且一樣需要授權才可以使用
: 而且記得沒錯還需要在本地端裝一個授權管理伺服器
: 而在KVM的實現方式，基本上跟NVIDIA原本差不多
: 就是利用Linux Kernel內的Mediated device這個driver(簡稱mdev)
: 並且配合VFIO (KVM主流的GPU passthrough用driver)來實現
: 簡單來說，NVIDIA驅動會先根據使用者想要的vGPU規格，生成幾個vGPU後
: 由mdev統一納管，再透過VFIO把這些vGPU給掛載進去，就是這麼簡單
: 因為兩者之間是可以直接連動的，所以不需要把vGPU的VID:PID先寫在開機參數內
: 就可以實現單卡生成多個vGPU，並passthrough給多個VM使用
: 關於這個還有幾個題外話
: 1. mdev同時也支援Intel的vGPU，稱為GVT-g
: 但目前還不支援ARC的GPU，就算有估計也是從ARC PRO支援起
: 2. NVIDIA開放KVM也能使用NVIDIA vGPU功能後沒多久，也移除了自己家的驅動對於
: 在KVM上做passthrough的限制，記得是2021年的事情
: 否則過去要passthrough N卡需要做不少設定
: 3. 其實在NVIDIA宣布vGPU全面開放支援KVM之前，早就可以在KVM上面使用vGPU了(2016年)
: 只是那時候是RedHat獨佔，必須要購買RHEL才可以用
※ 引述《AKSN74 (AKS-74n)》之銘言：
: ※ 引述《MACROSS2K (MACROSS2K)》之銘言：
: : 由於proxmox不是NVIDIA支援項目，所以我猜proxmox是設計成直接讀取
: : 給其他hypervisor用的驅動程式，例如VMware ESXi
: : 但因為可能有license鎖，所以可能要花時間去改動一些細節才能
: : 讓proxmox利用
: 這邊多解釋一下好了，雖然說推文內也有人提到部分
: Proxmox基本上底層的Hypervisor即是Linux KVM，這部分NVIDIA目前也已經支援了
: 大約是2020還2021年的時候開放的，且一樣需要授權才可以使用
: 而且記得沒錯還需要在本地端裝一個授權管理伺服器
: 而在KVM的實現方式，基本上跟NVIDIA原本差不多
: 就是利用Linux Kernel內的Mediated device這個driver(簡稱mdev)
: 並且配合VFIO (KVM主流的GPU passthrough用driver)來實現
: 簡單來說，NVIDIA驅動會先根據使用者想要的vGPU規格，生成幾個vGPU後
: 由mdev統一納管，再透過VFIO把這些vGPU給掛載進去，就是這麼簡單
: 因為兩者之間是可以直接連動的，所以不需要把vGPU的VID:PID先寫在開機參數內
: 就可以實現單卡生成多個vGPU，並passthrough給多個VM使用
: 關於這個還有幾個題外話
: 1. mdev同時也支援Intel的vGPU，稱為GVT-g
: 但目前還不支援ARC的GPU，就算有估計也是從ARC PRO支援起
: 2. NVIDIA開放KVM也能使用NVIDIA vGPU功能後沒多久，也移除了自己家的驅動對於
: 在KVM上做passthrough的限制，記得是2021年的事情
: 否則過去要passthrough N卡需要做不少設定
: 3. 其實在NVIDIA宣布vGPU全面開放支援KVM之前，早就可以在KVM上面使用vGPU了(2016年)
: 只是那時候是RedHat獨佔，必須要購買RHEL才可以用

Proxmox的PCI(e) pass through我的建議是不適合初學者，最好是有經驗
能自己解決問題的人再來用。

如果是很重要的機器，請謹慎使用，並不是說這個東西不好裝或設定，
而是就算你現在系統都裝好，使用上也都沒問題，
但難保下一次更新就整個不能用了。


去年五月初才發生，一更新就整個PCIE pass through都死去。
當時不管是什麼設備passthrough全都掛(GPU/RAID卡/HBA卡/USB等等)


Known Issues->PCI(e) pass through related
https://pve.proxmox.com/wiki/Roadmap#7.2-known-issues

GPU Passthrough Issues After Upgrade to 7.2
https://reurl.cc/Gel4LW

Issue after upgrade to 7.2.3
https://reurl.cc/NqE4gQ

GPU Passthrough throws driver error 43
https://reurl.cc/n7Rr36


當時是要自行把linux kernel設回舊的才行。
https://pve.proxmox.com/wiki/Host_Bootloader


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 202.5.226.36 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1681061656.A.FD9.html
推 bluezero000: n卡這個真的可以玩超久，崩潰的error43
→ chugliang: 天啊...y
→ tomsawyer: pve不要亂更新我以為是常識
→ liweilee: 那就要請官方多宣導這個常識了，我是沒看過官方Proxmo
→ liweilee: x使用說明文件或官方討論區有人在討論串裡提到這個。
推 MACROSS2K: 其實passthrough是相對於host OS而言，管理端要清楚
→ MACROSS2K: 當前PCI裝置的分配狀況，如果重複占用會造成guestOS
→ MACROSS2K: 無法開機
→ liweilee: 上面例子跟管理端設定沒關係。簡單來說是proxmox ve跟
→ liweilee: linux kernel搭配(主要是system frame buffer跟vendor
→ liweilee: -reset)出了問題。有興趣可以上面第一個連結官方頁面裡
→ liweilee: 面的連結都點進去看看，太多了我就不貼上來了。
推 Shigeru777: proxmox前幾天手賤7.3升7.4... 壞到變成要全部重安裝
→ Shigeru777: 還好是研究用途 沒多少重要資料
推 wei115: 真假= = 最近升級記憶體有關機的機會 就狂下apt upgrade
→ wei115: 欸，還好我只有一張顯卡的設定跑掉，照wiki跑一遍流程就
→ wei115: 好惹
→ Wangsl: 我也剛進門就撞到，7.3 LSI卡好好直通的都沒問題，重裝7.4
→ Wangsl: 所有設定都一樣操作也一樣直通就是壞的…