[心得] PCIe Maximum Payload Size與SSD效能問題

[yuu123 (yuu)]

網頁好讀版
https://www.ptt.cc/bbs/Storage_Zone/M.1624887210.A.021.html

PTT的標題長度不夠。

老實說我原本想下的題目應該是以下這串。

淺談PCIe Maximun Payload Size大小與SSD效能之間的問題

暨ASUS TUF GAMING X570-PLUS (WIFI)實測與回溯研究



因為整篇廢文很多，所以把一點也不懶人的懶人包直接寫在最前面。



　　　　　　　　　　　　　　不是摘要

本文研究目的僅在證實PCIe Maximum Payload Size(MPS)對SSD效能之影響，

當系統處於MPS於較低的128 bytes時，會導致SSD的寫入及讀取速度，較256

bytes時有所不足。

就測試結果來看，WD SN750 於MPS: 128 bytes時似乎有天花板限制。

參照網路上其他人的測試，例如PCIe 4.0的SN850或980PRO也有相同的狀況。


深入研究後，發現是由於主機板晶片組所提供之PCIe Maxmium Payload Size

雖然支援到512 bytes，但接在主機板晶片組後方的設備大多為256 bytes，

少部份僅支援128 bytes。


由於主機板晶片組的Maxmium Payload Size協定，會以所有接在晶片組後方的

設備中最低的MPS值為準。故在使用ASUS TUF GAMINMG X570-PLUS (WIFI)這張

主機板時，在一般正常狀態下。

所有接在晶片組後方的裝置，僅能運作於128 bytes。


會導致此問題，是由於主機板上的LAN及WIFI&藍芽裝置，僅支援PCIe Max Payl

oad Size: 128 bytes。故若於BIOS內將LAN, WIFI, Bluetooth之功能關閉之後

。所有接在主機板後方的裝置，皆可運作於PCIe Maxmium Payload Size: 256

bytes。


且由於各家SSD廠商及主控對於PCIe Maximum Payload Size的支援度不同，

各家主機板廠商也從未於產品規格內，說明產品於主機板晶片組的PCIe Maxi

mum Payload Size的值，導致有些消費者購入SSD後效能無法完整發揮。


是故在此拋磚引玉，希望有空能幫忙做測試的熱心鄉民，一起來統計各家產品

的MPS值，以供消費者購入時的參考。




好了寫完了又臭又長的summry之後感覺就開始有點懶了，

所以下面的正文我就隨便打了。

https://i.imgur.com/bmaB9jR.png




一、引言與研究背景

之所以會發現這個不知道該說是Issue還是Problem的東西，

是因為這篇Reddit鄉民的文章：

Fixed Maximum Payload Size. Now I don't have internet.[1]

https://www.reddit.com/r/AverMedia/comments/hoq07g/fixed_maximum_payload_size_now_i_dont_have/


縮網址 https://tinyurl.com/3jb3nzww


拿MPS隨便咕狗之後發現一篇更勁爆的：

SN850 1TB NVME - slow write speeds (3100) on x570 using M2 Chipset slots
(PCH) - confirmed as a problem on MSI, ASRock, Gigabyte and Asus motherboards [4]


https://community.wd.com/t/sn850-1tb-nvme-slow-write-speeds-3100-on-x570-using-m2-chipset-slots-pch-confirmed-as-a-problem-on-msi-asrock-gigabyte-and-asus-motherboards/265038

縮網址 https://tinyurl.com/mwprpdah



整串看完無意識喊出一聲：晚了！



我不好容易存了一筆錢，買了SN850。

我還得把LAN關掉、還得連WIFI關掉、還得看他喵MPS的臉色。



那我不成了跪著要飯的嗎？
https://i.imgur.com/6el2X6b.png



你要這麼說，買SSD測分數，還真就是跪著要飯的。

就這，多少人想跑3100以上還沒這個門子呢。



速度嘛，跑分，插直通！



不過網路文章畢竟是網路文章。

而消費級的直通通道真他喵少，

所以看起來只能驗證一下MPS與SSD效能之間的關系了。

口說無憑，就實際來開測吧。



二、PCIe Maxmium Payload Size

首先去下載HWiNFO64，來查看裝置的Maxmium Payload Size數值。

網站在此：https://www.hwinfo.com/download/

按Run進去之後，在Bus欄位可以找到主機板的PCIe通道分配與連接方式。

順便附一下AMD X570晶片組的PCIe通道規畫
https://i.imgur.com/P1jttQY.jpg


以本次測試標的，華碩 TUF X570-PLUS (WIFI)來說，

可以看到第一條M.2 是CPU直通通道，

是穩穩的支援PCIe 4.0 x4，

以及Support Maxmium Payload Size: 512 bytes.
https://i.imgur.com/5QkEIC5.png

可以看到X570晶片組本身，也支援Maximum Payload Size: 512 bytes.
https://i.imgur.com/9aX7GU9.png



註：因為Maxmium Payload Size(MPS)打起來實在是有點長，

所以本文以後的段落皆使用縮寫MPS。


只是因為插在M.1_1上頭的，是有點年紀的Plextor M9PEG。

僅支援128bytes，所以只能跑MPS: 128bytes.
https://i.imgur.com/XrIxt7x.png


再接著看接在X570晶片組後方的設備，

首先是也是本文的重點M.2_2，

在HWiNFO 顯示出的PCIe裝置，

是 "AMD 500-Series Chipset - PCIe GPP Bridge"

雖然支援MPS:512 bytes，但不意外地跑MPS: 128bytes。
https://i.imgur.com/G1Aokuv.png


可以看到SN750雖然支援MPS:512 bytes，

但運作模式被限制在128 bytes。
https://i.imgur.com/QFRoVcb.png


由於PCIe的設計原理，是在所有同通道內的裝置，

共用同一組MPS的數值，以最低的裝置為限。


因此所有接在主機板晶片組，以此例是接在X570後方的裝置，

其MPS值以連接裝置中最低的值為主。

所以就來找找所有接在X570後方的裝置，哪些是128bytes的。


可以看到與無線網卡連接的PCIe通道，是支援MPS: 256 bytes的。
https://i.imgur.com/DyKjjyB.png

但Intel AC 9260 僅支援MPS: 128bytes
https://i.imgur.com/c1fEoYK.png


有線網卡的狀況也是類似，PCIe通道本身支援MPS: 256bytes.
https://i.imgur.com/q9dg6Cx.png

但RTL8168_8111 僅支援MPS: 128bytes.
https://i.imgur.com/tHlDLsr.png


X570連接USB3的PCIe通道，也支援MPS: 256bytes，

運作速度被限制在128bytes.
https://i.imgur.com/qTj7N3a.png

兩個USB3的控制器都一樣狀態
https://i.imgur.com/hVV1oK6.png


接著來看SATA部份

AMD Internal PCIe GPP Bridge 支援MPS: 512bytes
https://i.imgur.com/P9bEbt0.png

AMD FCH SATA AHCI Controller 支援MPS: 256bytes

運作速度被限制在128bytes
https://i.imgur.com/lyit6r6.png


另一條AMD Internal PCIe GPP Bridge 的狀態也一樣

AMD Internal PCIe GPP Bridge 支援MPS: 512bytes
https://i.imgur.com/Jf2f0vo.png

AMD FCH SATA AHCI Controller 支援MPS: 256bytes

但運作速度被限制在128bytes
https://i.imgur.com/wQGO6NZ.png


所以在此可以得到一個結果：

由於LAN：RTL8168_8111 以及

WIFI：Intel AC 9260都僅支援MPS: 128bytes。


所以實驗的變因，

就是將這兩個裝置的功能開啟或關閉。

看看是否能將所有接在X570晶片組後方的裝置，

MPS皆恢復成256bytes。



三、實驗結果

進BIOS將LAN、WIFI跟Bluetooh都關閉之後，

馬上可以看到X570晶片組的MPS，運作於256bytes。
https://i.imgur.com/2Uoc7ox.png

證實了Intel的說法[5]

也可以看到SN750終於運作於MPS: 256bytes。
https://i.imgur.com/u8Ay1Uf.png


接著來看USB3的部份，

關閉網卡功能後 AMD USB3 XHCI Controller

運作於MPS: 256bytes。
https://i.imgur.com/K9i1pOL.png


SATA的部份，

AMD FCH SATA AHCI Controller 運作於MPS: 256bytes
https://i.imgur.com/6Nc6AUr.png




已確認所有接在X570晶片組後方的裝置，

都處於Maximum Payload Size: 256 bytes之後，

來開測CDM快樂表：

CDM 8.0.1 SN750 運作於MPS: 256bytes
https://i.imgur.com/5WgsoS5.png

作為對比，SN750 1TB CDM 8.0.1 運作於MPS: 128bytes
https://i.imgur.com/3i5EaU0.png



四、結論

CDM比較結果
https://i.imgur.com/Yf7sTND.png

可以看到循序讀取終於突破3100的大關，符合WD原廠標示的數值。

無論是大檔還是4K小檔，所有效能皆往上提升。


在去年的測試中，我一直以為是我測試環境不乾淨的關系。

reference:
https://www.ptt.cc/bbs/PC_Shopping/M.1601213630.A.A5E.html

沒想到是PCIe Maximum Payload Size的問題。


所以如果要發揮SN750的實力，建議插在CPU直通通道的M.2_1，

跑滿速的MPS: 512bytes。

或是購買接在晶片組後方的裝置，皆是MPS: 256bytes的主機板。

不過我有點懷疑符合這項條件的主機板有多少？


因為主機板廠商沒有任何一家有標示關於MPS的這部份，

另外一點也是本篇文章的遺珠之憾，無法證實在SN850 980PRO

這類效能更高的PCIe 4.0 SSD，是否如文章所說有相同的狀況。



是故在此拋磚引玉，

希望如果有空能幫忙做測試的熱心鄉民，一起來統計各家產品

的MPS值，最好附上SSD的HWiNFO MPS狀態抓圖。

以供廣大消費者購入主機板時的參考。

以上。



參考文獻：

1. Fixed Maximum Payload Size. Now I don't have internet.

https://www.reddit.com/r/AverMedia/comments/hoq07g/fixed_maximum_payload_size_now_i_dont_have/
https://tinyurl.com/3jb3nzww

2. Live Gamer 4K (GC573) not Operating at 256 bytes for Max Payload Size

https://www.reddit.com/r/AverMedia/comments/g5mmhp/live_gamer_4k_gc573_not_operating_at_256_bytes/
https://tinyurl.com/2usrurem

3. BEWARE: If you have a internal WIFI card it may be limiting your Live
Gamer 4K's bandwidth.

https://www.reddit.com/r/AverMedia/comments/hop1qq/beware_if_you_have_a_internal_wifi_card_it_may_be/
https://tinyurl.com/8v8tducd

4. SN850 1TB NVME - slow write speeds (3100) on x570 using M2 Chipset slots
(PCH) - confirmed as a problem on MSI, ASRock, Gigabyte and Asus motherboards

https://community.wd.com/t/sn850-1tb-nvme-slow-write-speeds-3100-on-x570-using-m2-chipset-slots-pch-confirmed-as-a-problem-on-msi-asrock-gigabyte-and-asus-motherboards/265038
https://tinyurl.com/mwprpdah

5. Why does the IP compiler for PCI Express not support Max Payload Size
(MPS) up to 4096 bytes as specified in the PCIe Specification?

https://www.intel.com/content/www/us/en/programmable/support/support-resources/knowledge-base/solutions/rd08222011_674.html
https://tinyurl.com/wzwaamvp

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.80.47 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1624887210.A.021.html
※ 編輯: yuu123 (114.36.80.47 臺灣), 06/28/2021 21:36:31
※ yuu123:轉錄至看板 PC_Shopping                                   06/28 21:36
推 SPDY        : Intel AX200也還是128 bytes
→ SPDY        : 這裝上去 無論是PCH還是FCH 不就難逃被拖累了嗎...
→ yuu123      : 沒錯喔 所以才有這篇文章的產生吶
→ yuu123      : 只要其中一個裝置MPS只吃128bytes
→ yuu123      : 那整串晶片組後面的東西 都只能改跑128bytes 慘~~
→ SPDY        : 呃 但是無線網路卡 目前似乎沒更好的選擇 真的囧了
推 filiaslayers: 而且問題是買含有wifi的主版就是為了wifi，要關掉的
→ filiaslayers: 的話我幹麻不一開始就買沒wifi的版子...
推 filiaslayers: 不過我看了一下，應該還是看廠商的配置，我是用TUF
→ filiaslayers: B550-plus wifi，雖然有ax200,但我的usb3是256Bytes
→ yuu123      : AMD有的USB是直通CPU的，所以看USB不準
推 filiaslayers: 應該說要接在同一個bridge下才會有影響吧?
→ filiaslayers: 我這邊看了一下，不同bridge的MPS似乎是分開的y
→ yuu123      : 最準就看AMD 500-Series Chipset Upstream in PCIe
→ yuu123      : 就是你晶片組是跑啥  那接在後面的就都只能跑那樣
→ yuu123      : 至於從CPU直通的像是音效 USB啥的 就各自獨立
推 tyfu        : 效率問題、每個TLP帶24B無效標頭、簡單算一下就知
推 filiaslayers: https://i.imgur.com/vfYaMJS.png 我的長這樣
→ filiaslayers: 我看asus把wifi跟sata都塞到了PCI-e x8的bus去
→ filiaslayers: 然後M.2有兩個，一個大概也塞到這邊，另一個應該是
→ filiaslayers: 下面x16的通道?我還沒買m.2 ssd不確定
→ yuu123      : 原來不同主機板對PCIe切的方式也不太一樣
→ yuu123      : 受教了
→ filiaslayers: 我覺得asus這樣蠻合理的，低速就放一起
→ filiaslayers: 電蝦那個苦主真的太扯，高低速裝置還弄成雜燴...
推 goldie      : 推實測
→ DavisX      : 在device manage裡的pci max payload size 00000001
→ DavisX      : 對應是多少啊? 256?
→ smallreader : 0x00=128, 0x01=256, 0x02=512
推 smallreader : 轉電蝦推文，Clavius大貼Z490的組態
→ smallreader : https://imgur.com/a/GcwXZp9
→ smallreader : 跟我的B550 https://i.imgur.com/oROPb5t.png 來比
→ smallreader : 會發現Intel晶片組能夠把下游通道掛到root bus上，
→ smallreader : 但AMD是很簡單的階層關係，所以後者的MPS只能從下游
→ smallreader : 端點中取最大公因數，但C大的Intel Z490，插上AX200
→ smallreader : (MPS=128)，而980pro(同樣接晶片組)MPS仍然能跑256
→ smallreader : AMD的架構中有PCIe switch，Intel則好像能平面化？
推 filiaslayers: 那個跟是不是intel無關，單純是主機版廠商對PCI-e
→ filiaslayers: 通道的使用方式不同而已，我用b550的晶片組，廠商把
→ filiaslayers: wifi跟sata這種低速的裝置放一起，我的m.2的MPS一樣
→ filiaslayers: 不會受限wifi的MPS
推 filiaslayers: intel的優勢應該在chipset能提供的pci-e通道多很多
→ filiaslayers: 所以可以看到電蝦c版友的pci-e用的很大方
→ smallreader : 感謝解惑
推 filiaslayers: 我回了一篇比較完整的在電蝦了，可以去看看
推 smallreader : to filia，除了x16、m.2_cpu、usb3 hub以外的功能
→ smallreader : 才是經晶片組的，你的板子也不例外，只是因為擴充少
→ smallreader : 所以誤認到直連CPU的裝置了～
推 Lukesky     : 話說插了AX200 讓整組MPS都變成128 除了SSD有影響
→ Lukesky     : 其他組件也會有影響嗎？
推 t5p3ax      : 推
推 sdbb        : 這篇impact factor有多少呢？
推 sdbb        : @lukesky，低速裝置不影響，SSD在意跑分的話才有差
噓 Fring       : x