› 看板 PC_Shopping 關於我們 聯絡資訊
作者tacovirus (大怒神のスイッチ)
看板PC_Shopping
標題[測試] Mellanox ConnectX-3 40GbE 網卡測試
時間Mon Aug 2 13:27:33 2021
這張網卡裝在先前 5950X + WS X570-ACE 的機器上 型號是 MCX313A-BCCT https://i.imgur.com/x7LwWyd.jpg
https://i.imgur.com/UFNWn7W.jpg
由於是買別人淘汰的卡, 一張 2800 就弄到了, 比全新的 10G 卡還便宜 不過目前拍賣上最便宜的是 HP 544FLR, 目前沒屋頂一張不到 800, 不過這張卡造型特殊需要轉一下才能用, 詳情可以去 YT 搜尋 "測速怪" Proxmox VE 7.0 能偵測到, 使用的驅動程式是 mlx4_en 插上光纖讓兩台 5950X 互連, 確定兩張卡都亮燈 接著進入測試環節 首先用 iperf3 測試 # iperf3 -c 172.16.50.32 Connecting to host 172.16.50.32, port 5201 [ 5] local 172.16.50.31 port 56320 connected to 172.16.50.32 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 3.69 GBytes 31.7 Gbits/sec 0 1.29 MBytes [ 5] 1.00-2.00 sec 3.67 GBytes 31.5 Gbits/sec 0 1.40 MBytes [ 5] 2.00-3.00 sec 3.24 GBytes 27.9 Gbits/sec 0 1.47 MBytes [ 5] 3.00-4.00 sec 3.09 GBytes 26.6 Gbits/sec 0 1.47 MBytes [ 5] 4.00-5.00 sec 3.08 GBytes 26.5 Gbits/sec 0 1.47 MBytes [ 5] 5.00-6.00 sec 3.07 GBytes 26.4 Gbits/sec 0 1.47 MBytes [ 5] 6.00-7.00 sec 3.09 GBytes 26.5 Gbits/sec 0 1.47 MBytes [ 5] 7.00-8.00 sec 3.09 GBytes 26.5 Gbits/sec 0 1.47 MBytes [ 5] 8.00-9.00 sec 3.09 GBytes 26.5 Gbits/sec 0 1.47 MBytes [ 5] 9.00-10.00 sec 3.10 GBytes 26.6 Gbits/sec 0 1.47 MBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 32.2 GBytes 27.7 Gbits/sec 0 sender [ 5] 0.00-10.00 sec 32.2 GBytes 27.7 Gbits/sec receiver 前 3 秒爽了一下, 後來就掉速到 26Gbps, 有點傷心, 試了幾次都這樣 爬文調了一些設定看起來都沒啥鳥用 不過其中有一篇官網的建議測試方式 https://community.mellanox.com/s/article/iperf--iperf2--iperf3 其中有一句話是 we recommend to use iperf2 (2.0.x) in Linux 結果越想越不對勁, 改用 iperf2 做雙線測試 # iperf -c 172.16.50.32 -P 2 ------------------------------------------------------------ Client connecting to 172.16.50.32, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local 172.16.50.31 port 49590 connected with 172.16.50.32 port 5001 [ 4] local 172.16.50.31 port 49592 connected with 172.16.50.32 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0000-10.0005 sec 21.4 GBytes 18.4 Gbits/sec [ 4] 0.0000-10.0002 sec 21.5 GBytes 18.5 Gbits/sec [SUM] 0.0000-10.0002 sec 42.9 GBytes 36.9 Gbits/sec [ CT] final connect times (min/avg/max/stdev) = 0.618/0.674/0.730/0.618 ms (tot/ 結果真得逼近 40Gbps 接著查一下這張卡的 MTU 可設定範圍 # ip -d link show enp10s0 4: enp10s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DE link/ether e4:1d:2d:18:a5:a0 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 m numtxqueues 256 numrxqueues 128 gso_max_size 65536 gso_max_segs 65535 portid 可以看出 MTU 可設定範圍是 68-9900, 那麼改用 9900 來試試 # iperf -c 172.16.50.32 -P 2 ------------------------------------------------------------ Client connecting to 172.16.50.32, TCP port 5001 TCP window size: 325 KByte (default) ------------------------------------------------------------ [ 3] local 172.16.50.31 port 49670 connected with 172.16.50.32 port 5001 [ 4] local 172.16.50.31 port 49672 connected with 172.16.50.32 port 5001 [ ID] Interval Transfer Bandwidth [ 4] 0.0000-10.0004 sec 23.1 GBytes 19.8 Gbits/sec [ 3] 0.0000-10.0002 sec 23.1 GBytes 19.8 Gbits/sec [SUM] 0.0000-10.0002 sec 46.1 GBytes 39.6 Gbits/sec [ CT] final connect times (min/avg/max/stdev) = 1.115/1.224/1.334/1.115 ms (tot/ 結果從 36.9 提升到 39.6, 看起來 MTU 要喬一下才能操到緊繃 那麼回頭測一下單線 # iperf3 -c 172.16.50.32 Connecting to host 172.16.50.32, port 5201 [ 5] local 172.16.50.31 port 56512 connected to 172.16.50.32 port 5201 ... 略 ... [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 31.7 GBytes 27.2 Gbits/sec 0 sender [ 5] 0.00-10.00 sec 31.7 GBytes 27.2 Gbits/sec receiver 看起來 MTU 9900 對單線沒啥鳥用, 不死心再用 4096 試試 [ 5] 0.00-10.00 sec 37.1 GBytes 31.9 Gbits/sec 0 sender 結果穩上 31.9, 再試試其他值, 後來試出 2048 更好 [ 5] 0.00-10.00 sec 38.0 GBytes 32.7 Gbits/sec 201 sender 修改參數, 把傳輸量加大到 200G 試試, iperf3 -c 172.16.50.32 -n 200G [ 5] 0.00-56.10 sec 200 GBytes 30.6 Gbits/sec 197 sender 再回頭測試多線傳輸 # iperf -c 172.16.50.32 -P 2 -n 200G ------------------------------------------------------------ Client connecting to 172.16.50.32, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 4] local 172.16.50.31 port 50464 connected with 172.16.50.32 port 5001 [ 3] local 172.16.50.31 port 50462 connected with 172.16.50.32 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0000-90.2807 sec 200 GBytes 19.0 Gbits/sec [ 4] 0.0000-90.3109 sec 200 GBytes 19.0 Gbits/sec [SUM] 0.0000-90.3109 sec 400 GBytes 38.0 Gbits/sec [ CT] final connect times (min/avg/max/stdev) = 0.737/0.784/0.831/0.831 ms (tot/ 看起來 2048 有利單線但不利多線 改回 9900, 再測試很多線的 CPU 用量 # iperf -c 172.16.50.32 -P 128 -n 1G [SUM] 0.0000-26.9918 sec 128 GBytes 40.7 Gbits/sec # iperf -c 172.16.50.32 -P 32 -n 1G [SUM] 0.0000-6.9327 sec 32.0 GBytes 39.6 Gbits/sec 看起來 32 線和 128 線大概都是消耗 4~5% 的 CPU 用量, 不過這可是 5950X 喔, 其他 CP 為了盡量發揮滿載吞吐量, 還是犧牲單線最佳值吧, 就決定用 9900 了 感謝大家看我如何浪費生命 -- 世界越快 心則慢 網路越慢 心則快 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.23.152.16 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1627882058.A.EA7.html ※ 編輯: tacovirus (211.23.152.16 臺灣), 08/02/2021 13:30:47
推 rettoly : 推實測 不過一般人感覺用不到 0.0114.36.116.190 08/02 13:28
→ HamalAri : 要用來幹嘛36.224.124.191 08/02 13:32
用 iSCSI 連去 NAS ※ 編輯: tacovirus (27.242.104.204 臺灣), 08/02/2021 13:34:21 ※ 編輯: tacovirus (27.242.104.204 臺灣), 08/02/2021 13:35:27
推 b325019 : 架storage?60.248.33.28 08/02 13:35
推 tn1331 : 實測心得推223.137.255.248 08/02 13:49
→ tomsawyer : iscsi gateway吧 最近搞這些san 網180.217.46.75 08/02 13:50
→ tomsawyer : 路速度上不去 很頭痛180.217.46.75 08/02 13:50
推 autoupdate : 推測試211.21.3.55 08/02 13:52
※ 編輯: tacovirus (27.242.104.204 臺灣), 08/02/2021 13:57:18 ※ 編輯: tacovirus (211.23.152.16 臺灣), 08/02/2021 14:02:44
推 jsifl : 推測試!!!117.56.151.223 08/02 14:08
推 saitoTK : 推簽名檔1.200.156.43 08/02 14:09
推 rickz008 : 推測試!210.242.49.134 08/02 14:30
推 filiaslayers: 這大概也要nas上到nvme的ssd才用得60.251.130.156 08/02 14:57
→ filiaslayers: 到吧，傳統硬碟就算兩顆組raid0連1G60.251.130.156 08/02 14:57
→ filiaslayers: bps都跑不滿...60.251.130.156 08/02 14:57
NAS 含擴充櫃共 24 顆硬碟，至少 6 顆是 SSD，會做一組 ZFS 剩下看老闆要速度還是要容量 感恩老闆，讚歎老闆
推 xiaotee : 推測試101.9.134.3 08/02 15:11
推 Ryu3y3s : 可以試試看調整 tx Rx queue size223.138.210.161 08/02 15:15
→ Ryu3y3s : 還有 bind interrupt 的 cpu223.138.210.161 08/02 15:15
推 NCTUFAIWEN : 什麼時代了單機械硬碟早就超過1G了111.243.40.161 08/02 15:31
→ NCTUFAIWEN : 好嗎，兩個組RAID1再加個cache讀取111.243.40.161 08/02 15:31
→ NCTUFAIWEN : 都能上到600MB/s左右了，但也僅只於111.243.40.161 08/02 15:31
→ NCTUFAIWEN : 跑分好看，隨機讀取一樣垃圾111.243.40.161 08/02 15:31
推 qwe753951 : 記得x3可刷韌體，要再快就要RDMA了114.46.79.28 08/02 15:49
→ c230 : 哪裡可以買到這麼便宜的二手 組ALL-1.161.74.75 08/02 16:00
→ c230 : FLASH組到一半1.161.74.75 08/02 16:01
推 filiaslayers: 喔喔，硬碟有300MB/s，但組rai0也沒60.251.130.156 08/02 16:03
→ filiaslayers: 說錯，組raid1也到不到600M啊...60.251.130.156 08/02 16:04
※ 編輯: tacovirus (27.242.104.204 臺灣), 08/02/2021 16:10:51
推 niverse : 這速度好爽 223.137.222.96 08/02 16:17
推 david54001 : 太爽了 120.229.84.167 08/02 16:20
→ NCTUFAIWEN : 當然是加cache才有這種速度阿XD，但 111.243.40.161 08/02 17:10
→ NCTUFAIWEN : 使用情境真的很受限啦QQ，之前興沖 111.243.40.161 08/02 17:10
→ NCTUFAIWEN : 沖搞了個10G環境也只能看著跑分高潮 111.243.40.161 08/02 17:10
推 sisiho : 實測推 39.8.227.246 08/02 19:08
推 dustin27152 : 想知道有沒有100Gb的垃圾能撿？ 220.141.97.62 08/02 19:58
推 Saza : 找台smartbit測比較準吧 61.231.70.5 08/02 21:19
→ pxhome : 光埠的不感興趣, 銅埠的才有價值111.251.193.142 08/04 13:47
好 der, 今晚會測試 broadcom 10GBase-T x2 洋垃圾網卡 ※ 編輯: tacovirus (211.23.152.17 臺灣), 08/06/2021 14:31:57