Funkční 10GbE řešení pro TrueNAS Scale

[MBross]

Ahoj,

Hladam funkcne, cenovo rozumne 10 GbE riesenie na prepojenie TrueNAS Scale a workstation PC s WIN11, ktore je realne schopne saturovat 10 GbE linku.

Kupil som z eBay 2x OEM INTEL 82599ES X520-DA1, 2x GENUINE Cisco SFP-10G-SR a 2x INTEL E10GSFPSR FTLX8571D3BCV-IT:

Cez iperf3 dostanem z toho max 3.2Gb/s (400MB/s) s Jumbo frame 9000, ostatny tuning kernel parametrov v linuxe ani vo WIN11 nemal markantny vplyv na rychlost.
Testoval som v kartach oba SFP+ moduly (Intel aj Cisco) s rovnakym benchmarkom. CPU utilization je na strane TrueNAS-u do 10% (6-core Ryzen 5600X + 32GB ECC RAM 3200MHz).
Workstation je 16-core Ryzen 9 5950X + 64GB ECC RAM 3200MHz, takze tam je este vacsia vykonova rezerva, tam uzke hrdlo nevidim.
Mam teda podozrenie, ze to rezu cinske "non-GENUINE" komponenty.
Ale ci su na vine cele sety (karty vratane modulov) alebo len karty samotne a moduly su OK, to fakt netusim...

Pekne prosim o radu, prip. navrh riesenia.

M.

[Reklama]

[czechsys]

A zapojeny to je jak? Vidim 4x sfp+ modul a 2x 1port kartu.

Zkuste live linux na te w11 masine + iperf3. Pripadne obe karty do te masiny a iperf krizem.

[jjrsk]

Celkovy zatizeni CPU je nezajimavy, potrebujes znat zatizeni jednotlivych jader.

Dalsi aspekt budou ty windows, ony maji cosi jako "sitovy profil", a maji tam bydefault nejaky automatismus ktery ma zaridit to, ze tu sit nikdy nezatizis na 100%.

https://borncity.com/win/2023/02/14/microsofts-tcp-mess-how-to-optimize-in-windows-10-11/

[RDa]

Zkuste live linux na te w11 masine + iperf3. Pripadne obe karty do te masiny a iperf krizem.

A jak tam nastavujes adresy? Protoze kazdy IP stack, kdyz zjisti ze adresa je lokalni tak to veme naprimo a neposila to vubec do sitovky. K testovani jsem potreboval vzdy dva separatni kompy, nebo dve virtualky.

[neregistrovany]

Jaký parametry měl ten iperf, použil jste u klienta něco jako '-P 15' ??

[Reklama]

[jjrsk]

A jak tam nastavujes adresy? Protoze kazdy IP stack, kdyz zjisti ze adresa je lokalni tak to veme naprimo a neposila to vubec do sitovky. K testovani jsem potreboval vzdy dva separatni kompy, nebo dve virtualky.

Nevim jak to dela on, ale tusim ze network namespaces by na to fungovat melo. Vpodstate tim vytvoris virtualni sitovej stack, takze on nevi, ze to je na stejnym HW.

[MBross]

Testoval som nasledovne:

1. WIN11 PC workstation oproti TrueNAS serveru
2. WIN11 PC workstation oproti dalsiemu WIN11 PC
3. Ubuntu Live na workstation oproti TrueNAS serveru

Mam 2 pary SFP+ 10 GbE SR optickych modulov: Cisco a Intel, kombinoval som Cisco -> Cisco, Intel -> Intel.

Iperf3 v konfiguracii:

Server (TrueNAS server), IP: 10.100.100.200:
iperf3 -s -p 5001

Klient (PC workstation s WIN11 / Ubuntu Live), IP: 10.100.100.1:
iperf3 -c 10.100.100.200 -p 5001 -t 30 -> vysledok [SUM] 3.25 Gbits/sec
iperf3 -c 10.100.100.200 -p 5001 -t 30 -P 16 -> vysledok [SUM] 3.22 Gbits/sec
iperf3 -c 10.100.100.200 -u -p 5001 -t 30 -b 0 -> vysledok [SUM] 1.73 Gbits/sec

Skusal som aj spustit 3 instancie iperf3 server na TrueNAS-e v 3 konzolovych oknach, samozrejme na roznych portoch a
z workstation-u 3 klientov, vysledok bol v sucte cca 3.2 Gbits/sec.

Zataz jadier (6+6 HT) TrueNAS serveru cez htop bola variabilna, system dynam. prideloval jadra, max. do 10%.