Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: MBross 02. 09. 2024, 16:56:11
-
Ahojte,
Umrel mi QNAP TS-431X a zostali mi po nom styri 6TB disky WD RED, ktore boli v konf. RAID5.
Idem do stavby vlastneho NAS serveru na platforme TrueNAS a chcem tam pouzit nasledovne komponenty:
1. MB GIGABYTE B550-I AORUS PRO AX
2. CPU AMD Ryzen 5 5600X
3. memory KINGSTON 32GB DDR4 3200MT/s ECC Unbuffered DIMM CL22 2RX8
4. zdroj SEASONIC FOCUS SGX-650
5. case Jonsbo N2 Mini-ITX
6. data storage (4x6TB HDD v RAID-Z1 pozostale z QNAP-u)
7. Intel Optane Memory 16GB do M.2 slotu (ako L2ARC cache)
8. WD Blue 250GB SSD 2.5" (bootovaci disk pre OS)
9. M2 to SATA Adapter 5-port do M.2 slotu (rozsirenie o dalsich 5x SATA6 portov)
10. sietovka Intel Server Adapter X520-1 (s 10 GbE SFP+ modulom) do PCI-e x16 slotu
Plan do buducna je upgrade data storage na 5x SATA SSD a 40 GbE sietovka.
Bude dany HW postacujuci pri saturacii 10 GbE resp. 40 GbE sietovky ?
Skusal som hladat, co je bottleneck, ale nikde ziadne relevantne info:
Nieco v zmysle 10G sietovka => min. CPU atd.
Dakujem vopred za radu.
-
Sprav ten QNAP, teď je drahá elektřina, sežere tě to.
Jinak u QNAPů/Synology obvykle chcípne jen zdroj, vyměníš zdroj a jedeš dál.
Pokud ne, bývá to kondík na vstupu, vyměníš a jedeš dál.
Co v se do pájky nedává olovo, tak desktopové desky dneska vydrží 2 roky nonstop provozu než začnou kravit.
Bohužel.
-
Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:
https://www.smicro.cz/supermicro-x10sri-f-b-1
https://www.smicro.cz/supermicro-mbd-h11ssl-i-o
-
A co HP microserver?
HW Je to skvely, umi BMC, a mechanicky je to na NAS idealni.
-
.
Jednu dobu ustoupili od pořádného hardware, zrusili remote management a celkově z toho udělali shito-laciné PCčko.
Jaký je stav teď ... kdo ví.
-
Co sa tyka dosky, nerozmyslal si nad niecim serioznejsim, co ma aj IPMI, ako je Asrock Rack X470D4U?
Je to sice X470 a nie B550, ale ides z toho robit NAS, nie gaming stoj.
-
Sprav ten QNAP, teď je drahá elektřina, sežere tě to.
Jinak u QNAPů/Synology obvykle chcípne jen zdroj, vyměníš zdroj a jedeš dál.
Pokud ne, bývá to kondík na vstupu, vyměníš a jedeš dál.
Co v se do pájky nedává olovo, tak desktopové desky dneska vydrží 2 roky nonstop provozu než začnou kravit.
Bohužel.
...pokus o opravu bol: zdroj je OK, na vstupe bol prdly nejaky DC regulator, dali sme ho do "svietiveho chodu", ale cykloval ako keby bola vadna flesh-ka, na serial konzolovom intf. bolo ticho a uz som nemal na to nervy ist hlbsie, co vsetko odislo.
-
Tak to mě mrzí.
Zrovna teď se to nehodí, je drahá elektřina.
Tak tedy zpět k tématu:
Zdroj pro provoz 24/7 seženeš, bude dražší (2k), ale seženeš a protože bude Platinový, bude ti šetřit proud a vydělá na sebe. Deska je prostě problém, ROHS snížila olovo v PC, ale životnost prostě utrpěla.
Procesoru to je fňuk, paměti můžeš dát ECC bez registru. Disky RED natočí 50-70 tisíc hodin, než žačnou odcházet. Ale board tě bude prudit pri provozu 24/7.
ASUS/Gigabyte/ASROCK vydrží při provozu 8-12 hodin denně 4 roky, klidně pět. Ale při provozu 24/7 se dostaneš na 2-3 roky a ty desky jsou docela drahé :-(
A bude to zrát, počítej 100-150w při té konfiguraci s hodně disky a SSD. A elektřina dnes stojí i 10kč za kW/h :-( Počítej 10-12-14 tisíc ročně za proud :-(
-
Ahojte,
asi sa budem opakovat, ale skusim spisat nejake svoje skusenosti.
1) TrueNAS Core konci, asi treba premyslat nad Scale (aj ked toto autor nespomina)
https://www.root.cz/clanky/truenas-konci-s-freebsd-svet-podle-vyvojaru-soustredi-pozornost-na-linux/ (https://www.root.cz/clanky/truenas-konci-s-freebsd-svet-podle-vyvojaru-soustredi-pozornost-na-linux/)
2) TrueNAS Core je citlivejsi na HW
napr. mam p420 v HBA v HP DL380e Gen8 ... nasiel som nejake warningy, realne som nemal problem, ale ...
https://www.truenas.com/community/threads/problems-with-p420-hba-mode.91902/ (https://www.truenas.com/community/threads/problems-with-p420-hba-mode.91902/)
3) ako uviedlo viacero konzultantov, ta cena elektrickej energie je vyznamny parameter
vykuchal som spominany HP DL380 Gen8 (2xE5-2450L) (dal som prec jedno CPU s chladicom, jeden ventilator, jednu sietovku), zostalo 96GB RAM
iLo o spotrebe trosku zavadza, nezapocitava svoj odber co je cca 10W v pripade DL380e Gen8
podarilo sa mi to stlacit pri 4 SSD a dvoch platnovych diskoch na cca 70W (uvedene v iLo), predtym som mal okolo 150W ... isiel dole aj hluk (robil som aj jedno porovnanie este pri 2 CPU - windows stlacil otacky ventilatorov nizsie, TrueNAS Core to nedokazal, hlavne chipset vykazuje vysoku teplotu, co nuti tie ventilatory tocit rychlo) a ani pri tych 70W to nie je ticho
paralelne som sa hral s HP Microserver Gen8 E3-1220Lv2, 16GB RAM, ten stroj za dverami nepocujem, pri 3xSDD a 2xplatnovy disk - nedostal som spotrebu nad 44W (iba pri boote nejako podskocilo), pridal som dalsie dva platnove disky, idem bez krytu, su pripojene na LSI SAS2008, tichucke, usporne, vie saturovat 1Gbps bez sifrovania (napr. ftp, rsync)
dal som na ten HP DL380e Gen8 TrueNAS Scale, hlucnost a spotreba sa vyrazne oproti TrueNAS Core nezmenila
4) L2ARC cache som nikdy nevyuzil ... popripajal som SSD disky, ale ani wizard mi to neponukol, mozno ma vacsie vyuzitie pri vacsom pocte userov, to poradi niekto iny
Vo vseobecnosti sa mi ta zostava paci, ale chce to inicialny budget, zvazit hlucnost, zvazit budget na prevadzku. Ten Microserver Gen8 sa na bazos.sk pohybuje okolo 150euro, na ebay najdes tiez. To CPU robi dost, teda zvazit aj cenu toho, plus radica, ak chces viac diskov
https://n40l.fandom.com/wiki/Cpu_gen8 (https://n40l.fandom.com/wiki/Cpu_gen8)
Sprav si nejake vahovanie jednotlivych kategorii (nakupna cena, hluk, energie, vykon) a podla toho si vyber. Videl som aj viacero realizacii, kde isiel admin do proxmoxu, diskovy radic posunul VM, kde si nainstaloval TrueNAS, ak by si chcel oddelit vykon/virtualizaciu od dat.
m
-
nejak se tady neresi ten bod, kde chce hw, co saturuje 10-40 Gbit
treba u Truenasu virtualizavaneho v Proxmox to je pro mne nedosaziterlne, bez ohledu na hw pod proxmoxem.
Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:
https://www.smicro.cz/supermicro-x10sri-f-b-1
https://www.smicro.cz/supermicro-mbd-h11ssl-i-o
-
my 2 cents:
- spotřeba nebude tak zlá. Můj 3x18GB (serverové Toshiby) + 2xSSD bere na UPS 25W. Možná něco naskočí z té síťovky (někdy tu byla diskuze, že lidi raději používají 5Gb, protože 10Gb daleko víc žerou/topí).
- když vlastní skříň, tak rozhodně nešetřit na chlazení. Stačí vzduchové, ale mám 4x120mm a běží to tak víc než 10 let (původně s 5x3GB)
- CPU je IMHO předimenzovaný (pokud se neplánuje třeba provoz nějakých virtuálnů apod.).
- a ještě k síťovce, nevím, jestli je reálné z tak malého počtu rotačních disků saturovat 10Gb (o 40 Gb ani nemluvě).
-
treba u Truenasu virtualizavaneho v Proxmox
Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:
Myšleno jako že kdyby chtěl TrueNAS použít jako virtualizační platformu.
https://www.truenas.com/docs/core/coretutorials/jailspluginsvms/virtualmachines/
Byť teď koukám, že podporu zase nějak ořezávají či co...
-
Vzdyt uz to tady bylo v diskuzich nekolikrat zmineno. TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.
-
TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.
Nojo, ono se říka, ze BSD odumírá a je čím dál tím těžší to udržet, protože mladí makají na Linuxu. Měl jsem si to spojit. Je horko a nemám vodníka, přehřívàm se....
-
TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.
Nojo, ono se říka, ze BSD odumírá a je čím dál tím těžší to udržet, protože mladí makají na Linuxu. Měl jsem si to spojit. Je horko a nemám vodníka, přehřívàm se....
my pivari jedeme na kapalinove chlazeni cely rok.
-
- CPU je IMHO předimenzovaný (pokud se neplánuje třeba provoz nějakých virtuálnů apod.).
Netvrdil bych že CPU je předimenzovaný. On Truenas umí CPU docela dost vytížit, jakmile začne číst a zapisovat více uživatelů najednou na 10+Gbps lince. (na 100Gbps lince vytíží klidně přes 75% 128jádrového epycu)
- a ještě k síťovce, nevím, jestli je reálné z tak malého počtu rotačních disků saturovat 10Gb (o 40 Gb ani nemluvě).
V příspěvku píše že plánuje HDD vyměnit časem za SSD. To by už mohlo dát víc i když pokud to stále bude SATA, tak asi bude potřeba ještě přidat i na počtu.
4) L2ARC cache som nikdy nevyuzil ... popripajal som SSD disky, ale ani wizard mi to neponukol, mozno ma vacsie vyuzitie pri vacsom pocte userov, to poradi niekto iny
Používám L2ARC na mém proxmox serveru. U často používaných dat dokáže hodně slušně zrychlit čtení (Mám 4x12TB HDD[2xVdev s 2x12TB disky], doplněno o 1TB L2ARC NVME, 2x1TB slog pro zápis) a u často čtených souborů to zrychlilo čtení o hodně. (cache pro čtení i zápis jsem dával kvůli DB co nad tím úložištěm taky funguje)
3. memory KINGSTON 32GB DDR4 3200MT/s ECC Unbuffered DIMM CL22 2RX8
Podle očekáváného vytížení bych zvažoval i více RAM kvůli ARC cache co ji hojně využívá. Aktuálně sám lituju že mám v serveru desku co umí jen 64GB a ne 128GB RAM. ARC cache je nejlepší ZFS cache co se týče výkonu pro často používaná data a čím více se toho do ní vejde tím lépe.
-
Zkusil bych ještě ten QNAP. Nám taky v práci odešli postupně během 2 měsíců 4 NASy a je to díky chybě procesoru u Celeronů, Atomů a Pentií z let 2013-2017.
Více článek na pctunningu https://pctuning.cz/article/nekolik-generaci-intel-atomu-predcasne-umira-ktere-a-proc
Oprava je jednoduchá, buď nová deska nebo:
1 kus rezistoru 100 ohm 0,6W á 8Kč
1 kus kabílku s konektory na PINy á 3Kč
Stahovací bužírka nebo elektropáska
Kabílek roztřihnout, připájet k rezistor na každou stranu kus kabílku s konektorem pro PIN a propojit PIN1 a PIN8 na základní desce QNAPu - jedná se o PINy, které jsou u slotů pro RAM, na opačné straně desky jsou PINy také.
Všechny 4 QNAPy se nám takto podařilo opět rozběhnout.
-
A pokud se to s tím rezistorem nepovede, tak bych doporučoval tento kus HW
https://www.hardkernel.com/shop/odroid-h4-plus/
Sám mám Odroid-H2 kde je podpora jen 2 SATA disků (mám 2x6TB v RAID1) a výhoda je i v tom, že jsem tuto desku zabudoval do velmi starého NASU od Asusu, který snad uměl jen SBM ver.1. Takže Asus deska ven - Odroid dovnitř.
-
Odroid-H2 kde je podpora jen 2 SATA disků
Bacha, občas se objevují "vylepšení" ve smyslu, že se disky připojí přes USB - SATA převodníky.
Tj. na desce jsou sice SATA, ale ty jsou interně přes USB... :-(
Fuj...
-
Tak toto snad u Odroidu není:
jirka@JK-ODROID-H2:~$ lspci
00:00.0 Host bridge: Intel Corporation Gemini Lake Host Bridge (rev 03)
00:02.0 VGA compatible controller: Intel Corporation UHD Graphics 605 (rev 03)
00:0e.0 Audio device: Intel Corporation Device 3198 (rev 03)
00:0f.0 Communication controller: Intel Corporation Celeron/Pentium Silver Processor Trusted Execution Engine Interface (rev 03)
00:12.0 SATA controller: Intel Corporation Device 31e3 (rev 03)
00:13.0 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:14.0 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:14.1 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:15.0 USB controller: Intel Corporation Device 31a8 (rev 03)
00:17.0 Signal processing controller: Intel Corporation Device 31b4 (rev 03)
00:17.1 Signal processing controller: Intel Corporation Device 31b6 (rev 03)
00:17.2 Signal processing controller: Intel Corporation Device 31b8 (rev 03)
00:17.3 Signal processing controller: Intel Corporation Device 31ba (rev 03)
00:1c.0 SD Host controller: Intel Corporation Celeron/Pentium Silver Processor SDA Standard Compliant SD Host Controller (rev 03)
00:1f.0 ISA bridge: Intel Corporation Device 31e8 (rev 03)
00:1f.1 SMBus: Intel Corporation Celeron/Pentium Silver Processor Gaussian Mixture Model (rev 03)
01:00.0 Non-Volatile memory controller: Phison Electronics Corporation Device 5013 (rev 01)
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
jirka@JK-ODROID-H2:~$ lsusb
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
jirka@JK-ODROID-H2:~$
-
Tak toto snad u Odroidu není:
No já právě nevím, ale dohledal jsem to:
Ještě na jednu věc pozor, Odroid HC2 má JMicron JMS578 USB 3.0 to SATA Bridge, a model Odroid HC4 má ASM 1061 PCIE to SATA. Dnes bych osobně raději si koupil HC4.
A něco podobného jsem viděl už vícekrát a asi i pro jiné boardy než jen Odroid :o
Můžeš zkusit hledat lepší zdroje, já ty Odroidy moc nejedu, takže jsem jen zvedl obočí a dál to přešel.
Takže jako bych nic neřekl, ale člověk se asi musí pro jistotu ujistit, jak to tam mají lulani fyzicky zadrátované. ::)
Myslet ≠ vědět ...
FYI: A je z toho vylepČení...
https://rpishop.cz/odroid-hc4/3535-odroid-hc4-bez-displeje.html
U Odroidu-HC4 jsme se rozhodli upustit od použití rozhraní USB3.0 na SATA bridge (další IO vrstva atd.). Proto používáme nativnější a spolehlivější řešení přímého přemostění (direct bridge solutions) PCIe na SATA. I přitom deska HC4 poskytuje dva úložné SATA doky.
-
Tak já to takto nedokážu identifikovat. Každopádně k tomu Odroidu-H2 mám přes SATA zapojeny klasické 6TB disky 5400RPM, takže asi nejsem limitován rychlostí rozhraní ( SATA přes USB3) ale spíše rychlostí točivého disku.
Toto mi vrátí Odroid-H2:
jirka@JK-ODROID-H2:~$ sync; dd if=/dev/zero of=tempfile bs=1M count=4096; sync
4096+0 záznamů přečteno
4096+0 záznamů zapsáno
4294967296 bajtů (4,3 GB, 4,0 GiB) zkopírováno, 26,005 s, 165 MB/s
...a toto Raspberry4, kde mám SATA SSD připojeno do USB3 portu:
jirka@HifiAmp2:~ $ sync; dd if=/dev/zero of=tempfile bs=1M count=4096; sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 15.564 s, 276 MB/s
Myslím, že rychlost 165MB/s je normální rychlost u těchto pomaluotáčkových disků :-)
Tak jasně, dnes bych šel do modelu H4, tenkrát byl Odroid-H2 novinka .... zatím server s přehledem vše stíhá, snad jen kdyby koukali 2 lidé na film z Plex serveru a chtěli by to oba přepočítat ze 4K na rozlišení, které proleze přes pomalejší internet, tak to by asi nedal (1 uživatel s přepočtem ze 4K na 720p to vytíží na 99%). Ale kouká vždy max 1 a na rychlím internetu tak přepočet není nutný
-
No já právě nevím, ale dohledal jsem to:
Ještě na jednu věc pozor, Odroid HC2 má JMicron JMS578 USB 3.0 to SATA Bridge, a model Odroid HC4 má ASM 1061 PCIE to SATA. Dnes bych osobně raději si koupil HC4.
A něco podobného jsem viděl už vícekrát a asi i pro jiné boardy než jen Odroid :o
Můžeš zkusit hledat lepší zdroje, já ty Odroidy moc nejedu, takže jsem jen zvedl obočí a dál to přešel.
Takže jako bych nic neřekl, ale člověk se asi musí pro jistotu ujistit, jak to tam mají lulani fyzicky zadrátované. ::)
Myslet ≠ vědět ...
FYI: A je z toho vylepČení...
https://rpishop.cz/odroid-hc4/3535-odroid-hc4-bez-displeje.html
U Odroidu-HC4 jsme se rozhodli upustit od použití rozhraní USB3.0 na SATA bridge (další IO vrstva atd.). Proto používáme nativnější a spolehlivější řešení přímého přemostění (direct bridge solutions) PCIe na SATA. I přitom deska HC4 poskytuje dva úložné SATA doky.
Teď jsem si všimnul, že píšete o HC2 a HC4.
Pozor Odroid-HC2 a HC4 je úplně něco jiného než Odroid-H2 a H4 ..... HC jsou s ARM procesorem Cortex-A55 a H2 až H4 jsou desky s Intelem .... https://rpishop.cz/516778/odroid-h4-ultra/
Koukal jsem na block diagram Odroidu-H2 (Intel procesor J4015) a rozhodně nemá SATA přes USB
-
Já jen říkal, že i u Odroidu musí člověk dávat pozor, což obecně platí pro všechny.
Na redukcích USB->SATA prostě občas straší.
Někdo říkal, že se dají oflashovat a když se tam vychytá firmware, že to je ok.
Ale pořád nativní SATA je nativní SATA.
-
.
Jednu dobu ustoupili od pořádného hardware, zrusili remote management a celkově z toho udělali shito-laciné PCčko.
Jaký je stav teď ... kdo ví.
Spis je z toho shito-predrazene PC. Plati od Gen10. Gen8 byly jeste OK. (zasadni rozdill je nejen chybejici ilo, ale taky nevymenitelny CPU). A Zacli to taky nabizet za ceny za ktery si obdobny stroje postavis dva (G7/8 se bezne oficielne prodavaly za 150Ecek). Jedina zbyla vyhoda je uhledny baleni.
Jinak se tu opet resi naprosty nesmysl(spotreba) kdyz tazatel chce 40Gbit. S cimz lze na podobny microservery zcela zapomenout, protoze na nich ani ve snu ne.
Plan do buducna je upgrade data storage na 5x SATA SSD a 40 GbE sietovka.
Nj, nasobeni, to je veda ze? Sata III == MAX 6Gbit 5x6 je kolik? A i to je bohapusta teorie. Jednak na bezny desce nemas Nkrat 6Gbit, protoze se to sdili, pak je to taky typicky pichnuty na jednu nekdy dve pcie linky (tohle se typicky v beznych manualech vubec nedovis). Dalsi vec je rezie FS, rezie nejakyho sitovani ... mozna se ti povede saturovat 10Gbit. Ale o moc vic urcite ne. Na to si priprav sumicku o sesti nulach.
-
Spis je z toho shito-predrazene PC.
Tak jsem to myslel ehm ;-)
mozna se ti povede saturovat 10Gbit. Ale o moc vic urcite ne. Na to si priprav sumicku o sesti nulach.
Chtel tam nejake SSD, moc jsem to neresil, ale na NVMe těch 40Gbps s PCkem dostane. Ale nedava to moc smysl.
-
Chtel tam nejake SSD, moc jsem to neresil, ale na NVMe těch 40Gbps s PCkem dostane. Ale nedava to moc smysl.
Jenze i na to budes potrebovat ne jen tak ledajakou bizuterii kolem. Protoze i kdyz budes mit 4kovy nvme, tak to jeste neznamena, ze ty linky nebudou sdileny s necim dalsim. A pokud zacnes badat a zkoumat, tak u bezne dostupnyho hw pro koncaky soudruzi ty linky toho M.2 klidne sdileji s tim jednim 16tkovym pcie do kteryho si das grafarnu. Pokud mas kliku, je to sdileny s nekterym z dalsich slotu. Velmi casto se pak o stejny linky deli M.2 a sata.
Dokud to pouzivas v BFU rezimu = mas v tom prave jeden disk, neni to nijak zasadni, ale jakmile tam tech disku budes mit vic ...
-
linky nebudou sdileny s necim dalsim
Na Intelu máš pravdu, ale oni jsou ve stavu těžké nemoci, tak Intel nemá smysl řešit.
Tazatel to chtěl stavět na AMD a na AMD je situace diametrálně odlišná:
(https://i.imgur.com/8Aug02l.png)
Jak vidíš, do NVMe slotu by měly lézt 4xPCIe 3.0 nebo 4.0, pokud bude smůla, tak to bude jen 2xPCIe 3.0 nebo 4.0
SSD připojené přes 2 linky PCIe 4.0 ti nabízí a 3.9 GB/s, což není plných 40 Gbps, ale pořád to je slušné.
Pokud budeš mít štěstí, bude NVMe disk připojený fakt přes 4 linky PCIe 4.0.
Ale možná je lepší mít 2 sloty pro NVMe a každý s 2 linkama PCIe 4.0 nebo i 5.0
Vývody jsou přímo z procesoru a kvůli vzájemné kompatibilitě to je stejné pro všechny procesory.
Deska do toho nemá zrovna možnost kecat, z procesoru vedou fousy přímo k NVMe slotu u PCIe slotu.
Byť druhé M.2 SSD bývá připojené přes chipset a tam už by to mohlo kuckat.
(Byť tedy laciné procíky vyvedou do Grafiky jen PCIe 8x.)
Takže jak vidíš, u AMD i počítač pro koncáka má dedikované PCIe pro SSD a dedikované PCIe pro GPU.
Takže když do slotu pro GPU dáš 40 Gbit síťovou kartu (třeba Mellanox ConnnectX 3/ConnectX-4), tak to dáš, což mám i ozkoušené na Ryzenech.
Ohledně bižuterie, dokud to máš pro přímé propojení, i 40Gbps vyřeší jeden DAC kabel za 5kil .
Samozřejmě rozvádět cokoliv přes 10 Gbit stojí majlant.
Ale 10 Gbit je v pohodě.