x86 deska s SFP+

dzavy

x86 deska s SFP+
« kdy: 11. 07. 2021, 22:04:34 »
Chci přesunout L3 z mojí CRS326, protože 500Mbps už prostě routovat/firewallovat nestíhá. Napadlo mě použít RB4011 a propojit je po 10G, ale zvažuju taky pfSense. Někdo nápad na x86 desku typu APU2 ale s 10G/SFP+ (+ min 2x 1G)? Ideálně v cenový relaci tý RB - do 5k.


RDa

  • *****
  • 2 670
    • Zobrazit profil
    • E-mail
Re:x86 deska s SFP+
« Odpověď #1 kdy: 11. 07. 2021, 22:14:21 »
x86 do 5K zapomen, s 10GE integrovanym existuji nektere xeony nebo ryzeny, a u off-chip reseni jenom ta sitovka bude stat 5K

Nejaky stary srot s LGA 2011 (pro V1/V2 xeony) sem tam sezenes s 2x10G, ale na spotrebu se neptej.

dzavy

Re:x86 deska s SFP+
« Odpověď #2 kdy: 11. 07. 2021, 22:30:21 »
Tak jeste dalsi moznost by byla ne-x86 deska s podporou OpenWRT, ale ani tam jsem zatim na nic nenarazil...

_Jenda

  • *****
  • 1 601
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:x86 deska s SFP+
« Odpověď #3 kdy: 12. 07. 2021, 00:46:55 »
Tak jako možná by do APU šlo dát adaptér z miniPCIe na plné PCIe a do toho https://www.czc.cz/asus-xg-c100f/250704/produkt. Ale celé to určitě vyjde hodně přes 5k a nevím jakou generaci PCIe a kolik linek to má - aby to tu desítku dalo.

Re:x86 deska s SFP+
« Odpověď #4 kdy: 12. 07. 2021, 09:01:39 »
Doslova za par korun se da sehnat (pouzita) jednoportova SFP+ karta Mellanox ConnextX-3. Do 5k i s deskou se to nevejde, ale alternativa ke kartam od Asusu a spol. je to zajimava.

Mam doma x86 router s dvojSFP+ kartou od Dellu s chipsetem od Broadcomu a nejvic mi na tom vadi hlucny vetracek. ConnectX-3 ma pasivni chlazeni; mam ji ve druhem stroji a planuju ji poridit i pro router, misto karty od Dellu.

Zatim nedostupnou alternativou k x86 by mohl byt Turris Omnia 2022, ktery ma mit desetigigabitove rozhrani. Cena ani dostupnost ani presnejsi parametry ale jeste bohuzel zname nejsou.


Re:x86 deska s SFP+
« Odpověď #5 kdy: 12. 07. 2021, 09:56:27 »
K tomu asusu se ani nepriblizuj. nespolehlivy shit. Alespon moje zkusenost


Tak jako možná by do APU šlo dát adaptér z miniPCIe na plné PCIe a do toho https://www.czc.cz/asus-xg-c100f/250704/produkt. Ale celé to určitě vyjde hodně přes 5k a nevím jakou generaci PCIe a kolik linek to má - aby to tu desítku dalo.

Re:x86 deska s SFP+
« Odpověď #6 kdy: 12. 07. 2021, 10:00:29 »
Mellanox jsou super.

Mam nekolik Supermicer s onboard SFP+ (intel). Kazdou chvili to ma problem, firmware se neda sehnat, protoze je to jen pres oficialni kanal a motherboard se musi posilat partnerovi na flash.

Tezce mi to zkomplikovalo zivot,
Ja uz chci veci jako SAS HBA a SFP+ sitovku jedine jako PCIe, ktery muzu kdykoli vymenit.

Doslova za par korun se da sehnat (pouzita) jednoportova SFP+ karta Mellanox ConnextX-3. Do 5k i s deskou se to nevejde, ale alternativa ke kartam od Asusu a spol. je to zajimava.

Mam doma x86 router s dvojSFP+ kartou od Dellu s chipsetem od Broadcomu a nejvic mi na tom vadi hlucny vetracek. ConnectX-3 ma pasivni chlazeni; mam ji ve druhem stroji a planuju ji poridit i pro router, misto karty od Dellu.

Zatim nedostupnou alternativou k x86 by mohl byt Turris Omnia 2022, ktery ma mit desetigigabitove rozhrani. Cena ani dostupnost ani presnejsi parametry ale jeste bohuzel zname nejsou.

PanVP

Re:x86 deska s SFP+
« Odpověď #7 kdy: 12. 07. 2021, 10:31:33 »
K tomu asusu se ani nepriblizuj

Mám se stejnou síťovkou úplně jiné zkušenosti, ALE!

- ovladač vzít přímo od Aquantia, protože na ASUSu jsou staré...
- funguje spolehlivě na Windows, na Linuxu jsem to nezkoušel
- Karta se zdá být poněkud vybíravá na SFP moduly, zlobila...připojil jsem jí DAC Kabelem a ok...nevím proč, ale origo Cisco v ní prostě nejelo dobře
- měl jsem stejnou kartu i na Ethernet a nad 10metrů to byla bída...při zatížení se to sr....fuj, do 10ti metrů naprosto ok bez výpadků s Cat 6a kabelem

Re:x86 deska s SFP+
« Odpověď #8 kdy: 12. 07. 2021, 12:59:45 »
Na eBay connectix 3 za tisicovku
https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2322090.m570.l1313&_nkw=Mellanox+Connectx-3&_sacat=0

connectix 2 jsou jeste levnejsi ale ty uz nedoporucuji.

Re:x86 deska s SFP+
« Odpověď #9 kdy: 12. 07. 2021, 13:43:34 »
tak ja bych rekl, ze mame presne stejne zkusenosti.

ano, pokud si sezenes spravnou verzi driveru, pouzijes limitovanou delku kabelu, spravnou verzi tranceiveru, budes pouzivat pomale disky, takze nikdy neprekrocis 300 MB/s...Pak je to povetsinu casu skutecne "naprosto v pohode"...

Jo, jeste obcas preventivne restartni.

Jeste ze ethernetovej standard je tak silnej a neexistuji problemy bez ohledu na vyrobce.

K tomu asusu se ani nepriblizuj

Mám se stejnou síťovkou úplně jiné zkušenosti, ALE!

- ovladač vzít přímo od Aquantia, protože na ASUSu jsou staré...
- funguje spolehlivě na Windows, na Linuxu jsem to nezkoušel
- Karta se zdá být poněkud vybíravá na SFP moduly, zlobila...připojil jsem jí DAC Kabelem a ok...nevím proč, ale origo Cisco v ní prostě nejelo dobře
- měl jsem stejnou kartu i na Ethernet a nad 10metrů to byla bída...při zatížení se to sr....fuj, do 10ti metrů naprosto ok bez výpadků s Cat 6a kabelem

R.S.

Re:x86 deska s SFP+
« Odpověď #10 kdy: 12. 07. 2021, 14:33:57 »
Neco podobneho hledam i ja, zatim bezuspesne.

Pozor. 10G interface je jedna vec, a i kdyz by sla k APU2 pripojit, tak uroutovat/unatovat i "jen" 1Gbps na APU2 muze byt dost orisek, hlavne pokud na tom bezite BSD + nejnovejsti SPECTRE/MELTDOWN apod fixy. Co jsem testoval (pfsense/opnsense) tak 1Gbps je v podstate z rise snu, navic obnasejici spoustu tuningu, oproti tomu na Linuxu by to melo slapat lepe.
Dalsi pozor, pokud nahodou Vam provider dava konektivitu pres PPPoE, je to jeste horsi, protoze interne ty sitovky v APU2 pouziji jen jednu frontu...

Ohledne 10Gbps pripojeni, jak psali kolegove nademnou, nejlepsi je e-bay Connect-X nebo napr Intel X520 (vybiravej na SFP, ale pod linuxem lze lehce vypnout check, pripadne nahrat jiny fw).

Snad jedine co, tak ten Asus ma x4 PCIe pokud se divam spravne, zato ty "serverove" maji x8, takze musi byt volny nejaky slot kam se to da zapichnout...

Pokud nekdo vite o nejakem nejlepe low-power solution co by dokazalo uroutovat 10Gbps FD, dejte vedet.

Rozhodne to ale nebude levna zalezitost :)



_Jenda

  • *****
  • 1 601
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:x86 deska s SFP+
« Odpověď #11 kdy: 12. 07. 2021, 20:43:36 »
- ovladač vzít přímo od Aquantia, protože na ASUSu jsou staré...
- funguje spolehlivě na Windows, na Linuxu jsem to nezkoušel
- Karta se zdá být poněkud vybíravá na SFP moduly, zlobila...připojil jsem jí DAC Kabelem a ok...nevím proč, ale origo Cisco v ní prostě nejelo dobře
Já je měl s DAC a na Linuxu (defaultní driver v kernelu) a „just works“. Ale kupovaly se pár měsíců před tím než jsem šel jinam, takže nevím, jestli to třeba neodešlo potom.

PanVP

Re:x86 deska s SFP+
« Odpověď #12 kdy: 13. 07. 2021, 10:25:18 »
jestli to třeba neodešlo potom

Kdo ví, rozhodně je nepovažuji za špatný kus hardware.
Ale jsou to karty do herních počítáků, ne do serverů...a dávat je do serverů je jako dávat do serverů fučáky nebo QLC SSD s RGB podsvícením  :P

Do serveru je IMHO lepší nějaký Connect-X