10G switch Mikrotik?

[xcaveman]

Ahoj, dobrý den,

chtěl jsem se zeptat, zda nemáte někdo zkušenost s 10G switchem od Mikrotiku, chtěl bych to použít jako switch mezi 3 servery, které běží na Proxmoxu společně s Cephem. Ceph nyní běží na 10G, ale bez switche a chtěl bych do 10G propojit i cluster, aby probíhala rychleji migrace, backupy apod a tento switch je doslova za pár korun, nicméně nemám s ním zkušenost.

https://mikrotik.com/product/crs309_1g_8s_in

[Reklama]

[Robert Kupka]

https://www.youtube.com/watch?v=qrYBhFIE-qA
...+ dalsie reviews na youtube.

[pruzkumbojem]

to uz radsi https://www.servethehome.com/mikrotik-crs309-1g-8sin-review-inexpensive-8x-10gbe-switch/

mam to doma, ale neni co k tomu moc co rict. mam tam routeros (misto switchos), ale ja to nejsem schopen plne saturovat, takze performance by nemela byt problem.

Pouzivam jen Mikrotik nebo Mellanox tranceivery, cimz se vyhybam "testovani" kompatibility.

Vic 10Gbase-T tranceiveru bych tam vahal dat, protoze hrejou jako svina.

[Milan Cagap]

Pouzivam v sieti par mikrotikov (CRS326-25g-2S+, CRS328-4c-20S-4S+, etc..) na 10GB prepoje medzi serverovanmi a zatial som nenarazil na vacsi problem. Bezny trafik na portoch mam od 4Gbps - 8GBps. Jedine s cim som mal problem je, ze pri velkom mnozstve BPDU paketov v sieti rb vytuhol management a random porty prestali prenasat trafik. Alebo vykazovali velky paket lost. Po zapnuti filtrovania BPDU bezi vsetko normalne ako ma.

[Miroslav Šilhavý]

U 10GbE switchů je nejzásadnější, kolik mají a jak pracují s buffery. Levné 10 GbE switche sice dokáží přepínat určité množství, ale od relativně blízké chvíle přestávají zvládat a výkon prudce klesá. To taky tvoří převážný rozdíl v cenách switchů. (Něco podobného bylo, když přišly 1 GbE switche po 100 Mbitových).

Asi v první řadě je potřeba se podívat na specifikace, kolik packetů za sekundu upřepíná (PPS).

[Reklama]

[neregistrovany]

U 10GbE switchů je nejzásadnější, kolik mají a jak pracují s buffery. Levné 10 GbE switche sice dokáží přepínat určité množství, ale od relativně blízké chvíle přestávají zvládat a výkon prudce klesá. To taky tvoří převážný rozdíl v cenách switchů. (Něco podobného bylo, když přišly 1 GbE switche po 100 Mbitových).

Asi v první řadě je potřeba se podívat na specifikace, kolik packetů za sekundu upřepíná (PPS).

Jak chcete pro levne hracky MT zjistovat "jak pracuji s buffery"? Za me bych asi jen zkoumal zda to jede wirespeed i pri mensich packetech....

[RDa]

imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed

[Milan Cagap]

Ono ide vzdy o to, co od daneho zariadenia pozadujes. Navyse mikrotik ma na svojej stranke u kazdeho produktu aj result tabulku. Kde si vies pozriet prenosovu rychlost pri roznych velkostiach paketov ci kofiguraciach. Podla toho sa treba zariadit. Pri malych paketov je rychlost vzdy najnizsia.

[neregistrovany]

imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

[Miroslav Šilhavý]

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.

[r223]

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.

Buffer je tam vždy a pokud stačí pps není vůbec problém - zpracovnání je v HW (min. pokud jde o L2), omezení je jen na urovni propustnosti vnitří páteře (to je obvykle ok) a provozu na portu (tzn. logicky neproteče v součtu víc, než dá port). PPS je problém tam, kde se drtí procesorem (router, low end firewall, klient, ne switch).

[neregistrovany]

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.

Buffer je tam vždy a pokud stačí pps není vůbec problém - zpracovnání je v HW (min. pokud jde o L2), omezení je jen na urovni propustnosti vnitří páteře (to je obvykle ok) a provozu na portu (tzn. logicky neproteče v součtu víc, než dá port). PPS je problém tam, kde se drtí procesorem (router, low end firewall, klient, ne switch).

Takze podle vas kdyz do 8port gigabit switche pripojite 4 pary pocitacu a rozjedete mezi nimi traffic na malejch packetech tak to vsem pojede FD wirespeed? ;-))))

[Miroslav Šilhavý]

Takze podle vas kdyz do 8port gigabit switche pripojite 4 pary pocitacu a rozjedete mezi nimi traffic na malejch packetech tak to vsem pojede FD wirespeed? ;-))))

Kdyby to byly obvykle jen páry, jenže většinou je to ještě tak, že X počítačů chce komunikovat s jedním (server).

[RDa]

imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

Ja teda nevim jake kramy a kde kupujete, ale i ten nejblbejsi a nejmensi 10G switch od MK nema znatelny pokles prenosovky:

https://mikrotik.com/product/crs305_1g_4s_in#fndtn-testresults

je to 4x10G+1G zarizeni, tj. prenosovka je cca 40Gb/s (jde o jeden smer), kapacita 80Gb/s (protoze FDX). Pri minimalni delce paketu (64B) jsou provozni schopnosti snizene na 31 a 62 Gb/s, coz je 7.75G z 10G portu, tj. 77.5%. Tohle me nepride vubec jako nejaky problematicky pokles.

A ted chci videt vase zarizeni, tedy spis software - ktere je schopno zpracovat 61 Mpps (@64B) na jednom stroji. Protoze snad si nemyslite, ze takova 4 portova krabicka bude paternim prvkem propojujicim velke site. OP se ptal napropojeni 3 serveru  a to je presne to, kde se predpoklada vyuziti tohoto produktu.

[xcaveman]

Potřebuji jen popojit 3 servery, které budou komunikovat pouze mezi sebou. Jediné co tam bude potřeba, je, aby tam byly 2 oddělené sítě - Ceph a Proxmox cluster, ale jiné pokorčilé funkce nepotřebuji. Takže bud to hodit do bridge, nebo vlany. žádné filtry, které by brali výkon těch sw tam nepotřebuji dělat.

Mám 1x 10G https://mikrotik.com/product/crs305_1g_4s_in k vyzkoušení a dělal jsem drobné testy přenosů dat a zatím to vypadá dobře, nicméně ještě jsem koukal na alternativy, a cenově nejlépe vychází sw od MK nebo Ubiquity, které mi přijde taky docela zajímavé. DCN jsou strašný rakety, sw za 80k+ mi přijde hrozný nesmysl na takto "malý" cluster.
SW UBNT:
https://www.abctech.cz/ubiquiti-edgeswitch-es-16-xg-12x-sfp-1g-10g-4x-lan-1g-10g_d32826.html

Případně si říkám, že bych vzal tento MK, kvuli lepšímu HW (ram a cpu), jelikož he stejně neobsadím celý, ale max 7portů SFP+
https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

Na tom clusteru běží 3 virtualy (1x MSSQL) a pár containerů/debian virtuálů, které víceméně nic nedělají (monitoring).

Zatím jsem zkoušel test pomocí iperf, ale pokud by měl někdo zajímavý tip, co vyzkoušet, abych ověřil, co to umožní, sem s tím, budu za ně rád. :-)