Fórum Root.cz

Hlavní témata => Sítě => Téma založeno: xcaveman 10. 04. 2021, 11:36:22

Název: 10G switch Mikrotik?
Přispěvatel: xcaveman 10. 04. 2021, 11:36:22
Ahoj, dobrý den,

chtěl jsem se zeptat, zda nemáte někdo zkušenost s 10G switchem od Mikrotiku, chtěl bych to použít jako switch mezi 3 servery, které běží na Proxmoxu společně s Cephem. Ceph nyní běží na 10G, ale bez switche a chtěl bych do 10G propojit i cluster, aby probíhala rychleji migrace, backupy apod a tento switch je doslova za pár korun, nicméně nemám s ním zkušenost.

https://mikrotik.com/product/crs309_1g_8s_in
Název: Re:10G switch Mikrotik?
Přispěvatel: Robert Kupka 10. 04. 2021, 12:03:48
https://www.youtube.com/watch?v=qrYBhFIE-qA
...+ dalsie reviews na youtube.
Název: Re:10G switch Mikrotik?
Přispěvatel: pruzkumbojem 10. 04. 2021, 12:34:37
to uz radsi https://www.servethehome.com/mikrotik-crs309-1g-8sin-review-inexpensive-8x-10gbe-switch/

mam to doma, ale neni co k tomu moc co rict. mam tam routeros (misto switchos), ale ja to nejsem schopen plne saturovat, takze performance by nemela byt problem.

Pouzivam jen Mikrotik nebo Mellanox tranceivery, cimz se vyhybam "testovani" kompatibility.

Vic 10Gbase-T tranceiveru bych tam vahal dat, protoze hrejou jako svina.

Název: Re:10G switch Mikrotik?
Přispěvatel: Milan Cagap 12. 04. 2021, 13:56:11
Pouzivam v sieti par mikrotikov (CRS326-25g-2S+, CRS328-4c-20S-4S+, etc..) na 10GB prepoje medzi serverovanmi a zatial som nenarazil na vacsi problem. Bezny trafik na portoch mam od 4Gbps - 8GBps. Jedine s cim som mal problem je, ze pri velkom mnozstve BPDU paketov v sieti rb vytuhol management a random porty prestali prenasat trafik. Alebo vykazovali velky paket lost. Po zapnuti filtrovania BPDU bezi vsetko normalne ako ma.

Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 12. 04. 2021, 14:34:07
U 10GbE switchů je nejzásadnější, kolik mají a jak pracují s buffery. Levné 10 GbE switche sice dokáží přepínat určité množství, ale od relativně blízké chvíle přestávají zvládat a výkon prudce klesá. To taky tvoří převážný rozdíl v cenách switchů. (Něco podobného bylo, když přišly 1 GbE switche po 100 Mbitových).

Asi v první řadě je potřeba se podívat na specifikace, kolik packetů za sekundu upřepíná (PPS).
Název: Re:10G switch Mikrotik?
Přispěvatel: neregistrovany 12. 04. 2021, 23:10:30
U 10GbE switchů je nejzásadnější, kolik mají a jak pracují s buffery. Levné 10 GbE switche sice dokáží přepínat určité množství, ale od relativně blízké chvíle přestávají zvládat a výkon prudce klesá. To taky tvoří převážný rozdíl v cenách switchů. (Něco podobného bylo, když přišly 1 GbE switche po 100 Mbitových).

Asi v první řadě je potřeba se podívat na specifikace, kolik packetů za sekundu upřepíná (PPS).

Jak chcete pro levne hracky MT zjistovat "jak pracuji s buffery"? Za me bych asi jen zkoumal zda to jede wirespeed i pri mensich packetech....
Název: Re:10G switch Mikrotik?
Přispěvatel: RDa 12. 04. 2021, 23:33:58
imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed
Název: Re:10G switch Mikrotik?
Přispěvatel: Milan Cagap 13. 04. 2021, 11:14:42
Ono ide vzdy o to, co od daneho zariadenia pozadujes. Navyse mikrotik ma na svojej stranke u kazdeho produktu aj result tabulku. Kde si vies pozriet prenosovu rychlost pri roznych velkostiach paketov ci kofiguraciach. Podla toho sa treba zariadit. Pri malych paketov je rychlost vzdy najnizsia.
Název: Re:10G switch Mikrotik?
Přispěvatel: neregistrovany 14. 04. 2021, 09:39:05
imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)
Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 14. 04. 2021, 09:46:45
Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.
Název: Re:10G switch Mikrotik?
Přispěvatel: r223 14. 04. 2021, 11:04:50
Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.

Buffer je tam vždy a pokud stačí pps není vůbec problém - zpracovnání je v HW (min. pokud jde o L2), omezení je jen na urovni propustnosti vnitří páteře (to je obvykle ok) a provozu na portu (tzn. logicky neproteče v součtu víc, než dá port). PPS je problém tam, kde se drtí procesorem (router, low end firewall, klient, ne switch).
Název: Re:10G switch Mikrotik?
Přispěvatel: neregistrovany 14. 04. 2021, 11:18:51
Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

A když provoz přiteče po více portech ve stejný čas, a nejsou tam buffery, které to podrží, tak ten problém máte tuplem.

Buffer je tam vždy a pokud stačí pps není vůbec problém - zpracovnání je v HW (min. pokud jde o L2), omezení je jen na urovni propustnosti vnitří páteře (to je obvykle ok) a provozu na portu (tzn. logicky neproteče v součtu víc, než dá port). PPS je problém tam, kde se drtí procesorem (router, low end firewall, klient, ne switch).

Takze podle vas kdyz do 8port gigabit switche pripojite 4 pary pocitacu a rozjedete mezi nimi traffic na malejch packetech tak to vsem pojede FD wirespeed? ;-))))
Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 14. 04. 2021, 11:30:28
Takze podle vas kdyz do 8port gigabit switche pripojite 4 pary pocitacu a rozjedete mezi nimi traffic na malejch packetech tak to vsem pojede FD wirespeed? ;-))))

Kdyby to byly obvykle jen páry, jenže většinou je to ještě tak, že X počítačů chce komunikovat s jedním (server).
Název: Re:10G switch Mikrotik?
Přispěvatel: RDa 14. 04. 2021, 12:40:27
imho vetsina SOHO nasazeni 10G je kvuli prenosovemu pasmu pro data - takze udaj o PPS neni vubec zajimavy, pokud to zlada velke pakety na wire-speed

Kdyz vam neco/nekdo vygeneruje dostatecny pocet malinkych packetu, tak se s celym prenosovym pasmem muzete jit klouzat ;-)

Ja teda nevim jake kramy a kde kupujete, ale i ten nejblbejsi a nejmensi 10G switch od MK nema znatelny pokles prenosovky:

https://mikrotik.com/product/crs305_1g_4s_in#fndtn-testresults

je to 4x10G+1G zarizeni, tj. prenosovka je cca 40Gb/s (jde o jeden smer), kapacita 80Gb/s (protoze FDX). Pri minimalni delce paketu (64B) jsou provozni schopnosti snizene na 31 a 62 Gb/s, coz je 7.75G z 10G portu, tj. 77.5%. Tohle me nepride vubec jako nejaky problematicky pokles.

A ted chci videt vase zarizeni, tedy spis software - ktere je schopno zpracovat 61 Mpps (@64B) na jednom stroji. Protoze snad si nemyslite, ze takova 4 portova krabicka bude paternim prvkem propojujicim velke site. OP se ptal napropojeni 3 serveru  a to je presne to, kde se predpoklada vyuziti tohoto produktu.
Název: Re:10G switch Mikrotik?
Přispěvatel: xcaveman 14. 04. 2021, 15:32:26
Potřebuji jen popojit 3 servery, které budou komunikovat pouze mezi sebou. Jediné co tam bude potřeba, je, aby tam byly 2 oddělené sítě - Ceph a Proxmox cluster, ale jiné pokorčilé funkce nepotřebuji. Takže bud to hodit do bridge, nebo vlany. žádné filtry, které by brali výkon těch sw tam nepotřebuji dělat.

Mám 1x 10G https://mikrotik.com/product/crs305_1g_4s_in k vyzkoušení a dělal jsem drobné testy přenosů dat a zatím to vypadá dobře, nicméně ještě jsem koukal na alternativy, a cenově nejlépe vychází sw od MK nebo Ubiquity, které mi přijde taky docela zajímavé. DCN jsou strašný rakety, sw za 80k+ mi přijde hrozný nesmysl na takto "malý" cluster.
SW UBNT:
https://www.abctech.cz/ubiquiti-edgeswitch-es-16-xg-12x-sfp-1g-10g-4x-lan-1g-10g_d32826.html

Případně si říkám, že bych vzal tento MK, kvuli lepšímu HW (ram a cpu), jelikož he stejně neobsadím celý, ale max 7portů SFP+
https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

Na tom clusteru běží 3 virtualy (1x MSSQL) a pár containerů/debian virtuálů, které víceméně nic nedělají (monitoring).

Zatím jsem zkoušel test pomocí iperf, ale pokud by měl někdo zajímavý tip, co vyzkoušet, abych ověřil, co to umožní, sem s tím, budu za ně rád. :-)
Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 14. 04. 2021, 18:36:16
Podle toho, co píšete, Vás bude - tipuji - víc trápit latence v provozu, než rychlost. Rychlost na 10 Gb sotva vytížíte, ale o to smutnější pak bývá, když to switch zničí latencí.
Název: Re:10G switch Mikrotik?
Přispěvatel: Hobbit 14. 04. 2021, 18:52:27
myslim, ze vam dokaze odpovedet jenom clovek, ktery hodil dany switch na rfc merak.

objemove ten switch urcite nevytizite, uzke misto muze nastat v pps - corosync pri oprave (umrely disk a spol) umi vygenerovat i statisice PPS - a to ne kazdy switch prezije bez uhony. Matne si vzpominam, ze kdyz kolega mel blbej den a vyskubnul ze tri stroju po jednom disku (zbylo jich tam dalsich 3x15) aniz by je odpojil od clusteru, tak PPS se limitne blizilo k 1M. Ruku za to do ohne ale nedam.
Název: Re:10G switch Mikrotik?
Přispěvatel: RDa 14. 04. 2021, 21:36:38
myslim, ze vam dokaze odpovedet jenom clovek, ktery hodil dany switch na rfc merak.

objemove ten switch urcite nevytizite, uzke misto muze nastat v pps - corosync pri oprave (umrely disk a spol) umi vygenerovat i statisice PPS - a to ne kazdy switch prezije bez uhony. Matne si vzpominam, ze kdyz kolega mel blbej den a vyskubnul ze tri stroju po jednom disku (zbylo jich tam dalsich 3x15) aniz by je odpojil od clusteru, tak PPS se limitne blizilo k 1M. Ruku za to do ohne ale nedam.

Zminovany 4+1 port mikrotik zvlada 61 Mpps, na port tedy neco pres 15 Mpps. Pri 10Gb/s to odpovida 83 byte paketum, ale predpokladam ze vase 1M use case bude znamena 1M * 512 B = 4 Gb/s, protoze co sektor to paket.

Tohle pidi zarizeni je o rad schopnejsi nez vase nocni mura...
Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 14. 04. 2021, 21:54:10
Tohle pidi zarizeni je o rad schopnejsi nez vase nocni mura...

Možná. Podle specifikací je to ale při packet lossu 0,1 % (není málo), a latence není specifikovaná vůbec.
Zrovna pro Ceph bych to raději ověřil, tam to může být dost nepříjemné. (U SQL taky, ale to si s tím poradí, prostě pojede pomalejš).

Mimochodem, cpát do stejného switche storage a běžný provoz bych si troufl tak nějak u high endu, na laciných technologiích bych to z principu oddělil.
Název: Re:10G switch Mikrotik?
Přispěvatel: RDa 14. 04. 2021, 22:00:33
Mimochodem, cpát do stejného switche storage a běžný provoz bych si troufl tak nějak u high endu, na laciných technologiích bych to z principu oddělil.

Tak nabizi se prirozene reseni takove, ze kdyz uz mate v serveru nejakou 10G nic, napr. X520-DA2, tak ma dva porty.. takze lze jeden pouzivat pro nejaky systemovy zaklad (storage, hypervisor), a druhej pak na aplikacni / sitove urovni a pro VM.

Ty male MK nejsou tak drahe a clovek da vice za DA kabelaz pomalu :)
Název: Re:10G switch Mikrotik?
Přispěvatel: Miroslav Šilhavý 14. 04. 2021, 22:03:54
Tak nabizi se prirozene reseni takove, ze kdyz uz mate v serveru nejakou 10G nic, napr. X520-DA2, tak ma dva porty.. takze lze jeden pouzivat pro nejaky systemovy zaklad (storage, hypervisor), a druhej pak na aplikacni / sitove urovni a pro VM.

To Vám ale nepomůže, pokud to svedete do switche, který v kritických chvílích sám nestíhá vnímat ani svoji vlastní existenci, natož prioritizovat.
Název: Re:10G switch Mikrotik?
Přispěvatel: neznámý 14. 04. 2021, 22:28:04
Rád bych upozornil u switchů od Mikrotiku na ztrátu paketů - př. https://telekomunikace.cz/d/31608-miktorik-crs (https://telekomunikace.cz/d/31608-miktorik-crs). Doporučuji si pročíst, kolega má osobní zkušenost jako ISP, musel switche od Mikrotiku ze sítě dát pryč.
Název: Re:10G switch Mikrotik?
Přispěvatel: xcaveman 14. 04. 2021, 22:39:05
Mám tam sitovky s 2x SFP+ od Supermicra, ted přesně nevím ten model, ale bude to zřejmě něco alá Intel X520.

Zkusil jsem si udělat virtual na ceph propojený skrz ten 10G 4port SFP+ a tohle dokáže, nicméně, tam bude spíš limit disků, které tam jsou. Nejsou to taky žádné highend disky. Na každém pve je 1x OSD s 960GB INTEL SSDSC2KB960G7

Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?
Název: Re:10G switch Mikrotik?
Přispěvatel: RDa 14. 04. 2021, 22:52:58
Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?

Fakt blbej napad: muzes nastavit MTU 68 a pak se divit jak se to cely rozsype (ale vazne ... pokud bys rebootnul cely cluster na tohle nastaveni - tak by melo vse jet - jen pomaleji - a buhvi jak bys detekoval, kdy paket nedorazi..).

Spis se na to pouzivaji testovaci udelatka, kde to generuje a kontroluje hw (fpga).
Název: Re:10G switch Mikrotik?
Přispěvatel: Michal Kubeček 15. 04. 2021, 08:22:47
Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?
pktgen (https://www.kernel.org/doc/Documentation/networking/pktgen.txt)? Ale na 10Gb/s asi bude stačit in netperf UDP_STREAM test, možná s více paralelně spuštěnými instancemi.
Název: Re:10G switch Mikrotik?
Přispěvatel: Milan Cagap 15. 04. 2021, 16:15:23
Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.
Název: Re:10G switch Mikrotik?
Přispěvatel: neregistrovany 15. 04. 2021, 22:29:41
Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.

Zdroj?
Název: Re:10G switch Mikrotik?
Přispěvatel: neznámý 16. 04. 2021, 10:57:34
Rád bych upozornil u switchů od Mikrotiku na ztrátu paketů - př. https://telekomunikace.cz/d/31608-miktorik-crs (https://telekomunikace.cz/d/31608-miktorik-crs). Doporučuji si pročíst, kolega má osobní zkušenost jako ISP, musel switche od Mikrotiku ze sítě dát pryč.
Upozorňoval jsem výše. Neočekávejte, že MKtik oficiálně vydá prohlášení, že nemáte používat switche. Odkaz výše je jen jeden z mála. Existuje více testů od lajků, ale cejchovanými měřáky, které jsou dost zárážející...
Název: Re:10G switch Mikrotik?
Přispěvatel: Milan Cagap 16. 04. 2021, 14:42:36
Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.

Zdroj?

Od supportu mikrotiku, ked sme hlasili problemi so stratou paketov a chybami na portoch.  Samozrejme, ze novie verzie sw os  uz dake veci opravili medzi casom.
Název: Re:10G switch Mikrotik?
Přispěvatel: testo_cz 05. 05. 2021, 23:01:32
Potřebuji jen popojit 3 servery, které budou komunikovat pouze mezi sebou. Jediné co tam bude potřeba, je, aby tam byly 2 oddělené sítě - Ceph a Proxmox cluster, ale jiné pokorčilé funkce nepotřebuji. Takže bud to hodit do bridge, nebo vlany. žádné filtry, které by brali výkon těch sw tam nepotřebuji dělat.

Mám 1x 10G https://mikrotik.com/product/crs305_1g_4s_in k vyzkoušení a dělal jsem drobné testy přenosů dat a zatím to vypadá dobře, nicméně ještě jsem koukal na alternativy, a cenově nejlépe vychází sw od MK nebo Ubiquity, které mi přijde taky docela zajímavé. DCN jsou strašný rakety, sw za 80k+ mi přijde hrozný nesmysl na takto "malý" cluster.
SW UBNT:
https://www.abctech.cz/ubiquiti-edgeswitch-es-16-xg-12x-sfp-1g-10g-4x-lan-1g-10g_d32826.html

Případně si říkám, že bych vzal tento MK, kvuli lepšímu HW (ram a cpu), jelikož he stejně neobsadím celý, ale max 7portů SFP+
https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

Na tom clusteru běží 3 virtualy (1x MSSQL) a pár containerů/debian virtuálů, které víceméně nic nedělají (monitoring).

Zatím jsem zkoušel test pomocí iperf, ale pokud by měl někdo zajímavý tip, co vyzkoušet, abych ověřil, co to umožní, sem s tím, budu za ně rád. :-)


Už to tu někdo psal : nejlíp oddělit sítě  storage od app .
VLAN tag + QoS na té storage například.

Nevím co přesně latence switche může spáchat na cestě Promox--ceph. Když ten switch není katastrofa.
Odhaduji že je příspěvek od Switche řádově jinde než RW latence  client operaci do toho Ceph i včetně replikaci mezi OSD.

IMHO tam máte RBD ? Tak prostě nejvíc ukáže jejich bench tooly. Jako např radosbench ukáže včetně latence. Potom si otestujte ten block device klidně pomocí FIO když už je namontovanej .
Zároveň to nejpis máte nastavené s velkými bloky , budou mnohem větší nez síťové Jumbo MTU , že ?
Vůči plně SSD ckovymi  OSD jsem netestoval, ale odhaduji že PPS výkon switche nebo latence přepínání by neměly mít znatelný dopad na malý Ceph cluster.
T.