10G switch Mikrotik?

[Miroslav Šilhavý]

Podle toho, co píšete, Vás bude - tipuji - víc trápit latence v provozu, než rychlost. Rychlost na 10 Gb sotva vytížíte, ale o to smutnější pak bývá, když to switch zničí latencí.

[Reklama]

[Hobbit]

myslim, ze vam dokaze odpovedet jenom clovek, ktery hodil dany switch na rfc merak.

objemove ten switch urcite nevytizite, uzke misto muze nastat v pps - corosync pri oprave (umrely disk a spol) umi vygenerovat i statisice PPS - a to ne kazdy switch prezije bez uhony. Matne si vzpominam, ze kdyz kolega mel blbej den a vyskubnul ze tri stroju po jednom disku (zbylo jich tam dalsich 3x15) aniz by je odpojil od clusteru, tak PPS se limitne blizilo k 1M. Ruku za to do ohne ale nedam.

[RDa]

myslim, ze vam dokaze odpovedet jenom clovek, ktery hodil dany switch na rfc merak.

objemove ten switch urcite nevytizite, uzke misto muze nastat v pps - corosync pri oprave (umrely disk a spol) umi vygenerovat i statisice PPS - a to ne kazdy switch prezije bez uhony. Matne si vzpominam, ze kdyz kolega mel blbej den a vyskubnul ze tri stroju po jednom disku (zbylo jich tam dalsich 3x15) aniz by je odpojil od clusteru, tak PPS se limitne blizilo k 1M. Ruku za to do ohne ale nedam.

Zminovany 4+1 port mikrotik zvlada 61 Mpps, na port tedy neco pres 15 Mpps. Pri 10Gb/s to odpovida 83 byte paketum, ale predpokladam ze vase 1M use case bude znamena 1M * 512 B = 4 Gb/s, protoze co sektor to paket.

Tohle pidi zarizeni je o rad schopnejsi nez vase nocni mura...

[Miroslav Šilhavý]

Tohle pidi zarizeni je o rad schopnejsi nez vase nocni mura...

Možná. Podle specifikací je to ale při packet lossu 0,1 % (není málo), a latence není specifikovaná vůbec.
Zrovna pro Ceph bych to raději ověřil, tam to může být dost nepříjemné. (U SQL taky, ale to si s tím poradí, prostě pojede pomalejš).

Mimochodem, cpát do stejného switche storage a běžný provoz bych si troufl tak nějak u high endu, na laciných technologiích bych to z principu oddělil.

[RDa]

Mimochodem, cpát do stejného switche storage a běžný provoz bych si troufl tak nějak u high endu, na laciných technologiích bych to z principu oddělil.

Tak nabizi se prirozene reseni takove, ze kdyz uz mate v serveru nejakou 10G nic, napr. X520-DA2, tak ma dva porty.. takze lze jeden pouzivat pro nejaky systemovy zaklad (storage, hypervisor), a druhej pak na aplikacni / sitove urovni a pro VM.

Ty male MK nejsou tak drahe a clovek da vice za DA kabelaz pomalu

[Reklama]

[Miroslav Šilhavý]

Tak nabizi se prirozene reseni takove, ze kdyz uz mate v serveru nejakou 10G nic, napr. X520-DA2, tak ma dva porty.. takze lze jeden pouzivat pro nejaky systemovy zaklad (storage, hypervisor), a druhej pak na aplikacni / sitove urovni a pro VM.

To Vám ale nepomůže, pokud to svedete do switche, který v kritických chvílích sám nestíhá vnímat ani svoji vlastní existenci, natož prioritizovat.

[neznámý]

Rád bych upozornil u switchů od Mikrotiku na ztrátu paketů - př. https://telekomunikace.cz/d/31608-miktorik-crs. Doporučuji si pročíst, kolega má osobní zkušenost jako ISP, musel switche od Mikrotiku ze sítě dát pryč.

[xcaveman]

Mám tam sitovky s 2x SFP+ od Supermicra, ted přesně nevím ten model, ale bude to zřejmě něco alá Intel X520.

Zkusil jsem si udělat virtual na ceph propojený skrz ten 10G 4port SFP+ a tohle dokáže, nicméně, tam bude spíš limit disků, které tam jsou. Nejsou to taky žádné highend disky. Na každém pve je 1x OSD s 960GB INTEL SSDSC2KB960G7

Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?

[RDa]

Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?

Fakt blbej napad: muzes nastavit MTU 68 a pak se divit jak se to cely rozsype (ale vazne ... pokud bys rebootnul cely cluster na tohle nastaveni - tak by melo vse jet - jen pomaleji - a buhvi jak bys detekoval, kdy paket nedorazi..).

Spis se na to pouzivaji testovaci udelatka, kde to generuje a kontroluje hw (fpga).

[Michal Kubeček]

Možná hloupý dotaz, ale dá se nějak otestovat kolik ten SW dá pps?

pktgen? Ale na 10Gb/s asi bude stačit in netperf UDP_STREAM test, možná s více paralelně spuštěnými instancemi.

[Milan Cagap]

Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.

[neregistrovany]

Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.

Zdroj?

[neznámý]

Rád bych upozornil u switchů od Mikrotiku na ztrátu paketů - př. https://telekomunikace.cz/d/31608-miktorik-crs. Doporučuji si pročíst, kolega má osobní zkušenost jako ISP, musel switche od Mikrotiku ze sítě dát pryč.

Upozorňoval jsem výše. Neočekávejte, že MKtik oficiálně vydá prohlášení, že nemáte používat switche. Odkaz výše je jen jeden z mála. Existuje více testů od lajků, ale cejchovanými měřáky, které jsou dost zárážející...

[Milan Cagap]

Mikrotk tie ich switche este nedolladil. A aj sami odporucaju v pripade problemov davat router os miesto sw os.

Zdroj?

Od supportu mikrotiku, ked sme hlasili problemi so stratou paketov a chybami na portoch.  Samozrejme, ze novie verzie sw os  uz dake veci opravili medzi casom.

[testo_cz]

Potřebuji jen popojit 3 servery, které budou komunikovat pouze mezi sebou. Jediné co tam bude potřeba, je, aby tam byly 2 oddělené sítě - Ceph a Proxmox cluster, ale jiné pokorčilé funkce nepotřebuji. Takže bud to hodit do bridge, nebo vlany. žádné filtry, které by brali výkon těch sw tam nepotřebuji dělat.

Mám 1x 10G https://mikrotik.com/product/crs305_1g_4s_in k vyzkoušení a dělal jsem drobné testy přenosů dat a zatím to vypadá dobře, nicméně ještě jsem koukal na alternativy, a cenově nejlépe vychází sw od MK nebo Ubiquity, které mi přijde taky docela zajímavé. DCN jsou strašný rakety, sw za 80k+ mi přijde hrozný nesmysl na takto "malý" cluster.
SW UBNT:
https://www.abctech.cz/ubiquiti-edgeswitch-es-16-xg-12x-sfp-1g-10g-4x-lan-1g-10g_d32826.html

Případně si říkám, že bych vzal tento MK, kvuli lepšímu HW (ram a cpu), jelikož he stejně neobsadím celý, ale max 7portů SFP+
https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults

Na tom clusteru běží 3 virtualy (1x MSSQL) a pár containerů/debian virtuálů, které víceméně nic nedělají (monitoring).

Zatím jsem zkoušel test pomocí iperf, ale pokud by měl někdo zajímavý tip, co vyzkoušet, abych ověřil, co to umožní, sem s tím, budu za ně rád. :-)

Už to tu někdo psal : nejlíp oddělit sítě  storage od app .
VLAN tag + QoS na té storage například.

Nevím co přesně latence switche může spáchat na cestě Promox--ceph. Když ten switch není katastrofa.
Odhaduji že je příspěvek od Switche řádově jinde než RW latence  client operaci do toho Ceph i včetně replikaci mezi OSD.

IMHO tam máte RBD ? Tak prostě nejvíc ukáže jejich bench tooly. Jako např radosbench ukáže včetně latence. Potom si otestujte ten block device klidně pomocí FIO když už je namontovanej .
Zároveň to nejpis máte nastavené s velkými bloky , budou mnohem větší nez síťové Jumbo MTU , že ?
Vůči plně SSD ckovymi  OSD jsem netestoval, ale odhaduji že PPS výkon switche nebo latence přepínání by neměly mít znatelný dopad na malý Ceph cluster.
T.