1
Sítě / Re:10G switch Mikrotik?
« kdy: 05. 05. 2021, 23:01:32 »Potřebuji jen popojit 3 servery, které budou komunikovat pouze mezi sebou. Jediné co tam bude potřeba, je, aby tam byly 2 oddělené sítě - Ceph a Proxmox cluster, ale jiné pokorčilé funkce nepotřebuji. Takže bud to hodit do bridge, nebo vlany. žádné filtry, které by brali výkon těch sw tam nepotřebuji dělat.
Mám 1x 10G https://mikrotik.com/product/crs305_1g_4s_in k vyzkoušení a dělal jsem drobné testy přenosů dat a zatím to vypadá dobře, nicméně ještě jsem koukal na alternativy, a cenově nejlépe vychází sw od MK nebo Ubiquity, které mi přijde taky docela zajímavé. DCN jsou strašný rakety, sw za 80k+ mi přijde hrozný nesmysl na takto "malý" cluster.
SW UBNT:
https://www.abctech.cz/ubiquiti-edgeswitch-es-16-xg-12x-sfp-1g-10g-4x-lan-1g-10g_d32826.html
Případně si říkám, že bych vzal tento MK, kvuli lepšímu HW (ram a cpu), jelikož he stejně neobsadím celý, ale max 7portů SFP+
https://mikrotik.com/product/crs317_1g_16s_rm#fndtn-testresults
Na tom clusteru běží 3 virtualy (1x MSSQL) a pár containerů/debian virtuálů, které víceméně nic nedělají (monitoring).
Zatím jsem zkoušel test pomocí iperf, ale pokud by měl někdo zajímavý tip, co vyzkoušet, abych ověřil, co to umožní, sem s tím, budu za ně rád. :-)
Už to tu někdo psal : nejlíp oddělit sítě storage od app .
VLAN tag + QoS na té storage například.
Nevím co přesně latence switche může spáchat na cestě Promox--ceph. Když ten switch není katastrofa.
Odhaduji že je příspěvek od Switche řádově jinde než RW latence client operaci do toho Ceph i včetně replikaci mezi OSD.
IMHO tam máte RBD ? Tak prostě nejvíc ukáže jejich bench tooly. Jako např radosbench ukáže včetně latence. Potom si otestujte ten block device klidně pomocí FIO když už je namontovanej .
Zároveň to nejpis máte nastavené s velkými bloky , budou mnohem větší nez síťové Jumbo MTU , že ?
Vůči plně SSD ckovymi OSD jsem netestoval, ale odhaduji že PPS výkon switche nebo latence přepínání by neměly mít znatelný dopad na malý Ceph cluster.
T.