Nová infrastruktura, 10-15 sekcí - VLAN? [Mikrotik]

[Pepek_Namornik]

Jn, je tam toho víc, předtím mi ho schoval filtr na SFP+, CRS112-8P-4S-IN má jen 1Gb SFP, což by podle některých mohla být katastrofa... Jako nevím - nechci to zbytečně podstřelit, situace se může změnit a je dobré mít rezervy, ale zase je pravděpodobné, že až přestene GBE stačit, tak bude celá infrastruktura morálně dávno po smrti a jestli tou dobou ještě bude běžné 10Gb SFP+ nebo se už všechno vyhodí a stejně za 10-15 let udělá celé úplně jinak...

L009UiGS-RM - ROS, 1xPoE, SFP2.5, 120$
CSS610-8G-2S+IN - SwOS, 0xPoE, SFP+, 120$
L009UiGS-2HaxD-IN - ROS, 1xPoE, SFP2.5, 130$
CSS326-24G-2S+RM - SwOS, 0xPoE, SFP+, 160$
CRS112-8P-4S-IN - ROS, 8xPoE, SFP, 210$
CRS326-24G-2S+RM - ROS, 0xPoE, SFP+, 210$
RB5009UG+S+IN - ROS, 0xPoE, SFP+, 220$
RB5009UPr+S+IN - ROS, 8xPoE, SFP+, 300$

Něco z toho budu muset do těch malých racků vybrat podle křišťálové koule - odhadnout kombinaci SFP(2.5/+) a PoE... Teoreticky by to i s WiFi řešila ax verze L009, ale jen 2,4GHz a zavřená v rozvaděči... Takže ještě RP-SMA pigtailem vytáhnout antény ven z rozvaděče. Ale bez další krabičky kvůli WiFi a dost levné na to, aby případnou náhradou nevznikla žádná velká škoda... +2.4GHz WiFi, +1xPoE, +ROS jen s -SFP2.5 namísto SFP+ u 610 bez PoE a s SwOS.

[Reklama]

[ch3]

proc?

Protoze je rozdil, kdyz mas pristupovou krabku pro jednu sit, a neco jinyho, kdyz potrebujes resit 20 siti. Nemluve o tom co sem psal vejs, potrebujes to shapovat, a to mikrotik podle me neda vubec zadnej. Takovy ty lepsi zvladnou par gbit uroutovat.

celkem bez problemu

[Jose D]

A přitom má 2,5Gb port a SFP+...

no zas tak spatna ta 5009 neni, NATem klidne saturuje 10Gbit..

[Pepek_Namornik]

Jose D: O routování bych nepochyboval, ale tady je problém PPPoE směrem do CETIN - PPPoE implementace je prakticky všude single-thread, takže ani 30 jader nikoho nespasí, 5009 dá podle všeho cca 800Mb, jeden týpek co jsem našel to vyladil uzamčením max frekvence a 3 dalšíma nastaveníma na 900+Mb - doslova na krev. Ale ani CCR2004 nebo CCR2116 na tom nejsou extra líp - 1Gbit zvládají, 2Gbit pravděpodobně snad +- taky, ale 5+Gb PPPoE už nedají. To bez HW podpory ustojí asi jen x86.

Jinak update stavu - přes několik iterací jsem se dostal do stavu, že celá páteř bude 10Gb, jen 3 malé racky 2,5G (zatím, lze doplnit na 10G) - ale ne optikou - v racku přes DAC (což mi nikdo z ostřílených korporátních mazáků neporadil) a mezi racky S+RJ10 po metalice.

Z GW CCR2116 kvůli CPU (20k) a všem na gigabitu jsem to napřed přeplánoval na doplnění CRS317 16xSFP+ (10k) a DAC, pak jsem si všiml, že CCR2004-1G-12S+2XS (12xSFP+) za 11k bude lepší než CRS317 (stejná cena, 12 SFP+ stačí, ale s pořádným CPU) a nakonec mi došlo, že se z CCR2116 stává option, až by náhodou ta 2004 třeba v budoucnu nestíhala 2Gbit PPPoE nebo cokoliv, co by mohlo nastat - ale nemusí se pořizovat teď naslepo "kdyby náhodou možná bude", ale jestli/až ta situace nastane, tak se 2004 přenastaví z routeru na switch a pořídí se taková GW, jaká bude v tu dobu zrovna dostupná a potřeba - bez ohledu na porty, ty obstará "CCR switch" 2004. Schéma ještě nemám, pak možná nahodím...

[M_D]

Add PPPoE - je smutné, že některé ty switch chipy v Mikrotikách mají HW offloading, ale ROS to neumí použít.
O2, pokud to je business linka, tak optiku zakončuje na svém zařízení /např převodník Nokia a za to router Cisco nebo Huawei) a předá ti linku na normálním routovaném Ethernetu.
Add CCR2004-1G-12S+2XS, že ho použiju jako kombo router+switch - tak s tím absolutně nepočítej, vše se děje v CPU, jakýkoliv switching je SW věc. Takže rozhodně bych spíše volil router (CCR2116 a k tomu switch, např. používáme CRS326-24S+2Q+RM).
Máme hromady CCR2004-1G-12S+2XS nasazeno v technologii, používám jak router i switch, tak tuším. Pokud bych nemusel na každý nový  typ dělat zkoušky EMC/vibrace (půl mega a riziko, že to nepřežije), tak jsme už modelově výše. Uvařím ho někde u 3 Gbps routing/switch/firewall (zapojeno 2x 25 gbps, 3x 10 Gbps, 2x 1 Gbps, 2x 100 Mbps). /* v našem použití velké plus je, že v tomto CCR modelu, pokud se osadí originál staré SFP Cisco moduly, tak umí optiku 100 Mbps, bohužel je ale nejsem schopen už shánět správné verze SFP, novější modely už tak nefungují */
U Mikroitku si musíš hlídat, aby požadované funkce uměl HW switch chip a jelo to v HW a nepřeplo se ti to na SW, tím uvaříš pak cokoliv. Hlavně ty nižší 1xy řady při čemkoliv, vyjma totální minimum, tak ti skočí na SW switching, u některých menších routerů obdobně....

[Reklama]

[M_D]

Ještě: počítej, že ty metalické SFP+ od Mikrotiku S+RJ10 je slušné topidlo, jakmile to linkuje 5 Gbps a výše, necpat těsně vedle sebe.
Pasivní DAC kabely jsou v pohodě (používáme od 1 do 100 Gbps). Chce to místo na ně vepředu v racku, ať ho necpeš a nelámeš ostře dveřma. Občas blbne linkvání mezi různými výrobci, poladit nastavení, chce si to zkusit.
Také volit jen rozumné délky. Pokud namotáš bago dohromady, pak občas to magicky zlobí a není nad to mít kvůli tomu log plný (zrovna z jednoho CCR2004):
07:37:44 interface,info sfp28-2 link down
07:37:47 interface,info sfp28-2 link up (speed 25G, full duplex)
07:43:31 interface,info sfp28-2 link down
07:43:34 interface,info sfp28-2 link up (speed 25G, full duplex)
08:13:21 interface,info sfp28-2 link down
08:13:25 interface,info sfp28-2 link up (speed 25G, full duplex)
...
Ale není nad to, že na DAC propoji mám v rámci racku RTT asi o 5 nanosekund rychlejší, než to linkovat po optice, to se také počítá. Zkrátka to světlo v optickém kabelu je strašně pomalé. :-)

[Pepek_Namornik]

Super, DÍKY za věcnou a praktickou reakci.
Ad. zakončení - zatím je terminátor, budova nezkolaudovaná, optiku CETIN už na některých místech kope, takže pořizovací/dohadovací kolečko teprve nastane. Ale jestli bude varianta dostat z někoho jednoduchý ideálně nečínský "mediakonvertor" a z toho přímo IP bez dodatečného PPPoE, bylo by to super. Díky za info, zkusím po tom pak pátrat.
S topením S+RJ10 počítám, vybíral jsem právě podle MT interface compatibility listu, ta 2004 jich podporuje až 6, já potřebuju 4, rovnou jsem se chystal je rozházet minimálně ob-port.
DAC všechny 1 metr.
Ad pasivní port extender v té 2004 - no jestli tedy dá 3Gbps v náročné zátěži přes CPU, tak to je v podstatě to, co by mi prozatím stačilo - na 1 možná 2Gbit lince to udýchá a až někdy bude možné/potřebné více, tak se z něho routování/firewall vyrazí, zůstane čistě jako 10Gb VLAN switch (což CPU podle MT testu bridging dá) a před něho pořídí pořádný router, který výkonově obstará vše potřebné - jen tam tu 2116 nedám hned naslepo. Jestli si třeba 5 let odroutuje na 1Gbit než mu dojde dech - ideální stav. Nebo v tom vidíš i nějaké další potenciální problémy?
To dočasné vynechání 2116 dost srazilo aktuální cenu, ale není nezbytně nutné - prostor na 2116+317 je, jen by zase byla škoda je teď mít využité na 2% a za 5 let zjistit třeba že se bez 5+Gb PPPoE neobejdu a ani ta 2116 to nedá a stejně se bude shánět něco tou dobou aktuálnějšího/výkonnějšího...

[ch3]

Vicero DAC kabelu ma tendenci se navzajem rusit..otestovano v praxi pozor na to.. par kabelu asi ok, ale jinak bych uvazil AOC

[M_D]

Pepek: Uff, kolikátka ta VDSL linka vůbec je? Hele, jak to čtu, tak se na CCR2004 vyflákni. Vždyť to chceš propojit nakonec celé na metalice 1 Gbps, pokud chápu obrázek? Kolik máš těch metalik k rozvaděčům DR2 až DR5 z DR1? Pokud apsoň 4, tak:
a) Do DR1 dám CRS418-8P-8G-2S+RM jako páteřní switch i router.
b) K CRS418 ty 2 místní CCS326 připojím pomocí DAC kabelů.
c) Ty další CCS326/CCS610 z DR2~5 přivedu do CRS418 na porty 1-4.
d) Wifi APčka u DR1~5 si převedu do PoE portů CRS418.
e) Pokud ty kamery jsou uvnitř a mám dost kabelů DR1-DR2, tak kamery přivedu na poslední trojci PoE portů v CRS418, pokud nemám dost kabelů DR1-DR2 nebo kamery vedou z vnějšku, použiju to RB960PGS lokálně v DR2 (NE CRS112-8P-4S-IN - to je dost nepovedené, nahrazovali jsme těma RB960PGS).
f) Jako Wifi AP nepoužiju hAP ax S (zprasený HW, odfláklej SFP a ether1 port v tom EN7562CT chipsetu), ale wAP AX. Podobná cena, Wifi6, rozumná montáž na zeď, nedostaneš se ke konektorům/nesundáš ze zdi bez speciálního thorx klíče...
g) Jako CAPSMAN řídící prvek použije buď to první APčko v DR1 nebo si přihodím jakýkoliv malej RB do DR1, ať mám odděleno od vlastního routeru v CRS418.
h) Terminátor od O2 připojím do CRS418 na ten oddělený management 1 Gbps port, co vede přímo do CPU...
i) Do CRS418 si můžu i do USB připojit třeba záložní USB LTE modem konektivitu. :-)

Takto máš plně switchovanou vnitřní LAN síť v HW, routuješ přes CPU v 418 jen ten provoz do/z intertnetu, což kvůli PPPoE vždy bude u Mikrotiku CPU only režim. L2 switching, L3 routing i firewall vzájemného vnitřního LAN provozu můžeš offloadovat plně do L3HW (takže wirespeed)....
Zvážil bych místo těch CSS jejich CRS ekvivlanet, přeci jen jednotná správa jedním nástrojem je plus a CRS umí pár věcí navíc, které by jsi mohl chtít pak použít.
Až budeš chtít výše s konektovitou, optiku v baráku 10G, ..., tak CRS418 vyhodíš, vždyť stojí sedmičku a máš v tom CPU ekvivalent tomu CCR2004...

[ch3]

CRS418 ma cca 40% routovaciho vykonu  CCR2004 

[Pepek_Namornik]

To schéma už je dost staré a situace prošla výraznou evolucí, ale chápu, že je tady po tom tuna textu, takže se v tom blbě orientuje (a taky chápu, že ne vše se úplně chce číst...).
Když jsem tam provizorně hodil hAP ax2, které se mi povalovalo doma aby se dalo rozjet topení, tak to jelo cca 160Mbit, ale optika se aktuálně v obci kope. Minimálně s 1Gb PPPoE počítám, že rovnou aktuálně pořízený router musí utáhnout - což je těsně nad hranicí RB5009, takže je právě ta 2004 minimum.
V budově ale bude naprosté minimum vnitřního provozu, maximálně v rámci jednoho pracoviště na switchi, bez serverů - takže u GW stejně všechno skončí natované v CPU do PPPoE - switchovat mezi porty prakticky nebude co.
Btw wAP už mám v novejší verzi nahozené místo hAP ax, stejně tak CCR326. Místo CSS610 do malých switchů zvažuju 5009 - ROS, 2,5G out of box, možnost S+RJ10 nebo 10G optiky později.

Výkon té CRS418 je podle MT testů cca jako hAP ax³, poloviční oproti 4011.

[M_D]

CRS418 je takové portové vylepšení RB3011 o víc portů, takže půlka RB1400 sedí. Takový kočkopes pro chudé (zvláště varianta s WIFI6 v sobě). Dokud se provoz drží v rámci switche, tak procesor nic nedělá a plný jeho výkon mám pro ten internet. CCR vše jede v CPU, první větší přenos v LAN ti ukradne 1-2 jádra...

Add CCR2004-1G-12S+2XS. V příloze máš graf tok přes sfp28-1 port a k tomu jak cvičí jádra CPU. Je to dnešní noc. O půlnoci se spustí úloha snashotu clusteru, prakticky se pomocí NFSv4 kopíruje z VLAN1 do VLAN2 z CEPH/SSD pole na diskový NAS s RAID10, ve tři ráno se pustí replikace NAS1 na NAS2, kdy se ty stejný data přenesou přes port z VLAN2 na VLAN3, jde to mezi disky v RAID10 na RAID6. Tak se můžeš podívat, jak taková úloha cvičí s CPU, přenese se vždy 1 TB dat. Teče to z portu, bridge, VLAN, bond, vrrp, pár pravidel firewall a vrací se to zpět do portu. Takže jo, asi to PPPoE 1 Gbps dá...

Jestli tam máš linku, co dává na VDSL někde 250 Mbps a vniřní LAN toky jsou nula, tak bych se na blbnutí s metalikou 2,5 Gbps vybodl, když už šetřím a nepoužiju instalované optokabely. Dej si tam CCR2004-16G-2S+. Je levnější, ušetříš za metalické SFP, má to 2x osmiportový gigo switch chip a dvě 10 Gbps SFP+ k tomu. Přitáhnu do jednoho switch chipu linky od LAN switchů, do jednoho SFP+ dám metalický RJ a na ten O2 linku.  Intra LAN vyřídí switch chip, do něj ti jde z CPU 10G linka a switch chip ti to rozhodí na 8 gigovek, CPU tak řeší jen internet.

Zamysli se, co budeš dělat, když ti ta CCR chcípne (a máš jen tu jednu) ve čtvrtek večer před Velikonocemi... U toho původního obrázku bych řešil 2 ks toho CRS418, jednu použil jako tu páteř a druhou v DR2 místo kombinace CSS610 a RB960, takže by jen tak neležela v šuplíku a měl jsi připravenou zálohu centrálního bodu. V noci skript vždy z páteřní provede bckup na flash toho v DR2, když mu DR1 zdechne, na vrátnici v obálce je postup, že poučený otrok na té v DR2 provede restore lokálně uložené CFG z DR1 a odnese a přepojí do DR1 - já nemusím přerušovat vysvěnou dovolenou na břehu Zemplínké šíravy.... Bez kamer to chvíli přežijí, ale bez internetu v pondělí bytaři místo sousedek zmrskají tebe.

[Pepek_Namornik]

Cena ani tak napjatá není, ale vzhledem k tomu, že zatím nevím, jak by přesně mohla být řešená případná 2+Gb optika (PPPoE?) a jestli by to ta 2004 nebo i 2116 utáhla (2004 zase tak moc rychlejší oproti 5009 není, 2116 to drtí 16 jádry, ale PPPoE je singlethread...), tak nechci pořídit něco drahého, co se nedejbože s 2Gb WAN stane nepoužitelné. Mít jistotu, že 2116 utáhne 2Gb PPPoE, tak ji rovnou beru. Není problém zaplatit robustní 10/2,5G páteř (ale 25-30k za opti moduly mi teda zatím příjde zbytečné), která vydrží dlouhodobě a na které se pak případně protočí router/doplní moduly dle budoucího dostupného připojení.
Pořád jsem přemýšlel o 2,5-10Gb metalice s S+RJ10, které jdou kvůli topení ve větším množství vrazit prakticky jen do CCR2004SFP nebo CRS317, to mě pořád táhlo do slepých uliček... CRS309 je totiž pasivní a víc S+RJ10 ji upeče. Ale ještě jsem teď narazil na CRS310 s 8x2,5Gb ETH za cenu 4 S+RJ10 modulů - což by elegantně vyřešilo problém s upečením pasivní 309, připojilo externí rozvaděče na 2,5G a hlavní switch ve velkém racku by mohla být CRS309 - 8 SFP+ portů je akorát i do budoucna na optiku.
Ta UTP verze 2004 by se bohužel do budoucna mohla dostat do pasti s rychlejším WAN (nedejbože PPPoE) a posílením páteře. Porty má jen 1G RJ45, takže by se přinejhorším všechno překopalo a 2004 zůstala na ocet/jen jako 1Gb switch... Trochu mě to to svádí k dočasné 5009, která pojede na 1Gb PPPoE na krev/800-900Mb, ale až se nahradí za pořádnou GW, tak se neztratí/zůstane do zálohy/není drahá a k tomu 309+310 poslouží jako solidní základ i s rezervou na budoucí 10Gb upgrade.

Nelíbí se mi počet variant, které začínám generovat... Ceny v příloze pracovně s DPH, nezahrnují co je ve všech variantách stejné (CRS326 na zásuvky + 5009 PoE a v DR0x + WiFi)

Každopádně mi teď dává největší smysl jako hlavní switch CRS309 bez S+RJ10 (max 1) a vzdálené DR na 1G z GW nebo 2,5G přes CRS310. A spíš je tedy otázka co jako GW - 5009, 2004UTP nebo 2004SFP...
Ještě mě k té spoustě variant v příloze napadá 2004SFP + 309 + 310 - silné CPU v 2004 bez switchování (jen 1xWAN-1xLAN), 309 pořeší provoz a 310 za cenu S+RJ10 modulů připojí 5009 v DR0x na 2,5G... Sice jedna z dražších variant, ale dost robustní. Vlastně varianta "Low cost" s 2004 místo 5009. (11,5+5,2+4,2=21k)

PS: zajímavé je, že MT má v měření výkonu dost rozdíl mezi UTP a SFP verzemi 2004 s identickým CPU (+60%).
Routing 25 IP filter rules, 64byte: RB5009=414Mb, CCR2004UTP=394Mb, CCR2004SFP=636Mb (všechny 4core), CCR2116=2122Mb (16core, 335% 4core 2004 - podobný singlethread?)