Nová infrastruktura, 10-15 sekcí - VLAN? [Mikrotik]

[Pepek_Namornik]

Jn, je tam toho víc, předtím mi ho schoval filtr na SFP+, CRS112-8P-4S-IN má jen 1Gb SFP, což by podle některých mohla být katastrofa... Jako nevím - nechci to zbytečně podstřelit, situace se může změnit a je dobré mít rezervy, ale zase je pravděpodobné, že až přestene GBE stačit, tak bude celá infrastruktura morálně dávno po smrti a jestli tou dobou ještě bude běžné 10Gb SFP+ nebo se už všechno vyhodí a stejně za 10-15 let udělá celé úplně jinak...

L009UiGS-RM - ROS, 1xPoE, SFP2.5, 120$
CSS610-8G-2S+IN - SwOS, 0xPoE, SFP+, 120$
L009UiGS-2HaxD-IN - ROS, 1xPoE, SFP2.5, 130$
CSS326-24G-2S+RM - SwOS, 0xPoE, SFP+, 160$
CRS112-8P-4S-IN - ROS, 8xPoE, SFP, 210$
CRS326-24G-2S+RM - ROS, 0xPoE, SFP+, 210$
RB5009UG+S+IN - ROS, 0xPoE, SFP+, 220$
RB5009UPr+S+IN - ROS, 8xPoE, SFP+, 300$

Něco z toho budu muset do těch malých racků vybrat podle křišťálové koule - odhadnout kombinaci SFP(2.5/+) a PoE... Teoreticky by to i s WiFi řešila ax verze L009, ale jen 2,4GHz a zavřená v rozvaděči... Takže ještě RP-SMA pigtailem vytáhnout antény ven z rozvaděče. Ale bez další krabičky kvůli WiFi a dost levné na to, aby případnou náhradou nevznikla žádná velká škoda... +2.4GHz WiFi, +1xPoE, +ROS jen s -SFP2.5 namísto SFP+ u 610 bez PoE a s SwOS.

[Reklama]

[ch3]

proc?

Protoze je rozdil, kdyz mas pristupovou krabku pro jednu sit, a neco jinyho, kdyz potrebujes resit 20 siti. Nemluve o tom co sem psal vejs, potrebujes to shapovat, a to mikrotik podle me neda vubec zadnej. Takovy ty lepsi zvladnou par gbit uroutovat.

celkem bez problemu

[Jose D]

A přitom má 2,5Gb port a SFP+...

no zas tak spatna ta 5009 neni, NATem klidne saturuje 10Gbit..

[Pepek_Namornik]

Jose D: O routování bych nepochyboval, ale tady je problém PPPoE směrem do CETIN - PPPoE implementace je prakticky všude single-thread, takže ani 30 jader nikoho nespasí, 5009 dá podle všeho cca 800Mb, jeden týpek co jsem našel to vyladil uzamčením max frekvence a 3 dalšíma nastaveníma na 900+Mb - doslova na krev. Ale ani CCR2004 nebo CCR2116 na tom nejsou extra líp - 1Gbit zvládají, 2Gbit pravděpodobně snad +- taky, ale 5+Gb PPPoE už nedají. To bez HW podpory ustojí asi jen x86.

Jinak update stavu - přes několik iterací jsem se dostal do stavu, že celá páteř bude 10Gb, jen 3 malé racky 2,5G (zatím, lze doplnit na 10G) - ale ne optikou - v racku přes DAC (což mi nikdo z ostřílených korporátních mazáků neporadil) a mezi racky S+RJ10 po metalice.

Z GW CCR2116 kvůli CPU (20k) a všem na gigabitu jsem to napřed přeplánoval na doplnění CRS317 16xSFP+ (10k) a DAC, pak jsem si všiml, že CCR2004-1G-12S+2XS (12xSFP+) za 11k bude lepší než CRS317 (stejná cena, 12 SFP+ stačí, ale s pořádným CPU) a nakonec mi došlo, že se z CCR2116 stává option, až by náhodou ta 2004 třeba v budoucnu nestíhala 2Gbit PPPoE nebo cokoliv, co by mohlo nastat - ale nemusí se pořizovat teď naslepo "kdyby náhodou možná bude", ale jestli/až ta situace nastane, tak se 2004 přenastaví z routeru na switch a pořídí se taková GW, jaká bude v tu dobu zrovna dostupná a potřeba - bez ohledu na porty, ty obstará "CCR switch" 2004. Schéma ještě nemám, pak možná nahodím...

[M_D]

Add PPPoE - je smutné, že některé ty switch chipy v Mikrotikách mají HW offloading, ale ROS to neumí použít.
O2, pokud to je business linka, tak optiku zakončuje na svém zařízení /např převodník Nokia a za to router Cisco nebo Huawei) a předá ti linku na normálním routovaném Ethernetu.
Add CCR2004-1G-12S+2XS, že ho použiju jako kombo router+switch - tak s tím absolutně nepočítej, vše se děje v CPU, jakýkoliv switching je SW věc. Takže rozhodně bych spíše volil router (CCR2116 a k tomu switch, např. používáme CRS326-24S+2Q+RM).
Máme hromady CCR2004-1G-12S+2XS nasazeno v technologii, používám jak router i switch, tak tuším. Pokud bych nemusel na každý nový  typ dělat zkoušky EMC/vibrace (půl mega a riziko, že to nepřežije), tak jsme už modelově výše. Uvařím ho někde u 3 Gbps routing/switch/firewall (zapojeno 2x 25 gbps, 3x 10 Gbps, 2x 1 Gbps, 2x 100 Mbps). /* v našem použití velké plus je, že v tomto CCR modelu, pokud se osadí originál staré SFP Cisco moduly, tak umí optiku 100 Mbps, bohužel je ale nejsem schopen už shánět správné verze SFP, novější modely už tak nefungují */
U Mikroitku si musíš hlídat, aby požadované funkce uměl HW switch chip a jelo to v HW a nepřeplo se ti to na SW, tím uvaříš pak cokoliv. Hlavně ty nižší 1xy řady při čemkoliv, vyjma totální minimum, tak ti skočí na SW switching, u některých menších routerů obdobně....

[Reklama]

[M_D]

Ještě: počítej, že ty metalické SFP+ od Mikrotiku S+RJ10 je slušné topidlo, jakmile to linkuje 5 Gbps a výše, necpat těsně vedle sebe.
Pasivní DAC kabely jsou v pohodě (používáme od 1 do 100 Gbps). Chce to místo na ně vepředu v racku, ať ho necpeš a nelámeš ostře dveřma. Občas blbne linkvání mezi různými výrobci, poladit nastavení, chce si to zkusit.
Také volit jen rozumné délky. Pokud namotáš bago dohromady, pak občas to magicky zlobí a není nad to mít kvůli tomu log plný (zrovna z jednoho CCR2004):
07:37:44 interface,info sfp28-2 link down
07:37:47 interface,info sfp28-2 link up (speed 25G, full duplex)
07:43:31 interface,info sfp28-2 link down
07:43:34 interface,info sfp28-2 link up (speed 25G, full duplex)
08:13:21 interface,info sfp28-2 link down
08:13:25 interface,info sfp28-2 link up (speed 25G, full duplex)
...
Ale není nad to, že na DAC propoji mám v rámci racku RTT asi o 5 nanosekund rychlejší, než to linkovat po optice, to se také počítá. Zkrátka to světlo v optickém kabelu je strašně pomalé. :-)

[Pepek_Namornik]

Super, DÍKY za věcnou a praktickou reakci.
Ad. zakončení - zatím je terminátor, budova nezkolaudovaná, optiku CETIN už na některých místech kope, takže pořizovací/dohadovací kolečko teprve nastane. Ale jestli bude varianta dostat z někoho jednoduchý ideálně nečínský "mediakonvertor" a z toho přímo IP bez dodatečného PPPoE, bylo by to super. Díky za info, zkusím po tom pak pátrat.
S topením S+RJ10 počítám, vybíral jsem právě podle MT interface compatibility listu, ta 2004 jich podporuje až 6, já potřebuju 4, rovnou jsem se chystal je rozházet minimálně ob-port.
DAC všechny 1 metr.
Ad pasivní port extender v té 2004 - no jestli tedy dá 3Gbps v náročné zátěži přes CPU, tak to je v podstatě to, co by mi prozatím stačilo - na 1 možná 2Gbit lince to udýchá a až někdy bude možné/potřebné více, tak se z něho routování/firewall vyrazí, zůstane čistě jako 10Gb VLAN switch (což CPU podle MT testu bridging dá) a před něho pořídí pořádný router, který výkonově obstará vše potřebné - jen tam tu 2116 nedám hned naslepo. Jestli si třeba 5 let odroutuje na 1Gbit než mu dojde dech - ideální stav. Nebo v tom vidíš i nějaké další potenciální problémy?
To dočasné vynechání 2116 dost srazilo aktuální cenu, ale není nezbytně nutné - prostor na 2116+317 je, jen by zase byla škoda je teď mít využité na 2% a za 5 let zjistit třeba že se bez 5+Gb PPPoE neobejdu a ani ta 2116 to nedá a stejně se bude shánět něco tou dobou aktuálnějšího/výkonnějšího...

[ch3]

Vicero DAC kabelu ma tendenci se navzajem rusit..otestovano v praxi pozor na to.. par kabelu asi ok, ale jinak bych uvazil AOC

[M_D]

Pepek: Uff, kolikátka ta VDSL linka vůbec je? Hele, jak to čtu, tak se na CCR2004 vyflákni. Vždyť to chceš propojit nakonec celé na metalice 1 Gbps, pokud chápu obrázek? Kolik máš těch metalik k rozvaděčům DR2 až DR5 z DR1? Pokud apsoň 4, tak:
a) Do DR1 dám CRS418-8P-8G-2S+RM jako páteřní switch i router.
b) K CRS418 ty 2 místní CCS326 připojím pomocí DAC kabelů.
c) Ty další CCS326/CCS610 z DR2~5 přivedu do CRS418 na porty 1-4.
d) Wifi APčka u DR1~5 si převedu do PoE portů CRS418.
e) Pokud ty kamery jsou uvnitř a mám dost kabelů DR1-DR2, tak kamery přivedu na poslední trojci PoE portů v CRS418, pokud nemám dost kabelů DR1-DR2 nebo kamery vedou z vnějšku, použiju to RB960PGS lokálně v DR2 (NE CRS112-8P-4S-IN - to je dost nepovedené, nahrazovali jsme těma RB960PGS).
f) Jako Wifi AP nepoužiju hAP ax S (zprasený HW, odfláklej SFP a ether1 port v tom EN7562CT chipsetu), ale wAP AX. Podobná cena, Wifi6, rozumná montáž na zeď, nedostaneš se ke konektorům/nesundáš ze zdi bez speciálního thorx klíče...
g) Jako CAPSMAN řídící prvek použije buď to první APčko v DR1 nebo si přihodím jakýkoliv malej RB do DR1, ať mám odděleno od vlastního routeru v CRS418.
h) Terminátor od O2 připojím do CRS418 na ten oddělený management 1 Gbps port, co vede přímo do CPU...
i) Do CRS418 si můžu i do USB připojit třeba záložní USB LTE modem konektivitu. :-)

Takto máš plně switchovanou vnitřní LAN síť v HW, routuješ přes CPU v 418 jen ten provoz do/z intertnetu, což kvůli PPPoE vždy bude u Mikrotiku CPU only režim. L2 switching, L3 routing i firewall vzájemného vnitřního LAN provozu můžeš offloadovat plně do L3HW (takže wirespeed)....
Zvážil bych místo těch CSS jejich CRS ekvivlanet, přeci jen jednotná správa jedním nástrojem je plus a CRS umí pár věcí navíc, které by jsi mohl chtít pak použít.
Až budeš chtít výše s konektovitou, optiku v baráku 10G, ..., tak CRS418 vyhodíš, vždyť stojí sedmičku a máš v tom CPU ekvivalent tomu CCR2004...

[ch3]

CRS418 ma cca 40% routovaciho vykonu  CCR2004 

[Pepek_Namornik]

To schéma už je dost staré a situace prošla výraznou evolucí, ale chápu, že je tady po tom tuna textu, takže se v tom blbě orientuje (a taky chápu, že ne vše se úplně chce číst...).
Když jsem tam provizorně hodil hAP ax2, které se mi povalovalo doma aby se dalo rozjet topení, tak to jelo cca 160Mbit, ale optika se aktuálně v obci kope. Minimálně s 1Gb PPPoE počítám, že rovnou aktuálně pořízený router musí utáhnout - což je těsně nad hranicí RB5009, takže je právě ta 2004 minimum.
V budově ale bude naprosté minimum vnitřního provozu, maximálně v rámci jednoho pracoviště na switchi, bez serverů - takže u GW stejně všechno skončí natované v CPU do PPPoE - switchovat mezi porty prakticky nebude co.
Btw wAP už mám v novejší verzi nahozené místo hAP ax, stejně tak CCR326. Místo CSS610 do malých switchů zvažuju 5009 - ROS, 2,5G out of box, možnost S+RJ10 nebo 10G optiky později.

Výkon té CRS418 je podle MT testů cca jako hAP ax³, poloviční oproti 4011.