Nová infrastruktura, 10-15 sekcí - VLAN? [Mikrotik]

[Pepek_Namornik]

Možná ještě takový dotaz zpět k té optice - pořád tady píšu, že ta 10Gb optická páteř by potřebovala moduly za cca 20-30k, protože jsem na mikrotiku našel nejlevnější SFP+ >1Gb XS+31LC10D za cca 2 700,- x2 ~ 5 500,- na jeden spoj.

Jenže jsem teď na i4wifi něco dohledával, a vidím tam SFP+ 10Gb moduly za 600-700 XtrendLan, Planet... Ubiquity sada 2ks za 2000.
Tak se dívám znova, že MT má pouze SFP28 25Gb moduly a žádné pouze 10Gb SFP+ - je to jediný důvod toho velkého cenového rozdílu? Protože 25Gb je pro mě nesmysl.
Stačí tedy vzít libovolné tyto 10Gb moduly á2000 za spoj? Nějaké známé problémy s kompatibilitou? Rozdílné specifikace/vlastnosti, které si pohlídat? Preferovaný/vhodný/ověřený/bezproblémový typ? Nebo libovolný SingleMode dual LC/upc?
Protože jestli je 10Gb spoj za 1500-2000, tak není o čem debatovat...

[Reklama]

[Pepek_Namornik]

Je pro mě v této situaci (5 racků, do 30m, natahaná 4 vlákna/rack) nějaký rozdíl v použití modulů pro jedno nebo dvě vlákna? Kromě toho jestli vytvořím maximálně 2 nebo 4 spoje?
Dvě vlákna 1310nm jsou o něco levnější než jedno 1270+1330, ale rozdíl je minimální.
Lze do DualLC modulu zapojit dva samostatné simplex patch kabely, nebo je tam nějaký zámek, který tomu zabraňuje/důvod to nedělat?

[ch3]

SFP-PLUS-LR10-CI
https://www.alternetivo.cz/sfp-transceiver-10gbase-lr-lw-multirate-sm-10km-1310nm-lc-duplex-dmi-diagnostika-cisco-kompatibilni_d11234.html

[5nik]

S dovolením zareaguji na více příspěvků.
Mikrotik je poměrně benevolentní, co se týče podpory ne-Mikrotik SFP(+) modulů. Zmíněné XtendLany jsem tuším také používal. Je vhodné, aby měly DDM (diagnostiku). Jinak většinou když byly moduly psané jako Cisco compatible, tak v Mtiku jely.

Zda použít či nepoužít jednovláknovou komunikaci (aka BiDi) pomocí (C)WDM je skoro politické rozhodnutí. Záleží na okolnostech. Někde jsem pro páteř používal LAG (2x10Gb) po dvou (BiDi) vláknech kvůli redundanci a omezenému počtu vyvařených vláken. Ale to už se dostáváme k tématu dostupnosti / redundance.

A ještě poslední dotaz ohledně zapojení simplex patchkordů do DualLC modulů - ne, není to nijak omezené. Dokonce lze duplexní patchkabely rozdělat na dva simplexní (potřebujete-li např. propojit DualLC gbic modul se samostatnými SC porty na optické vaně, lze použít duplexní LC-SC kabel a na straně SC konektoru jej rozdělit).

[M_D]

Mikrotik má svoje SFP+ přepálený, jak je to multispeed. Funguje v něm skoro cokoliv. Neexperimentoval bych jen s těmi metalickými, tam je to složitější. My požívéme ve velkém FS.com. Vzhledem jen k těm 4 vláknům a ještě na těch SC/APC simplex konektorech, tak jednoznačně jednovlákna BiDi, vždyť pár SFP+ proti sobě koupím do litru. A pozor na ty optické vany, pokud platí fotka na začátku globálně a stejné zakončení je všude, budu potřebovat něco jako SC/APC-LC/UPC mezi vanu a SFP+ modul: https://www.fs.com/eu-en/products/62913.html?attribute=103604&id=4849599
Ten rozvod vypadá spíše jak příprava na GPON, než optickou LAN v baráku. Ty další porty, to vede to těch bytů, že? Takže stejně až CETIN dokope, tak bude se chtít přímo na ty vlákna a ne se cpát přes nějaké tvoje aktivní prvky (takže si jen oddechneš, že o otravy méně)...

Co se toho cvičení s vymýšlením propojení přes X typů switchů týče, tak jsi asi nenašel CRS312 s 8x 10G metal a 4x SFP+. :-) Ale moc blbě to překombinováváš a zaděláváš jen na problém... Čím víc zřetězených krabiček, tím víc se toho může rozbít...
Do těch DR bych dal 6x stejný CRS326-24G-2S+IN. Dobře, pokud na ty malé rozvadeče nerozdýcháš tolik portů, tak tam CRS310-8G+2S+IN - aspoň stejná chip sada a možnosti. V žádném případě blbosti typu 5009. Těcto 6 switchů propojit do kruhu přes ty SFP+ porty pomocí těch BiDi. Máš krásný 10 Gbps kruh. Řízené přes RSTP. Router přihodit nahoru, připojit zdvojeně pomocí dvou portů do těch dvou switchů v DR1 (opět pomocí RSTP, takže při selhání jednoho switche zbytek baráku má pořád net) a třetím portem na tu VDSL linku.  Žádné ptákoviny s řetězením přes CRS309...310... Pokud máš trauma z PPPoE, tak nový RB660 možná řeší (2x10G+4x2.5G, existuje i s 4x PoE out verze, co by šla dát ke kamerám). Ale pokud máš ty 5009, proč ne. Wifi APčka bych připojil přímo k těm switchům lokálně v racku, u WAPu máš v balení PoE injektor, máš stejně switche s 24V zdrojem, můžeš z jednoho živit switch i AP. CAPSMAN pustím na jednom z těch switchů v DR1, klidně na druhém záložní. Pokud máš DR1 na UPS a ostatní ne, pak se dá pochopit ta vylomenina, že stahuješ WAPy zvlášť přímo do PoE routeru do DR1. Pustil bych přímo do lokálního switche a řešil management přes capsman vlanu.
Až ti fakt router-LAN 1 Gbps nebude stačit, tak si dokoupíš jednu tu 2004/SFP+ nebo 2116, vložíš do kruhu jako sedmý prvek pomocí dvou SFP+ portů a na třetí dám S+RJ10 pro O2. Pokud budeš mít business tarif, bude linka bez PPPoE. Pak je i plus, že k takové lince bude aspoň blok /29 IPček, takže případně na jedno dávám provoz svůj, na druhé ty živnosti, na třetí ty domácnosti (než se ti rozprchnou na přímé propojení na optiku k CETINu).

[Reklama]

[Pepek_Namornik]

ch3, 5nik: Super, díky, moc pomohlo

M_D: Taky díky. Jelikož je to s 10G optikou cenově úplně jinak než v čem jsem celou dobu žil podle 25Gb MT a nepodíval se jinam a tady mě nikdo nekopnul (pouze že optiku jo, ale ne že ta cena co píšu je mimo), tak jednoznačně CRS317 bez metaliky (kromě PoE).
Na hromady zásuvek CRS326 a v těch malých DR nechám ty CRS310 s 2,5G - přecejen to dnes má každá lepší nová deska a stejně levnější CRS s SFP+ a <24 porty není, až CRS326 - a než mít 18 prázdných portů, radši ať je těch 8 rychlejších... Možná bych i dal do toho většího DR02 326+310 na dva BiDi spoje z centrální 317.

Už se mi podařilo sehnat i týpka přes zabezpečovačku a kamery - velice nečekaně to vypadá na 6-7 PoE kamer všude možně (pro jistotu jedna na každé pracoviště, kde předtím nebyla + nějaký erár) a NVR v hlavním racku:) Takže tam budou dvě PoE 5009 - jedna WiFi a druhá kamery (ano, je tam jediný záložní zdroj v DR01). Ať ty 5009 netrhám, tak GW bude taky PoE verze, ať jsou 3 stejný a kdyby se pak nahodilo něco silnějšího, zůstane jako záloha pro WiFi/Kamery.
A už teď mám 10xSFP+ využité - 3x 5009 (3xDAC), 3x 326 (2xDAC + 1xOptika), 4x 310 (4xOptika)...
K tomu RSTP - zatím nemám zkušenosti... Teoreticky má 317 volné porty i na bonding/LACP? Zase by to byl dvojnásobek modulů...  Nebo raději ten okruh? Alespoň 310+326 v DR02 spojit DAC? Pak je otázka, jestli by mělo cenu okruhovat ty zbývající 3 CRS310 po 6 zásuvkách - z toho očekávám 1 max 2 zapojené a vyžívané... Aby tam nakonec nebyl jen NB na WiFi...

Ad opt. vany - ano, všechny jsou stejné a ten typ patch kabelů které odkazuješ tam přesně nechali zedníci v bedně (v prvním postu jsem to špatně dešifroval a uvedl LC/LC). Ty spoje ve vaně vpravo do bytů nevedou, tam jsou jen po dvou UTP. Přesně to nemám potvrzené, ale řekl bych, že to je vytažené ven před barák k přípojce na CETIN - jestli se na to pak jen před domem nasplicují? Ale potvrzené to nemám a o žádné jiné optice v tom baráku nevím.

[panpanika]

Možná ještě takový dotaz zpět k té optice - pořád tady píšu, že ta 10Gb optická páteř by potřebovala moduly za cca 20-30k, protože jsem na mikrotiku našel nejlevnější SFP+ >1Gb XS+31LC10D za cca 2 700,- x2 ~ 5 500,- na jeden spoj.

Jenže jsem teď na i4wifi něco dohledával, a vidím tam SFP+ 10Gb moduly za 600-700 XtrendLan, Planet... Ubiquity sada 2ks za 2000.
Tak se dívám znova, že MT má pouze SFP28 25Gb moduly a žádné pouze 10Gb SFP+ - je to jediný důvod toho velkého cenového rozdílu? Protože 25Gb je pro mě nesmysl.
Stačí tedy vzít libovolné tyto 10Gb moduly á2000 za spoj? Nějaké známé problémy s kompatibilitou? Rozdílné specifikace/vlastnosti, které si pohlídat? Preferovaný/vhodný/ověřený/bezproblémový typ? Nebo libovolný SingleMode dual LC/upc?
Protože jestli je 10Gb spoj za 1500-2000, tak není o čem debatovat...

10g maxlinky za 400czk? taky ok
jsem tomu puvodne neveril ale kolegove me ukecali a meli pravdu!
fscom i xtendlan taky ok nekde je mam ale vetsinu maxiku.

bacha DAC xtendlan maj blbe udelanou vycvakavaci pacicku a mel jsem s tim mrzeni a stourani a vyndavani switche z racku.. u modulu jsem takovej problem nemel.

[Pepek_Namornik]

panpanika: Díky za tip s tím Xtendlan DAC, dám si na to pozor. Našel jsem, že UBQT má 0,5m DAC na rozdíl od většiny, kteří dělají 1m. Půlmetr bohatě postačí, všechno bude hned nad sebou jen s menšíma mezerama na větrání, ať se to nepeče úplně na sobě.

[5nik]

DAC se dělají tuším od 25cm. Používáme od Maxlinku (viz např. https://www.atcmarket.cz/detail/MaxLink-10G-SFP-DAC-kabel-pasivni-DDM-cisco-comp-02m/560626), ale ostatní výrobci také budou mít.

[ja.]

DAC se dělají tuším od 25cm. Používáme od Maxlinku (viz např. https://www.atcmarket.cz/detail/MaxLink-10G-SFP-DAC-kabel-pasivni-DDM-cisco-comp-02m/560626), ale ostatní výrobci také budou mít.

Od MaxLinku mame aj 20 cm; ML-DACS+02. U inych vyrobcoch som take kratke nevidel a preto som sa dopracoval k MaxLinku.

[Pepek_Namornik]

OK, díky všem za rady. Nebylo na to moc času tak to trvá, ale na stole to mám kromě FW a WLAN rozjeté (ne že by to nejelo, jen jsem s tím zatím nezačal).
Ty VLAN nejsou až tak složité, ale všude kde jsem na to narazil to vysvětlení není úplně ono a systémově, všude jen tuny příkladů a jak rozjet 2 VLAN na jednom-dvou routeru/switchi se statickou IP... Ale občas jen někde někdo zmíní jak to v pozadí pracuje, takže se z těch příkladů často blbě odvozuje co se týká routeru, co switche, jak páteřní switch, jak access switch... Nejlepší jsou borci na YT, co nakreslí a ukážou schéma co jdou dělat a hned na to řekne, že to má v jiném portu:D
Chápu to tak, že to co nastavuji v Bridge, tak se týká L2 switche, takže v momentě kdy se zapne VLAN filtering, tak jde komunikace s ROS do háje a swtich chip všechno řeší sám. Co se nastavuje v Interface-VLAN a nad těmi VLAN ITF, tak je L3 tlačící provoz do CPU a HW offload to neodřeže. Takže switche a porty se nastavují v Bridge (+1x MGMT VLAN), router je zase prakticky celý nastavený v interface. Pokud bych nechtěl na GW využít prázdné porty pro testovací přístup do jednotlivých VLAN, tak bridge na GW prakticky není potřeba (dalo by se všechny VLAN natlačit přímo na SFP1).
Nechce se mi anonymizovat celé schéma, tak jen stručný popis se zaokrouhlenými počty...
GW - 5009. SFP na páteřní switch, ETH1 WAN, ETH2-7 testovací přástup do vybraných VLAN, ETH8 MGMT (vlastně stejně jako 2-7, jen jiné číslo VLAN)
Páteřní switch - 317, vše spojené sem přes DAC / Maxlink BiDi. VLAN průchozí - pouze ETH1 pro MGMT
PoE switch 328 - 8x kamera, 6x wifi, 4x další PoE... Pro WiFi trunk, pro koncové zařízení access
Pracoviště+byty switche - 3x 310 a 2x 326 - ETH access porty, SFP1 trunk, SFP2 - hybrid záložní trunk + MGMT přes S-RJ01
Jestli se to někomu bude chtít projít a případně by k tomu měl nějaké připománky, určitě uvítám. Zatím to nejde do provozu, ale v principu by se to už moc měnit snad nemuselo (doplnění firewallu a wifi, případně u koncových acess switchů ořežu všechny VLAN na pouze potřebné)

Nastavení GateWay RB5009 (kromě obecných nesouvisejících věcí jako DNS, NTP...):

Kód: [Vybrat]

/interface bridge
add frame-types=admit-only-vlan-tagged name=bridge1 protocol-mode=none vlan-filtering=no #vlan-filtering až na konci po nastavení VLAN

# L2 rozhraní - aby jim šly přidělit IP a routovat je, "správa VLAN"
/interface vlan
add interface=bridge1 name=vlan10 vlan-id=10
add interface=bridge1 name=vlan20 vlan-id=20
add interface=bridge1 name=vlan30 vlan-id=30
...
add interface=bridge1 name=vlan99-MGMT vlan-id=99
add interface=bridge1 name=vlan100-Public vlan-id=100
add interface=ether1 name=vlan848 vlan-id=848

# Porty do bridge - SFP je trunk - pouze nastavení only tagged, zbytek je testovací přístup do VLAN - untaged access porty
/interface bridge port
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=sfp-sfpplus1
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether2 pvid=10
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether3 pvid=20
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether4 pvid=30
...
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether8 pvid=99
# Před rozjetím je dobré jeden port nechat mimo bridge - pokud se podělá přístup, aby se dalo z Winbox připojit na MAC a opravit to, do Bridge ho dát až to celé funguje i a je ověřené přes VLAN

# Trunk port - všechny VLAN pustit do SFP směrem na páteřní switch - musí se pro TRUNK. Pro untagged access a L3 VLAN interface se přidá samo dynamicky
/interface bridge vlan
add bridge=bridge1 tagged=sfp-sfpplus1 vlan-ids=10-100

# DSL připojení přes terminátor
/interface pppoe-client
add add-default-route=yes disabled=no interface=vlan848 name=pppoe-out1 user=o2...
/ip firewall nat
add action=masquerade chain=srcnat comment="NAT na WAN" out-interface=pppoe-out1

# IP adresy a DHCP servery pro jednotlivé sítě
/ip address
add address=192.168.10.1/24 interface=vlan10 network=192.168.10.0
add address=192.168.20.1/24 interface=vlan20 network=192.168.20.0
add address=192.168.30.1/24 interface=vlan30 network=192.168.30.0
...
add address=192.168.99.1/24 interface=vlan99-MGMT network=192.168.99.0
add address=192.168.100.1/24 interface=vlan100-Public network=192.168.100.0

/ip pool
add name=pool10 ranges=192.168.10.100-192.168.10.200
add name=pool20 ranges=192.168.20.100-192.168.20.200
add name=pool30 ranges=192.168.30.100-192.168.30.200
...
add name=pool99 ranges=192.168.99.100-192.168.99.200
add name=pool100 ranges=192.168.100.100-192.168.100.200

/ip dhcp-server network
add address=192.168.10.0/24 dns-server=192.168.10.1 domain=p1.local gateway=192.168.10.1 ntp-server=192.168.10.1
add address=192.168.20.0/24 dns-server=192.168.20.1 domain=p2.local gateway=192.168.20.1 ntp-server=192.168.20.1
add address=192.168.30.0/24 dns-server=192.168.30.1 domain=p3.local gateway=192.168.30.1 ntp-server=192.168.30.1
...
add address=192.168.99.0/24 dns-server=192.168.99.1 domain=sys.local gateway=192.168.99.1 ntp-server=192.168.99.1
add address=192.168.100.0/24 dns-server=192.168.100.1 gateway=192.168.100.1 ntp-server=192.168.100.1

/ip dhcp-server
add address-pool=pool10 interface=vlan10 lease-time=10m name=server10
add address-pool=pool20 interface=vlan20 lease-time=10m name=server20
add address-pool=pool30 interface=vlan30 lease-time=10m name=server30
...
add address-pool=pool99 interface=vlan99-MGMT lease-time=10m name=server99
add address-pool=pool100 interface=vlan100-Public lease-time=10m name=server100

#Zapnout vlan-filtering... na GW celkem zbytečné - všechno se stejně routuje/NATuje...
Konfigurace páteřního SFP switche CRS317 (nerozlišuji, kde je která VLAN, všechno všude - asi ne ideální bezpečnost, ale všechno můžu libovolně přeházet a pořád to funguje):

Kód: [Vybrat]

/interface bridge
add frame-types=admit-only-vlan-tagged name=bridge1 protocol-mode=none vlan-filtering=no #vlan-filtering až na konci po nastavení VLAN

# MGMT přístup do nastavené ROS, jinak switch chip všcehno požere a switch je nedostupný
/interface vlan
add interface=bridge1 name=vlan99 vlan-id=99
/ip dhcp-client
add default-route-tables=main interface=vlan99

# Všechny SFP jako trunk, pouze eth1 jako access port pro MGMT
/interface bridge port
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=sfp-sfpplus1
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=sfp-sfpplus2
...
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=sfp-sfpplus16
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether1 pvid=99

# Nastavení všech VLAN na všechny SFP - musí se pro TRUNK. Pro untagged access a L3 VLAN interface se přidá samo dynamicky
/interface bridge vlan
add bridge=bridge1 tagged="sfp-sfpplus1,sfp-sfpplus2,...,sfp-sfpplus16" vlan-ids=10-100

#Zapnout vlan-filtering
Konfigurace koncových access switchů CRS310/326:

Kód: [Vybrat]

/interface bridge
add frame-types=admit-only-vlan-tagged name=bridge1 protocol-mode=none vlan-filtering=no #vlan-filtering až na konci po nastavení VLAN

# MGMT přístup do nastavené ROS, jinak switch chip všcehno požere a switch je nedostupný
/interface vlan
add interface=bridge1 name=vlan99 vlan-id=99
/ip dhcp-client
add default-route-tables=main interface=vlan99

# Všechny porty jako untagged acces, jen SFP1 jako TRUNK, SFP2 jako hybrid záložní trunk + MGMT přes S-RJ01
/interface bridge port
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether1 pvid=10
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether2 pvid=10
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether3 pvid=10
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether4 pvid=20
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether5 pvid=20
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether6 pvid=20
...
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether99 pvid=100
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged interface=ether100 pvid=100

add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=sfp-sfpplus1

add bridge=bridge1 interface=sfp-sfpplus2 pvid=99

# Nastavení všech VLAN na oba SFP - musí se pro TRUNK. Pro untagged access a L3 VLAN interface se přidá samo dynamicky
/interface bridge vlan
add bridge=bridge1 tagged=sfp-sfpplus1,sfp-sfpplus2 vlan-ids=10-100

#Zapnout vlan-filtering
Pokud tedy chci port přehodit z jedné sítě do druhé (a na switchi mám příslušné VLAN přivedené TRUNK portem), tak jen na portu přepíšu PVID a to je vše...