Zapojení Top of Rack switche na uplink data centra

[PCnity]

Hello,

Doteraz som sa nezaoberal sietarinou natolko aby som musel riesit uplink v data centre, cize moje otazky mozu zniet blbo. Potesili by ma rady, ako to mate vyriesene vy, ake su vyhody ci nevyhody toho ci ineho riesenia.

Mame cerstvo prenajaty 1/2 rack, v nom iba zatial iba 5 serverov a par dalsich zariadeni... Avsak:
a) Sme optimisti, ratame s rastom
b) Setup velmi intenzivne pouziva VLANy
c) Vsetky servre pouzivaju bonding typu active/backup
d) Chceme dosiahnut plnu redundanciu siete
e) Teraz mame 2 CU ethernet kable v racku, kazdy ide u providera do ineho Cisco Nexus

Moznost 1: Nechat si napatchovat 2 kable pre kazdy server

Nechceme. Do buducnosti nevyhodne riesenie, navyse by sme casto museli konzultovat zmeny na VLANoch.


Moznost 2: Spravit LACP LAG medzi tymi dvoma uplinkami (navrhnute Data Centrom).

Tato moznost sa mi zatial pozdava najviac. Do racku dame stackovatelne switche, ci uz Avaya 5650, alebo Cisco 3750G, alebo 2960S. Nie nebudu nove a viem ze miesam L2 (2960) a L3... Nie som si isty aku vyhodu by pre nas predstavovali L3 switche. Cize ak sa nemylim, toto prepojenie na L2 urovni mozem spravit tak ze do jedneho naseho switchu pojde 1 CU uplink, druhy do druheho a tym ze to bude Stack, mozem spravit LAG aj cez tieto 2 switche. Aspon takto to chapem ja.

Ake ma nevyhody toto riesenie?


Moznost 3: Pouzit L3 switche a routovat (preferovane Data Centrom)

Toto je preferovana metoda Data Centrom, ale pre mna je zatial najzlozitejsia na pochopenie. Predpokladam ze default gateway by pre nas bol nas switch stack a tomu by bola announcovana routa do internetu. Zatial som nedosiel na to v com je toto riesenie jednoduchsie..?


Dalsie info:

Data Centrum nema zapnute STP na uplinkoch, cize pouzitie individualnych switchov (nie stack) by mohlo byt problematicke... Museli by byt prepojene, nakolko kazdy server moze mat prave na iny switch aktivny interface. Lenze ak to spravne chapem, mohlo by tu dojst k switch loopu ak by sa omylom prepojila Internetova VLANa medzi switchmi.


Ak si niekde v texte odporujem, alebo pisem blbost, kritika ma potesi. Dakujem.

[Reklama]

[j]

A pak ti chcipne celej rack ...

Routovani je bezna vec, zalezi samo co umi hw/sw ale pokud mas dve (odroutovany)linky, muzes pouzivat obe najednou (maji stejnou vahu), a tim ziskas defakto dvojnasobnou kapacitu spoje. Pricemz zaroven neni problem, kdyz jedna znich vypadne - traffic potece pres zbyvajici. Jen musis mit na obou stranach nejaky routovaci mechanismus. Navic se stim daleko lip vyrovnavaj appky nez s prepinanim na L2 (alespon z me zkusenosti) + mas pochopitelne dalsi moznosti dany tim, ze fungujes na L3.

Ad dva switchne, ty prave potrebujes dva, ale zcela oddelene switche, jinak to nema smysl. Pokud ti jeden pojde, a budou propojeny, tak se ti muze (a dost pravdepodobne bude) bug sirit i na ten zdravej (switch vetsinou nezdechne tak, ze by se z nej zakourilo a bylo vymalovano). Samo pokud chces vyuzivat obe linky zaroven, vyzaduje to ponekud vice konfigurovani, predevsim na strane serveru. A pokud nemas jednotnej HW, muze se ti stat, ze to proste nebude delat dobrotu. Pokud ti jde vylozene o backup, je to vetsinou vpohode.

Ale pokud ti jde vazne o nejaky zajisteni provozu, tak tohle vsechno je spis takovy hrani. Realne potrebujes druhej rack aspon na druhy strane mesta. + samosebou, realny informace (osobne overeny) o infrastrukture datacentra. Dost casto to totiz vypada tak, ze ti sice papirove "garantujou" 100% funkcnost 24/7, ale kdyz prijde na vec, tak zjistis, ze to vsechno je pripojeny pres dvoulinku na sloup k sousedovi...

[PCnity]

Dik za odpoved, ale niektore casti nechapem. Predtym si vsak ujasnime jednu vec... Sme startup. Nemozeme si dovolit o moc viac nez mame. V ramci geografickej redundancie mame este jeden server v colocation v inej casti Bratislavy a u ineho providera.

Co sa tyka L2/L3... Mne pride L2 ako jednoduchsie riesenie. Pretoze: Od Data Centra mame gateway ktory je zrieseny cez HSRP a teda aspon z mojho pohladu by mal byt "vzdy dostupny". Ak to prepojime na L2 urovni, bude to LAG a teda agregovana linka s dvojnasobnou kapacitou spravajuca sa ako "jeden kabel", akurat pojde do kazdeho switchu.
Co sa moze stat? Switch bude mat bug... Nieco skape a cely rack je dole. Lenze IMHO ak pouzijem 2 rovnake switche aj bez zapojenia do stacku, ak budu mat rovnaky bug, moze ich jeden sprosty ethernet frame zhodit oba aj ked su nezavisle.
Predpokladal som ze Stack je celkom dobre riesenie. Agregovat linku cez 2 nezavisle switche asi nepojde, cize cely tento setup je zavisly na tom mat stack, alebo nejaky proprietarny protokol ala SMLT.

L3 riesenie musi byt na urovni switchov. Nechcem na serveroch nic specialne nastavovat, tym by som akurat presuval potencial pre problemy inde. S active/backup bondingom som za vela vela rokov este nikdy nemal problemy, rad by som tento setup zachoval.
Pri tomto rieseni by asi bolo dobre dat do racku 2x Cisco 3750G a spravit HSRP bez stackovania.

Proti comu sa vlastne chcem branit?
a) Ak providerovi fyzicky skape switch --> Preto mame 2 uplinky
b) Ak nam fyzicky skape switch --> Preto bonding na strane serverov

Predpokladam ze proti vadnej konfiguracii/ludskej chybe/etc sa branit neda.

Tuto https://supportforums.cisco.com/discussion/11206431/3750-stacking-and-hsrp sa riesi nieco podobne, nakoniec skoncil pri LAGu a stackovanych 3750 switchoch.

V com ma teda prepojenie na urovni L2 nevyhody? Preco Data Centrum preferuje L3 spoj?

Zaujalo ma to preto, nakolko to teraz musim riesit ja a jedna sa o Telekom Datacentrum v BA. U predosleho zamestnavatela nam siet riesila Fujitsu a viem ze koli tomu davali do racku 2 male cisco routre (nie switche), pretoze Data Centrum R-IT nedovolovalo redundatne L2 spoje. Detaily ma vtedy nezaujimaly.

A tiez sa pamatam ze Data Centrum UpstreamNet tiez vo Viedni bolo o tom istom. Redundatny spoj na ich switche bol rieseny cez nejaky L3 spoj, detaily ma vtedy nezaujimaly.

Teraz nam sice je umoznene pouzit L2 prepoj cez LAG, ale uz 3x pocujem nezavisle od seba ze L3 spoj je preferovany. Preco? Pripada mi to ako komplikovanejsi setup.

[j]

Protoze na L3 jednak nebudou muset nic konfigurovat - predpokladam ze jim tam bezi neco jako bgp/ospf/.... Druhak, pokud se neco podela na L2, vyrazne hur se to hleda a jako bonus to zpusobuje vyrazne vetsi prusery.

Zazil sem vadnou sitovku, ktera sejmula sit o stovkach stroju. Na switchich nebylo k nalezeni nic, co by te k ni dovedlo, ale latence byly v sekundach. Nakonec se to hledalo klasicky metodou puleni - odpojis pulku site, zjistis jestli to pomohlo a des dal. Podobne mam zkusenost s bondem/link agregation, kde to 1/2 roku vpohode bezelo, a pak se neco podelalo a spoj se rozpad komplet. Po vypnuti a zapnuti switchu to zas bezelo ... a po par mesicich se vypadek opakoval. Nemas sanci zjistit, co se stalo, nikdo ti neda tyden na to, abys zkoumal v jakym stavu switche jsou a co je do nej mohlo dostat. V labaku nic nenasimulujes, protoze nevis co mas hledat.

Navic, pokud dojde k propoji na L2, a ty neco blbe nastavis na svych switchich, muzes tim sejmout i ty jejich. To se ti na L3 nepovede.