Fanless 1Gbps switch

Re:Fanless 1Gbps switch
« Odpověď #15 kdy: 09. 08. 2019, 08:45:46 »
Switch definuje predevsim parameter, ze pakety prehazuje mezi porty wirespeedem. Troufam si tvrdit ze tato podminka u turrisu prepnuteho do switch mode nebude splnena protoze tam nesjou chipy optimalizovane na tuto cinnost.

Dle dokumentace tento jejich modul obsahuje čip 88E6190 https://www.marvell.com/switching/link-street/index.jsp, což je zřejmě nějaký standardní switch čip od Marvellu, který používají i jiní zavedení výrobci, takže z tohoto pohledu neočekávám problémy.
Ale nejsem sítař, tak ani nevím, co je wirespeed. Pokud by se tu našel někdo zkušený a ochotný, kdo mi to vysvětlí, budu jedině rád... Wikipedie mi řekla, že to je maximální komunikační rychlost daného interface, na které se dá komunikovat (pokud jsem to dobře přeložil), což mi dává i smysl. V tom případě to ten Marvellí čip musí zvládnout taky, protože to je zřejmě základní parametr, který je od switche vyžadován.


Re:Fanless 1Gbps switch
« Odpověď #16 kdy: 09. 08. 2019, 10:17:13 »
Switch definuje predevsim parameter, ze pakety prehazuje mezi porty wirespeedem. Troufam si tvrdit ze tato podminka u turrisu prepnuteho do switch mode nebude splnena protoze tam nesjou chipy optimalizovane na tuto cinnost.

Dle dokumentace tento jejich modul obsahuje čip 88E6190 https://www.marvell.com/switching/link-street/index.jsp, což je zřejmě nějaký standardní switch čip od Marvellu, který používají i jiní zavedení výrobci, takže z tohoto pohledu neočekávám problémy.
Ale nejsem sítař, tak ani nevím, co je wirespeed. Pokud by se tu našel někdo zkušený a ochotný, kdo mi to vysvětlí, budu jedině rád... Wikipedie mi řekla, že to je maximální komunikační rychlost daného interface, na které se dá komunikovat (pokud jsem to dobře přeložil), což mi dává i smysl. V tom případě to ten Marvellí čip musí zvládnout taky, protože to je zřejmě základní parametr, který je od switche vyžadován.

Jojo, předřečník chtěl patrně tvrdit, že Turris Mox bridguje mezi těmi gigáči softwarově, tzn. že nestíhá switchovat mezi porty plnou rychlostí, co po těch portech přiteče.

Jak správně říkáte, zjevně to není pravda. Čip 88E6190 má 11 portů GbEth:
Kód: [Vybrat]
11-Port GE Switch, 8 GE PHYs + 1 RGMII/MII/RMII + 2 2.5G Serdes/SGMII

Ony i hardwarové switche mají také omezení na počet paketů za sekundu, ale ten je řádově výš než u routerů a IMO při MTU okolo 1500 B nepředstavuje úzké hrdlo (= nejsou potřeba ani jumbo frejmy).

Pokud by přišla řeč na "store and forward" vs. "cut through", tak sice nemám datasheet, ale podle mého tyhle nižší řady SoHo čipů od Marvellu a Realteku jsou všecky "store and forward" tzn. je tam on-chip integrovaná RAMka, řádově stovky kB. (Koukám že mladší 88E6390X už kromě 10Gb podporuje taky cut-through a PTP...)

Podle mého se tenhle šváb vyskytuje na Turris-Moxím modulu "E" (viz konfigurátor, v příloze screenshot) = 8x 10/100/1000 Base-T = využívá 8x PHY uvnitř 88E6190. 2x SGMII je nejspíš využito jako interní páteř boxu. Slyšel jsem správně, že maximální konfigurace sestavy Mox je 24 portů GbEth?

V levných switchích o pevné konfiguraci bývá k vidění nějaká centrální interní matice + 3x čip právě této třídy, který provádí "rozplet" na ten velký počet fyzických vnějších portů. Páteř v té hierarchii bývá SGMII nebo nějaká "backplanová" varianta GbEth, možná snop několika takových kanálů (aby backplane nepředstavoval jasné úzké hrdlo). Ideální pro páteř o plné průchodnosti by byl 10Gb Ethernet, ale ten je snad až ve vyšších řadách switchů (kdekoli vidíte vnější 10Gb uplink porty). Tuším jsem v nějakém schématu staršího switche viděl, že jedna ze tří "periferních" matic měla větší průchodnost páteře, nebo že několik uplinkových portů bylo vyvedeno přímo z centrální matice. Do těchto "silnějších" portů má zjevně smysl koncentrovat linky, které ve Vaší topologii realizují páteř nebo obsluhují vytížený server - pokud víte, které to jsou :-)

Mox myslím neobsahuje interní "centrální" matici. Armada 3720 umí sice 2x 2.5Gbps SGMII, ale tipnu si, že do "páteře" vede jenom jeden z těchto portů. Jinak by mi totiž moc nedávalo smysl stohování modulů "E". A ta SGMII páteř skutečně jede na 2.5 Gbps. Takže to vidím na tři switchovací matice v "daisy-chainu". Možná by šlo i víc, z hlediska samotného "stohování", ale mohou tam být jiná omezení (napájení?). Pokud se týče switchování mezi porty navzájem, je daisy chain co do počtu interních "store and forward hopů" v nejhorším případě prakticky ekvivalentní "klasické" hierarchii se skrytou centrální maticí. A že je "hlava členovce Moxe" připojena na jednom konci daisy chainu, to asi moc nevadí, protože těch 2.5 Gbps na L3 stejně asi nevystropuje.

Skutečně plný wire-speed bandwidth, agregátní pro všecky porty, any-to-any, je k dispozici jenom v rámci jediné switchovací matice = v rámci jediného čipu, často osmiportového jako zde. Tzn. pravda je, že když zatížíte všech 24 portů Moxe důsledně gigabitem tak, aby provoz šel skrz interní páteř mezi maticemi, tak to zřejmě "at wire speed" neuswitchuje, protože se úzkým hrdlem stane 2.5Gb páteř. Ale že by Mox "neobsahoval čipy optimalizované na wire-speed switching", to je myslím pořád o něco silnější tvrzení :-)

Re:Fanless 1Gbps switch
« Odpověď #17 kdy: 09. 08. 2019, 10:25:33 »
Ale nejsem sítař, tak ani nevím, co je wirespeed. Pokud by se tu našel někdo zkušený a ochotný, kdo mi to vysvětlí, budu jedině rád...

Wirespeed je kdyz chip switche dokaze prehazovat pakety z iface na iface skutecnou rychlosti toho iface ve full duplexu. Pokud tedy mate 8 port 100Mbps switch tak bysme mel mit moznost do nej zapojit 8 pocitacu, rozdelit je na 4 pary, a v ramci kazdeho paru oboustranne tlacit datovy tok 100Mbps, tak switch to bude davat jen do urcite miry (soucet techto paralelnich toku se u switchu udava jako paramater "total non-blocking throughput") ale rika se tomu wirespeed. Je to dano tim ze se chip switche je na tuto cinnost vysopce optimalizovany, jen kouka do hlavicky ARP paketu a porovnava s CAM tabulkou, nic jineho nedela/neumi.

Na druhou stranu chip ktery umi byt jak router tak switch, nutne musi byt mene optimalizovany a vice variabilni, pripadne nektere cinnosti emuluje. Vezmete si ze jako router musi packety rozebirat na uroven L3, koukat do hlavicek IPv4 i IPv6, koukat do routing table, do firewall table, prepisovat hlavicky v pripade NATu, atp. To proste nikdy nemuze byt stejne efektivni jako v pripade prosteho switche.

Nejake cteni k tematu:

https://www.samuraj-cz.com/clanek/cisco-router-switching-metody-a-souvisejici-terminy-cam-fib-cef/

Re:Fanless 1Gbps switch
« Odpověď #18 kdy: 09. 08. 2019, 10:44:04 »
Děkuji p. Ryšánkovi i p. neregistrovanému za vysvětlení.

A ano, dle konfigurátoru lze za sebou spojit max. 3 moduly E, tj. 24 portů, což mě přijde jako pěkné číslo :-)

Re:Fanless 1Gbps switch
« Odpověď #19 kdy: 10. 08. 2019, 17:56:39 »
... tak switch to bude davat jen do urcite miry (soucet techto paralelnich toku se u switchu udava jako paramater "total non-blocking throughput") ale rika se tomu wirespeed. Je to dano tim ze se chip switche je na tuto cinnost vysopce optimalizovany, jen kouka do hlavicky ARP paketu a porovnava s CAM tabulkou, nic jineho nedela/neumi.
Opravdu nemístně si na okraj rejpnu: on L2 switch se učí adresy z jakéhokoli L2 paketu. Pravda je, že po připojení jednotlivého počítače (L3 zařízení) může být ARP dotaz jedním z prvních paketů, které ten switch na dotyčném portu uvidí. A pokud se ten počítač za jízdy nestěhuje v L2 topologii, tak se záznam v CAM tabulce už nikdy nezmění...

U všech switchů včetně levných SoHo modelů, pokud mají uvnitř jediný čip (tzn. cca do 8 portů) jsem zvyklý vídat udávaný switching bandwidth jako prostý součet jmenovitých rychlostí per port. Jasně je tam full duplex, ale osobně bych to x2 nenásobil, protože co jedním portem přiteče, jiným odteče a je to pořád tentýž traffic. Musel byste posílat krátké pakety (třeba pod 100B) aby to switch nestíhal forwardovat na L2 "at wire speed".

Na druhou stranu chip ktery umi byt jak router tak switch, nutne musi byt mene optimalizovany a vice variabilni, pripadne nektere cinnosti emuluje. Vezmete si ze jako router musi packety rozebirat na uroven L3, koukat do hlavicek IPv4 i IPv6, koukat do routing table, do firewall table, prepisovat hlavicky v pripade NATu, atp. To proste nikdy nemuze byt stejne efektivni jako v pripade prosteho switche.

Já bych především rozlišoval mezi L2 a L3.

L2 je v hardwaru a funguje v zásadě vždycky "at wire speed" - ovšem pozor na úzká hrdla vnitřní topologie u víceportových switchů.

L3 forwarding je cosi navíc, nadstavba. Pokud switch obsahuje nějaké L3 funkce, tak si troufám tvrdit, že to nijak neomezuje jeho průchodnost pro čistý L2 provoz. Pravda je, že tyhle pokročilé switche mívají o něco delší a hlavně méně deterministické průchozí latence, prostě protože toho zpracování je víc a taky vnitřní architektura pokročilých switchů (kaskáda sběrnic) bývá složitější.
Přestože Cisco svého času tvrdilo, že jsou softwarová firma, jejich proprietární uspořádání backplanů a akcelerátorů jsou jinačí liga než katalogové zapojení malých švábů od Marvellu s propojením přes SGMII. Pokud se správně pamatuju, když vezmete do ruky nějakou zásuvnou desku od Cisca, půlka velkých švábů na ní budou FPGA.

Někteří výrobci označují jako "L3 switch" i hardware, který má prostě jenom interní VLAN trunk do management CPU a ten relativně neduživý procesor softwarově forwarduje traffic na L3 (každý paket vezme do ruky). Podle mého do této ligy patří Turris.
Provoz v rámci VLANy je switchovaný na L2 hardwarově, a tedy "at wire speed" (v rámci topologických možností). Provoz mezi VLANami musí skrz interní VLAN trunk do "hlavy členovce", kde se forwarduje na L3 rychlostí "kolik dá procesor" a jeho OS (zde Linux) - a zase trunkem zpátky do L2 hardwaru. Na nějaké offloady forwardovacích rozhodnutí do hardwaru se tu myslím moc nehraje.

Zrovna v Turrisu je L2 matice oddělená od L3 procesoru. Fakt je, že v levných SoHo krabičkách se tuším vyskytují švábi (Broadocom, Atheros) kde je switchovací matice (5 vnějších PHY portů + trunk), management CPU jádro (MIPS) a třeba i WiFi rádio pohromadě v jednom čipu (SoCu). Mám pocit že ani tady se žádný HW offload L3 forwardingu nekoná, a třeba WiFi provoz se musí softwarově bridgovat do metalického ethernetu i na L2, protože WiFi rádio má rozhraní PCI-e a další svérázné okrajové vlastnosti...

V Cisco názvosloví "Fast switching IP" je podle mého jakási cache v routeru (L3), stále ještě na softwarové straně, která urychluje per-packet routovací rozhodnutí - tím, že se neprochází sekvenčně řetězec pravidel, ale předžvýkaný binární strom (= rychlejší algoritmus). Nebo jestli už to mělo nějakou lehkou HW akceleraci... nevím.

První skutečný offload L3 forwardingu do L2 HW, o kterém vím, je Cisco MLS. Tuším nám to předváděli jako novinku někdy okolo přelomu století... Hardware switchovací matice je schopen sledovat L3 "toky" (flows, definované zdrojovou a cílovou L3 adresou, snad i zdrojovým a cílovým portem?), CPU dostane "k rozhodnutí o next hopu" pouze první paket vznikajícího "toku", hardware switche si toho rozhodnutí všimne, a další pakety už switchuje "at wire speed" podle nakešovaných next-hopů. Toto se dalo nakonfigurovat už na nějakém L2 catalystu s externě připojeným L3 routerem, ale velice rychle se to stalo základní vlastností další generace L3 switchů.

Tušímže další level byl CEF/dCEF (možná záležitost spíš čistých routerů než switchů?), a další bylo PXF, což byl už dost volně programovatelný "paralelní koprocesor"... ale to jsme pořád na začátku století - dávno jsem ztratil přehled, kam se vývoj ubíral dál. Už pomocí PXF toho Cisco "switche" uměly v hardwaru opravdu hodně, vedle forwardingu na L3 taky filtrovat snad až do L5, nevím jestli NATovat apod. Jenom jak už jsem řekl, čím víc věcí ten switch musí s každým paketem provést, a čím větší/složitější je vnitřní "signálová cesta", obvykle taky vnitřní strom sběrnic, a tím větší je jitter průchozí latence (mluví ze mně IEEE1588, kloužu off topic, takže končím).

@kurtn: není zač... :-)


Re:Fanless 1Gbps switch
« Odpověď #20 kdy: 12. 08. 2019, 00:23:02 »
Koupit starší verzi Cisco switche, jsou ještě dostupné za relativně malý peníz. Cisco SG300 bez PoE nemá větrák + mgmt je stejný jako u toho SG350, takže cajk. Ještě je možnost koupit Cisco SG200, ale to nemá ssh, jen web ksicht.
Jinak cisco žere jakýkoli SFP+ moduly, nemají omezení jako třeba nějaké starší HP 2810G apod.
Zdar Max

RDa

  • *****
  • 2 858
    • Zobrazit profil
    • E-mail
Re:Fanless 1Gbps switch
« Odpověď #21 kdy: 12. 08. 2019, 01:02:05 »
Jinak cisco žere jakýkoli SFP+ moduly, nemají omezení jako třeba nějaké starší HP 2810G apod.

Opravdu jakykoliv? Nebo jen jakykoliv Cisco-made?

Re:Fanless 1Gbps switch
« Odpověď #22 kdy: 12. 08. 2019, 01:35:23 »
Jinak cisco žere jakýkoli SFP+ moduly, nemají omezení jako třeba nějaké starší HP 2810G apod.

Opravdu jakykoliv? Nebo jen jakykoliv Cisco-made?

Byval na to v IOSu nejaky command, ktery vypinal kontrolu copatibilitySFP. Pamatuju se ze jsme tim ciscu vnucovali Picolight 4Gbps SFPcka....