Domácí síť - nedostatek GbE portů v routeru

Domácí síť - nedostatek GbE portů v routeru
« kdy: 05. 06. 2019, 23:30:11 »
Zdar chlapi, nemám dostatek technických zkušeností k vyřešení mého problému s domácí infrastrukturou, který vystihuje níže přiložené schéma (za netechnický obrazový výtvor se omlouvám).

Současný stav:
WAN připojení (100/100Mbps) mám protažené kabelem cat5e z místnosti A do místnosti B, kde je primárním prvkem wifi router Turris omnia. Z turisu obsluhuji v místnosti B po kabelu 1xPC, 1xHTPC, 1xTV a 1xRaspberry. Další kabel vede z Omnie zpět do místnosti A k NASu. Všechny porty v routeru mám plně obsazené.

Záměr:
Vzhledem k častému kopírování objemných dat mezi NAS, PC a WAN uvažuji o agregaci linek 2x1GbE mezi NAS a Omnií. Dále potřebuji přidat do místnosti A další server (NUC) a připojit jej také k routeru. Ideálně k NUC zapojit také HDMI extender,jehož druhý konec bude v místnosti B u pracovní stanice. Pro tento účel bych v místnosti A využil můj přepínač NETGEAR GS108Tv2 (8x1GbE).

Problém:
Moje idealistická představa naráží na skutečnost, že Turris Omnia, resp. router v místnosti B má pouze pět gigabitových portů, kdežto já jich potřebuji osm a to zůstanu bez rezervy do budoucna :(

Co s tím?
Tady si nejsem úplně jistý. Vyřešil by můj problém další switch v místnosti B, např. 10xGLAN? Zatím o tom tak uvažuju, ale spekuluju nad tím, jak jednotlivé prvky zapojit a ulehčit routeru. Jde i o to, jak pak agregovat linky mezi NAS a PC. Nezmínil jsem wifi, ale konkrétně z routeru se přes wifi celkem často streamuje HD video do dalších dvou zařízení (tablet, mobil).

Nebo snad pořídit osmiportový router namísto Omnie? Díky za každý tip.

Schema:


Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #1 kdy: 06. 06. 2019, 05:19:36 »
Portchannel - spojení 2x GBE do sebe, Vám nepřinese dvojnásobné zrychlení. Výsledek bude odhadem 1,5 Gbps. Navíc portchannel funguje tak, že packety rozděluje mezi porty pomocí modulo nad MAC adresou. Tj. při komunikaci 1:1 to stejně pojede gigabitem (mezi workstation a NAS), protože modulo nad MAC adresou zvolí vždy stejnou cestu. Portchannel nefunguje round robin.

Dalším problémem, který asi budete řešit, bude prioritizace. Pokud píšete o velkých objemech dat, představuji si pod tím velký soubor. V takovém případě hardware funguje ještě dobře. Problém nastává u malých packetů, které přenášejí jen malý payload (málo dat), ale tvoří velkou zátěž na switchování. Od toho se na switchích a routerech uvádí propustnost zejména v PPS (paketech za sekundu), Mbps (bajty za sekundu) bývají pro síťaře až podružný parametr.

V zapojení, které jste nakreslil bude určitý provoz vyžadovat nízkou latenci (HDMI extender), jiný zase vysoký průtok (NAS). Workstation - nevím, tam jste nepopsal typ práce.

Pokud budete potřebovat prioritizovat, tak to ubere značně výkonu Turrisu, i switchi (pokud to vůbec bude umět). Z toho důvodu se doporučuje, aby síť byla do hvězdy a vyhýbalo se podružným switchům. S podružnými switchi, zejména pokud nejsou opravdu kvalitní (vysoké tisíce korun), jde výkon hodně dolů.

Zkrátka, portchannelem to, co popisujete, moc nezlepšíte.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #2 kdy: 06. 06. 2019, 09:09:03 »
Tak teď moje idealistická bublina o agregaci linek splaskla :) Díky za objasnění, mám v tomto velké mezery.

Upřesním, že na PC (workstation) střihám videa, která jsou uložená právě na NAS (GoPro). Linkou 2xGbE z NAS na workstation jsem chtěl ušetřit čas, protože samotný přenos zabírá dost času. Navíc NAS využívá více uživatelů, tedy vyšší propustnost znamená vyšší komfort. Mini server v místnosti A bude prioritně určen pro Docker, ale potenciálně i pro další využití.

Chápu to tedy správně, že ideální cesta je pořídit výkoný více-portový router, který veškerou komunikaci obslouží sám a switche pokud možno nepoužívat? Pokud ano, jakou cestou se vydat?

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #3 kdy: 06. 06. 2019, 09:18:23 »
Chápu to tedy správně, že ideální cesta je pořídit výkoný více-portový router, který veškerou komunikaci obslouží sám a switche pokud možno nepoužívat? Pokud ano, jakou cestou se vydat?

Ne. Router ma slouzit k routovani, na zbytek site slouzi switche, ktere jsou mnohem vykonnejsi. Takze bud L3 switch, ktery se postara o cast routovani mezi sitemi a zbytek podle potreby routovat na routeru.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #4 kdy: 06. 06. 2019, 09:24:22 »
A co takto vymenit predrazenu omniu (ak ju mas len na routovanie tak je to kanon na vrabce) a kupit si router s 16x Gbit portamy? Cena stvrtinova - konfiguracia s prstom v nose alebo ziadna a je po probleme?

Je nutne tam mat Omniu lebo?


Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #5 kdy: 06. 06. 2019, 09:49:38 »
Ne. Router ma slouzit k routovani, na zbytek site slouzi switche, ktere jsou mnohem vykonnejsi. Takze bud L3 switch, ktery se postara o cast routovani mezi sitemi a zbytek podle potreby routovat na routeru.

Tedy například switch D-Link DGS-1510-20? Je výkonnostně dostačující?

Pokud bych takovýto switch měl za routerem v místnosti B, musel bych mezi místnostmi A a B natáhnout čtyři kabely, každý k jednotlivému prvku v síti (2xNAS, 2XSRV) a jeden kabel WAN <> router. Pět linek bez možnosti jejich skrytí do nějakého kanálku je nepříjemná situace. Proto jsem zvažoval další switch do místnosti A i za cenu, že bych musel koupit nějaký výkonnější.

A co takto vymenit predrazenu omniu (ak ju mas len na routovanie tak je to kanon na vrabce) a kupit si router s 16x Gbit portamy? Cena stvrtinova - konfiguracia s prstom v nose alebo ziadna a je po probleme?

Je nutne tam mat Omniu lebo?

Na omnii už netrvám. Původní záměr, že ji budu využívat i na víc než na routování pominul. Sice mi na ní běží několik LXC kontejnerů, ale nakonec vše přesunu do Dockeru na server v místnosti A.
« Poslední změna: 06. 06. 2019, 09:51:10 od latrik »

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #6 kdy: 06. 06. 2019, 10:08:35 »
Chápu to tedy správně, že ideální cesta je pořídit výkoný více-portový router, který veškerou komunikaci obslouží sám a switche pokud možno nepoužívat? Pokud ano, jakou cestou se vydat?

Určitě ne. K přepínání má sloužit switch. V routeru je sice integrovaný switch, ale obvykle není žádné vysoké jakosti. Naopak profesionální routery bývají i dvouportové, nebo dokonce i jednoportové.

Pokud zdvojíte linku, tak při práci Workstation-NAS stejně pojedete jen po 1 Gbps, protože to vždy vybere stejnou cestu.

Pro popsaný usecase je jediným vhodným řešením 10 GbE.

Pokud chcete dobrý switch, kupte bazarový Cisco C2960G.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #7 kdy: 06. 06. 2019, 10:30:09 »
Ne. Router ma slouzit k routovani, na zbytek site slouzi switche, ktere jsou mnohem vykonnejsi. Takze bud L3 switch, ktery se postara o cast routovani mezi sitemi a zbytek podle potreby routovat na routeru.

Tedy například switch D-Link DGS-1510-20? Je výkonnostně dostačující?

Pokud bych takovýto switch měl za routerem v místnosti B, musel bych mezi místnostmi A a B natáhnout čtyři kabely, každý k jednotlivému prvku v síti (2xNAS, 2XSRV) a jeden kabel WAN <> router. Pět linek bez možnosti jejich skrytí do nějakého kanálku je nepříjemná situace. Proto jsem zvažoval další switch do místnosti A i za cenu, že bych musel koupit nějaký výkonnější.

A co takto vymenit predrazenu omniu (ak ju mas len na routovanie tak je to kanon na vrabce) a kupit si router s 16x Gbit portamy? Cena stvrtinova - konfiguracia s prstom v nose alebo ziadna a je po probleme?

Je nutne tam mat Omniu lebo?

Na omnii už netrvám. Původní záměr, že ji budu využívat i na víc než na routování pominul. Sice mi na ní běží několik LXC kontejnerů, ale nakonec vše přesunu do Dockeru na server v místnosti A.

Nejdrive bych zvazil, zda je potreba 1Gbps nebo 10Gbps sit. Od toho se bude odvijet navrh.
Nasledne do kazde mistnosti, pokud ma vetsi pocet kabelem pripojenych zarizeni, dat switch. Switche propojit 2x a vice kabely pomoci LACP (dle pozadavku na bandwith). Router pripojit na switch v B. Pouzit vlany pro oddeleni subnetu, routovat na L3 switchich a pripadne mezi bezpecnostnimi zonami az na routeru.

Pokud 10Gbps sit, tak jedine sfp+ variantu, veskere vybaveni se da koupit pomerne levne na ebayi, neco je k mani i nove. RJ45 10Gbe nebrat.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #8 kdy: 06. 06. 2019, 10:33:27 »
Switche propojit 2x a vice kabely pomoci LACP (dle pozadavku na bandwith).

Znovu musím upozornit, že LACP nezvýší bandwidth v popisovaném případě - tedy při spojení jednoho PC s jedním NASEM.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #9 kdy: 06. 06. 2019, 10:41:55 »
Chlapi, pokud bych teď znovu stavěl síť, resp. pořizoval nové přepínače a tahal nové rozvody, tak předpokládám, že je vhodné uvažovat 10 GbE síť, nemám pravdu?

Pro popsaný usecase je jediným vhodným řešením 10 GbE.

Pokud chcete dobrý switch, kupte bazarový Cisco C2960G.

Tedy řešením je do workstation pořídit kartu PCI-E 10Gbe? U NASu toho moc nenadělám, ten má dvě 1xGB síťovky.

Mohu Vás ještě poprosit o nějaký konkrétní P/N "nebazarového" typu přepínače? Pokud možno nehlučný, kompaktní (na stůl ne do datového rozvaděče) s dostatečným počtem portů, ať mám nějakou rezervu do budoucna? Resp. ještě jeden s menším počtem portů do místnosti A.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #10 kdy: 06. 06. 2019, 10:45:22 »
Chlapi, pokud bych teď znovu stavěl síť, resp. pořizoval nové přepínače a tahal nové rozvody, tak předpokládám, že je vhodné uvažovat 10 GbE síť, nemám pravdu?

Jednoznačně.

Tedy řešením je do workstation pořídit kartu PCI-E 10Gbe? U NASu toho moc nenadělám, ten má dvě 1xGB síťovky.

10 GbE ve workstation Vám nepomůže, když do NASU to poteče stejně po JEDNOM gigabitu. Neexistuje žádná technologie, která by to rozhodila mezi dvě síťovky. To slouží k tomu, pokud by VÍC STANIC přistupovalo k NASU, tak se to rozloží.

Mohu Vás ještě poprosit o nějaký konkrétní P/N "nebazarového" typu přepínače? Pokud možno nehlučný, kompaktní (na stůl ne do datového rozvaděče) s dostatečným počtem portů, ať mám nějakou rezervu do budoucna?

Nic takového neexistuje. Všechny výkonné mají větrání (a ne zrovna tiché). Tiché switche to mají vykoupené méně výkonným jádrem a menšími buffery na portech.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #11 kdy: 06. 06. 2019, 12:10:28 »
Rozumím, pochopil jsem. Díky!

Zakopanej pes je v panelákovém 2kk s požadavkem na minimální, resp. nulovou hlučnost. Teď si tedy mohu o 10GbE síti nechat zdát. Dostávám se tedy do bodu, kdy pro zajištění dostatečného počtu portů budu muset pořídit "levný a nevýkoný" přepínač, byť se to celé negativně podepíše na výkonu nebo pořídit jiný router s dostatečným počtem portů, což také na výkonu sítě nic k lepšímu nezmění a jak většina ani nedoporučuje.

A nebo se přestěhovat někam, kde je oddělená technická místnost a hluk je pak podružná vlastnost.


Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #12 kdy: 06. 06. 2019, 12:13:39 »
Hezky shrnuto.

Mimochodem, pokud přenášíte velké soubory, tak se rozdíl ve switchi moc neprojeví a dá se říct, že jste na maximu toho, co jde.

Pokud pracujete s videem přímo z NAS, tak tam si zase myslím, že to nebude slavné ani na 10 GbE, neboť do hry bude vstupovat latence síťového provozu (vs. malá latence na místní disk / SSD).

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #13 kdy: 06. 06. 2019, 12:27:06 »
Uvidíme, co mi z toho po zapojení vznikne za "paskvil" :) Jdu se poohlédnout po nějakém tom "levném" přepínači.

Ještě si mi podařilo dohledat článek, který mě inspiroval ve využití dvou síťovek mezi NAS a PC a proč jsem to tak uvažoval, tak pro úplnost uvádím link.

Re:Domácí síť - nedostatek GbE portů v routeru
« Odpověď #14 kdy: 06. 06. 2019, 13:48:14 »
...omlouvám se že budu "opakovat po ostatních", mám tenhle příspěvek rozepsaný už asi půlden a mazat se mi to nechce... :-(

Máte krásnou jednoduchou topologii. (A hezký přehledný náčrtek.)
Pokud Vám došly porty, prostě přidejte vedle Omnie další malý switch.

Pokud byste do toho chtěl jít rameny, tak v jedné z obou místností minimalistický 19" rozvaděč (nebo jenom 2U-3U open-frame držák), 19" CAT6 patch-panel a vydrátovat hezky hvězdu do obou místností do zásuvek. Vedle toho centrálního patch-panelu nějaký menší 19" switch. Osobně bych vzal levný D-link (DGS-1210-* series), ale já si v něm po pár letech umím vyměnit kondíky.
19" sestavička se striktní drátěnou hvězdou a managed switchem bude mít lepší štábní kulturu než vrabčí hnízdo ze superlevných SoHo krabiček. Ostatně ona ta Omnia taky nebyla zrovna superlevná. Už jste někdy hledal chybu v daisy-chainu levných unmanaged switchů?
Vlastně to nemusí být ani 19", nemusíte to ranžírovat drátem do patch-panelu a zásuvek, nemusíte lištovat, jestli Vám to přijde overkill tak si natahejte licnu v koutě za skříněmi a nakrimpujte rovnou RJčka... ale doporučuji to stáhnout fyzickými dráty všecko do jednoho bodu a použít aspoň základní websmart switch. Když něco nefunguje, mrknete na stav portu, počítadla errorů, tabulku naučených MAC adres a jste doma.

Ohledně nápadu "ulehčit routeru"... myslím si správně, že má Omnia zabudovaný malý VLANový switch, jak je ve větších WiFi APčkách zvykem? Tzn. provoz bridgovaný na L2 navzájem mezi LAN porty není forwardován softwarem, ale propadává mezi porty přímo. Tzn. jenom tím že necháte LAN porty nevyužité a "offloadnete" L2 switching na externí switch, ještě nijak neulevíte zátěži CPU na Omnii. CPU se týká jenom L3 forwarding mezi LAN a WAN. A vlastně taky L2 bridging mezi LAN a WiFi (protože tam není přímý propoj v hardwaru) včetně případné priorizace.

Ohledně přenosů skrz WAN uplink, tam máte úzké hrdlo 100 Mbps, což by Omnia při rozumném mixu provozu měla zvládnout uroutovat (pomocí CPU, nevím o tom že by Turris měl nějaký HW offload L3 forwardingu) a úpravou topologie LAN tomu každopádně nepomůžete.

Jak už psal kolega Šilhavý, bundlovat L2 porty má smysl na serveru, který je vytížený větším počtem klientů simultánně. V malé domácí síti bych to neřešil.

Ohledně priorizace... 802.1p umí překvapivě většina "aspoň trochu managed" switchů, dokonce často umí i mapovat IP DSCP (DiffServ) třídy do svých L2 front. Resp. 802.1p třídy respektují i mnohé dnešní unmanaged switche, hledejte v datasheetu. Čipsety switchů často umí v hardwaru jenom 4 priorizační fronty per port, do kterých se mapuje 8 úrovní 802.1p a na požádání taky IP DSCP. Pokud skrz LANku jedete nějaký HDMI extender a máte pocit, že priorizace dává smysl, měl byste se především pídit, zda koncové krabičky extenderu umí generovat provoz rovnou s 802.1p tagem nebo s DSCP třídou. Jinak jsem na switchích vídal taky možnost, nastavit frontu nebo 802.1p prioritu podle ingresového portu (pokud koncové zařízení neprodukuje 802.1p tagy ani IP DSCP), ale nechci tvrdit, že toto umí low-end websmart D-link.

"Výkonný víceportový router" je kravinimum. Rozdělte ty dvě funkce od sebe. Potřebujete 1) WAN router (průchodnost do internetů laďte podle Vaší potřeby, podle mého Omnia je dost luxusní zařízení) a 2) prvek s velkým počtem L2 portů pro LAN se jmenuje *switch*. A ten switch nemusí být žádné ultra dělo. Libovolný hardwarový switch Vám utahá i poměrně výkonný L3 router, výkon v Mbps i Mpps je u switchů o řád výš za nevelké peníze. Pokud byste chtěl hrotit průchodnost mezi střižnou a NASem, uvažujte o 10Gb Ethernetu, nebo si pořiďte ke střižně direct-attached storage box. Bejvaly na trhu malé boxy připojené přes PCI-e, dneska zřejmě móda externí PCI-e vyvanula a tahle koncepce možná přežívá jenom v podobě "sběrnice Thunderbolt". Areca už pár let dělá kompletní storage boxy - včetně modelů s Thunderboltem a dokonce USB 3.1. Nebo samozřejmě přes SAS, ale to už trochu leze do peněz. Ještě odkaz na jedno nezávislé a konzervativní storage hračkářství.

Ještě k 10Gb Ethernetu... pořád ještě to není úplně levná technologie. Jsou k vidění některé konkrétní značky síťovek, které jsou citelně levnější než slavní výrobci co drží ceny nahoře. Mám taky odkaz na jedno nezávislé síťařské hračkářství... Pravda je, že switche s 2x 10Gb uplinkem a hrstí 1Gb portů už nejsou nějak extrémně drahé. Případně pozor na různé varianty fyzické vrstvy: prázdná SFP+ šachta, 10GBase-T, duplex LC optika (vnější rozhraní SFP transceiveru), starší CX4 metalika už není moc k vidění... Cenově příznivě by mohly vycházet pasivní metalické kabely "SFP to SFP", ale bacha na podporu v konkrétních switchích a síťovkách, a taky na reálnou chodivost. Není tam galvanické oddělení, tzn. mohou přijít ke slovu nějaké ty zemní smyčky apod. Ve srovnání s tím 10GBase-T má signálová trafa, běží po "normálním twistu" a v kabelech není SPD EEPROMka (potenciální zdroj nekompatibility).
U 10Gb Ethernetu můžete mít trochu problém, vyždímat ze sítě skutečně 1 GBps. Chce to jumbo frames a i potom to OS na střižně nemusí úplně stíhat... obecně "direct attached" storage (PCI-e, SAS) se nechá ke špičkové průchodnosti přemluvit snáz.