Zatížení CPU při velkém síťovém provozu, software irq

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #15 kdy: 25. 08. 2015, 13:12:32 »
Ak by nieco rozhodovalo o tom, ktory paket je mozne oblsluzit a ktory nie, je potrebne mat na LAN karte specializovany NET procesor. Ak tam nieje, tak o tuto obsluhu sa stara ovladac a ten vykonava vsetko na nejakom CPU. Ak je mrtva siet akceptovatelny stav, tak moze byt vyhovujuce dat kartu DOWN na nejaky cas v zavislosti na pocte paketov za sekundu.


ujb

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #16 kdy: 25. 08. 2015, 14:21:46 »
Co takhle "upgradovat" zařízení tím, že k němu přidáte router s rate limitingem, pro jistotu to slepte izolepou a máte "upgradované" zařízení které se s tím samo umí vypořádat.

j

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #17 kdy: 25. 08. 2015, 17:34:15 »
A je to tu. Proste zarizeni musi takovemu naporu odolat. Tak to je a hotovo. Sit u toho muze umrit, ale jine procesy nesmi. Tvrzenim, ze k tomu vlastne vubec nesmi dojit, tu vec nevyresim. IpTables jsou resenim, jenze take bohuzel znamenaji rekompilaci kernelu.

Ehm, chci aby to melo kridla, litalo to, ale nechci aby to bylo letadlo ...

Iptables resenim nejsou, iptables je SW filtr, a nezpracovava to nic jinyho nez prave CPU - kazdej jeden paket. Jestli ten stroj neustoji ty pakety na vstupu, kde nic neposloucha, iptables jen zvednou zatizeni jeste vic = zmensi se pocet paketu, ktery to sejmou. JEDINA cesta je omezit ten provoz jinde. Tzn jak bylo receno, mezi to zarizeni a sit dat neco, co to omezit zvladne. Jestli to stim mikrotikem (nebo cikoli jinym) pak strcis co cerny krabice a budes trvrdit, ze to je jedna vec, je uz pak vedlejsi.

A jelikoz 52B x 200k = 10MB/s = 100Mbit sit na 100%. Tohle bude mit problem zvladnout kazda podobna krabka.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #18 kdy: 25. 08. 2015, 18:15:27 »
A jelikoz 52B x 200k = 10MB/s = 100Mbit sit na 100%. Tohle bude mit problem zvladnout kazda podobna krabka.

Mozna by slo nekde vystrachat dva stare huby, co maji jeste BNC konektor. Zapojit to tomu do cesty, dat tam 3m tenkeho Ethernetu a ma to omezene na 1 Mbit, coz by mozna uz stacilo.

JmJ

  • ****
  • 333
    • Zobrazit profil
Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #19 kdy: 25. 08. 2015, 18:58:54 »
Panove, vase navrhy jsou slechetne a nejsou jiste nerealne, ale zatim je velka snada to resit tak jak jsem psal. Tedy bez pridavneho zarizeni. Takze by to chtelo napady udrzet v ramci zadani :-)


honza

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #20 kdy: 25. 08. 2015, 20:03:36 »
nevim, jestli by slo zmenit prioritu (nice, trickle) "sitoveho procesu"? Pripadne QoS nastaveni kernelu, cgroups.

j

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #21 kdy: 25. 08. 2015, 20:55:13 »
Panove, vase navrhy jsou slechetne a nejsou jiste nerealne, ale zatim je velka snada to resit tak jak jsem psal. Tedy bez pridavneho zarizeni. Takze by to chtelo napady udrzet v ramci zadani :-)

OK, prepni sitovku na 10Mbit. Kazda by to mela umet.

pppppppp

Re:Zatížení CPU při velkém síťovém provozu, software irq
« Odpověď #22 kdy: 25. 08. 2015, 21:58:38 »
Si tam připájej jinou síťovku. Naemuluj tu původní a měj v ní vlastní systém. To už je reálné, ne? To musíš během pár měsíců stihnout a pak už si budeš jen užívat luxusního zařízení.

Frantisek Havel

Re:Zatížení CPU při velkém síťovém provozu, software irq
« Odpověď #23 kdy: 26. 08. 2015, 00:00:45 »
Možná jsem to v diskuzi přehlédl, ale co je to za zařízení (model, výrobce) ?

Trident

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #24 kdy: 26. 08. 2015, 07:49:52 »
Panove, vase navrhy jsou slechetne a nejsou jiste nerealne, ale zatim je velka snada to resit tak jak jsem psal. Tedy bez pridavneho zarizeni. Takze by to chtelo napady udrzet v ramci zadani :-)
Jak uz tady nekdo radil. Vrtal jsem se v par zarizenich a delal i embedded vyvoj. Vsude se nastavovalo fixne 10Mbit kdyz byl realny problem ze ty levne krabky a pseudositovky by nezvladaly.
Dulezite je nastavit autonegotiate-10MB. A ne jako pometla-lidi s CCNP co nastavi 10 rezim bez autonegotiate a divi se ze jim to blbne kdyz na druhe strane maji autonegotiation.

Petr Dressler

Re:Zatížení CPU při velkém síťovém provozu, software irq
« Odpověď #25 kdy: 26. 08. 2015, 08:00:32 »
200k pps zabije daleko silnejsi stroje, nez je nejaka zvejkacka prilepena na plosnaku (sry).
Jedina sance bud tomu predradit filtr, nebo pouzit neco, co ma vic jader - sitovka vetsinou zabije jenom jedno.

AlYoSHA

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #26 kdy: 26. 08. 2015, 12:19:28 »
Panove, vase navrhy jsou slechetne a nejsou jiste nerealne, ale zatim je velka snada to resit tak jak jsem psal. Tedy bez pridavneho zarizeni. Takze by to chtelo napady udrzet v ramci zadani :-)

OK, prepni sitovku na 10Mbit. Kazda by to mela umet.

Neuviedol si blizsie informacie. Tak sa necuduj.  Z toho co som si precital mam zatial dojem ze sa snazis "pumpovat slavu do prasata" ako by povedal Svejk.

JmJ

  • ****
  • 333
    • Zobrazit profil
Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #27 kdy: 27. 08. 2015, 09:37:08 »
Panove, vase navrhy jsou slechetne a nejsou jiste nerealne, ale zatim je velka snada to resit tak jak jsem psal. Tedy bez pridavneho zarizeni. Takze by to chtelo napady udrzet v ramci zadani :-)

OK, prepni sitovku na 10Mbit. Kazda by to mela umet.

Neuviedol si blizsie informacie. Tak sa necuduj.  Z toho co som si precital mam zatial dojem ze sa snazis "pumpovat slavu do prasata" ako by povedal Svejk.

:-) ano, to se snazim a jsem si toho vedom. Presto si zatim stale myslim, ze ten problem ma reseni. Jak jiz bylo zmineno, nevadi, kdyz se rozpadne sit. Takze jde o to, v miste mezi hw irq a soft irq vyhodnotit, ze tech hw irq (tedy nejspis "paketu") prichazi moc a proste je zahodit. Tato uprava samozrejme znamena nove jadro, ale to se uz proste neda nic delat.

Nasel jsem si patricne misto v net/core/dev.c a je zajimave, ze presne v miste, kde bych to chtel resit je snad od jadra 3.11 nejaky "flow control" (v jadre 3.9 to tam neni). Opet prosim neomlacovat mi o hlavu, ze samozrejme mam mit nejvyssi jadro atd. Berte to tak, ze u tohoto zarizeni takove veci nejsou jednoduche. Tech zarizeni je totiz "po svete" zrejme par stovek a maji velmi specificky ucel, ktery na ne klade urcite pozadavky, ktere musi byt dodrzeny.  Proto proste zkousim pumpovat slavu do prasete, jak pravil jednorocni dobrovolnik Marek :-) Omluvam se, ze nejsem konkretni, ale jednak to nepovazuju za uplne nutne a druhak to neni moc vhodne.

Pokud se mi to podari vyresit primo na tom zarizeni, tak samozrejme bude nahoru sdeleno silne doporuceni, na spravnou konfiguraci site, ktera by cele situaci mela predejit.

Vcera jsem byl na cestach, dnes se v tom zkusim povrtat.

JmJ

  • ****
  • 333
    • Zobrazit profil
Re:Zatížení CPU při velkém síťovém provozu, software irq
« Odpověď #28 kdy: 27. 08. 2015, 09:42:57 »
Jeste jsem zapomenul k dokresleni situace - po hw strance je to procesor na urovni nejakeho pentia ale na 600 Mhz. Tedy opravdu je to dost pomala zvykacka priplacla na boardu, nebo jak to tu nekdo nazval ;-)

k

Re:Zatizeni CPU pri velkem sitovem provozu, software irq
« Odpověď #29 kdy: 27. 08. 2015, 09:53:18 »
:-) ano, to se snazim a jsem si toho vedom. Presto si zatim stale myslim, ze ten problem ma reseni. Jak jiz bylo zmineno, nevadi, kdyz se rozpadne sit. Takze jde o to, v miste mezi hw irq a soft irq vyhodnotit, ze tech hw irq (tedy nejspis "paketu") prichazi moc a proste je zahodit. Tato uprava samozrejme znamena nove jadro, ale to se uz proste neda nic delat.

Pátráte na špatném místě, jakmile vznikne 200k hardwarových přerušení za sekundu tak už máte zahrobenou mašinu z principu obsluhy přerušení a v software už je na řešení pozdě. Musíte nějak hardware domluvit aby to snížil na max 1k, třeba periodickým zakazováním a povolováním přerušení na NIC, nebo přejít na pooling.