HW nároky malých aplikací

[a123]

A jistě, že je to htop .

super dikes, mozem teraz tym ohurovat manzelku:)

[Reklama]

[Kamil Podlešák]

Proc to je naddimenzovane, tezko rict, ale je to celkem bezna praxe

To je velmi jednoduché.

• Na začátku je business plán pro novou super webovou aplikaci. Aby byl plán schválen, tak je potřeba přesvědčit držitele peněz (nadřízené, board, invenstory, atd) že to bude super populární. Možná ne jako facebook, alespoň na začátku...
• Napíše se aplikace a udělá se odhad nároků. Ten typicky děla nějaký "tech lead" a ten si rozhodně nedělá iluze o kvalitě (na rozdíl od jednotlivých vývojářů, on má nějakou zodpovědnost). Takže udělá transitivní uzávěr přes všechny bugy a prasárny co ještě nenašel a co se projeví při výše uvedené zátěži.
• Odhad se, jako všechny odhady, vynásobí magickým koeficientem. 300% je oblíbený.
• V provozu se to ukáže jako naddimenzované.
• V ideálním sluníčkovém světě tady zafunguje zpětná vazba, by se na data z monitoringu podívá někdo z vývoje a z nich pak odvodí jaké je správné dimenzování. To se pak provede v produkci.
• V reálném korporátním světě ale nějaké analýzy a výpočty stojí čas, který pak patřičný manager musí vykázat. Takže je může pěkně ušetřit. A on je ušetřit musí, protože už takhle je v pořádných sračkách a musí vymýšlet zoufalé výmluvy, jakto že tam nikdo neleze (a když tam nikdo neleze, tak to nic nevydělává!).
• V opravdu posraném světě pak žádná zpětná vazba není a informace o reálném provozu se objeví pouze na root.cz

[j]

...A to chtěli fyzický stroj, že na virtuálu můžou být problémy... smutný, co?

Tj, taky obcas potkavam podobny ... nejlepsi je, kdyz na statickou vyzitku chtej instalovat jak reseto deravej .."frejmwork" (specielne ten, o kterym tu sou newsky co tejden aspon dve). Nastesti u spousty firem maj podobby cypoviny na starosti marketaci, a ja tudiz muzu v klidu delat, ze nevim ze to existuje.

BTW: Celej seznam bezel na P133 ...

[Tuxik]

A s cim mas presne problem ? Je to naddimenzovane, load CPU nula, RAM tez, takze zadny problem. Proc to je naddimenzovane, tezko rict, ale je to celkem bezna praxe A navic zadna ultra konfigurace to neni. Radove pronajem takoveho virtualu za cenu 2-3 hodin programatora, v tom vazne problem nevidim.

HW je opravdu proti lidske praci velmi levny.

S čím mám problém? No s CPU ani ne, tam je mi to jedno, když to není vytížený. U RAM nastává potencionální problém, protože každej stroj dříve nebo později celou paměť sežere na cache. Ono se říká, že paměť je levná, ale:
- 128GB moduly opravdu levný nejsou
- fyzický stroj má omezený maximální množství paměti
- jeden fyzický stroj stojí jak hodně pěkný auto, špička už se blíží cenou k bytu až baráku
- každý fyzický stroj jsou desítky tisíc jen na energiích za rok, další energie jde na klimu, je potřeba mít dostatečně dimenzovaný záložní napájení atd

Ono se to může zdát jako sranda, ale provozovat spoustu flákajících se strojů, kterým stojí procesory a mají narvaný RAMky z velké části zbytečnou cache, to už taková sranda není.

A pronájem? No naštěstí ne každej je takovej čmoudofil a ne každej chce mít svoje data poházený kdoví kde.

Ono nejde o to, že je jeden takovejhle naddimenzovanej virtuál. Ono jde o to, že to je dneska zcela běžný požadavek každé firmy na jakoukoliv kravinu. A když už je ten požadavek na podobný kraviny několikátý jen za letošní rok, tak už začínám mít opravdu na podobný debility alergii.
Kdyby se raději ty zbytečný investice narvali do vzdělávání vývojářů, kteří by potom začali opravdu něco tvořit a ne jen malovat nenažranosti ve frejmvórcích, to by bylo krásně na světě, co?

[Kiwi]

HW je opravdu proti lidske praci velmi levny.

To je právě jedna z těch tisíckráte opakovaných lží dneška. Ve skutečnosti to platí jen v určitých případech, ale nelze to zevšeobecňovat. Hlavně to není žádná lineární závislost. Jinými slovy - proč optimalizovat databázi, to je lidská, tedy drahá práce, když HW to zvládne i tak. Jenže v určitém momentu to překročí bod, kdy se najednou ukáže, že cena HW začíná vykazovat své exponenciální chování oproti lidské práci a že náprava celé té situace vyjde několikanásobně dráž, než kdyby se to bývalo udělalo pořádně hned na začátku.
To je pak podobná logika, jako nač věnovat pečlivost zakládání budovy. Dvě patra to unese a až budeme přistavovat páté, tak to třeba začneme řešit. Kdyby tak někdo spočítal, kolik tahle krátkozraká řešení, aby se ušetřilo, stála nakonec peněz navíc...

[Reklama]

[Lojza]

imho kazdy si to musi vzdy spocitat jestli se mu vyplati najmout si experta na dany konkretni problem (kolik tim utrati a usetri na optimalizovanem hw) nebo to zatluce kladivem (koupi vic ram apod.)

spis mne stve ze vetsina webu uz davno neni statickych ani dynamickych s jednoduchym rotujicim zavinacem v javascriptu, dneska uz to jsou spis komplexni aplikace bezici v browseru, casem nejspis uz jakoby desktopove interaktivni aplikace bezici v browseru

btw 35 tabu v google chrome mne sezere behem 1 dne veskerych 6 gb ram na mem mac os x a druhy den uz si neco odswapuje ...

[dustin]

U RAM nastává potencionální problém, protože každej stroj dříve nebo později celou paměť sežere na cache.

A v čem je problém, když se nepotřebná RAM využije na keš?

[Tuxik]

imho kazdy si to musi vzdy spocitat jestli se mu vyplati najmout si experta na dany konkretni problem (kolik tim utrati a usetri na optimalizovanem hw) nebo to zatluce kladivem (koupi vic ram apod.)

spis mne stve ze vetsina webu uz davno neni statickych ani dynamickych s jednoduchym rotujicim zavinacem v javascriptu, dneska uz to jsou spis komplexni aplikace bezici v browseru, casem nejspis uz jakoby desktopove interaktivni aplikace bezici v browseru

btw 35 tabu v google chrome mne sezere behem 1 dne veskerych 6 gb ram na mem mac os x a druhy den uz si neco odswapuje ...

On je problém jinde... Většina jednání o nasazení podobných sra*ek probíhá na úrovni manager(zákazník)-manager(dodavatel). Zákazník dělá machra, jak není problém zajistit železo, dodavatel dělá machra, jak je jejich řešení nejlepší. Reálně o tom ani jeden nemá ani páru, požadavky jsou násobně předimenzovaný jen proto, aby byl dodavatel vykrytej proti tomu, že není schopnej odvést práci pořádně a proto, že zákazník neví, co dodavatel plácá za kraviny, ale nechce být za blbce.
Finálně je to tak, že reálný provoz nedosáhne ani desetiny toho, co bylo poptáno, nicméně pokud se nějakým zázrakem stane, že se dostane přes tu desetinu, aplikace se sesype na nějaké prasečině, kterou dodavatel odflákl.
Jinak s tím expertem, který to udělá dobře... přesně takový experty slibuje každý dodavatel, už jsem četl spoustu těch marketingo-managorských sra*ek a nikdy nikdo nenapsal "jsme levní amatéři bez známek logického myšlení a bez elementární znalosti dané problematiky".
Schválně někdy udělejte pokus, pokud něco takovýho řešíte na straně zákazníka...
- vyberte si nějaký ne moc důležitý projekt ve fázi implementace, který kromě nějaké webo sra*ky potřebuje i nějakou databázi, ideální je nějakej éšopík
- vyžádejte si dokumentaci k zálohování
- pokud se záloha provádí "online", požadujte podrobnou dokumentaci řešení  konzistence dat

Nejčastější odpověď bude něco jako:
"eeee... hmmmm... noooo... víte, záloha se dělá ve 2 ráno, to tam stejně nikdo nebude, takže je to v pohodě"
případně rovnou
"eeeee cože?"

[Tuxik]

U RAM nastává potencionální problém, protože každej stroj dříve nebo později celou paměť sežere na cache.

A v čem je problém, když se nepotřebná RAM využije na keš?

Třeba v tom, že reálně využitá paměť je 2G a cache sežere 14G, jenom proto, že jsem tomu tu paměť dal, protože tak to dodavatel řešení vyžaduje? Střední servřík s 256GB tak zvládne (zanedbáme-li režie) 16 virtuálek a paměť je pryč. Přitom by takových virtuálek zvládl klidně 64 a stále by každá ještě měla 2GB volné paměti na cache a cokoliv jinýho. Pokud tedy budu chtít 64 virtuálek, potřebuji 4 servery místo 1, což jsme bratru na rozdílu milión jen za HW! Ano, mega nic není, ale tohle je totálně zbytečný mega + totálně zbytečný náklady kolem!!! A teď pozor... schválně jak dlouhej je běžnej support na servery a za jak dlouho budu kupovat nový?

[AlyoSHA]

htop ?

Neblazni, na to treba minimalne Grafanu, inac nie si cool a s dobou ;-)

jj. Najlepsie taku co chrusta asci art na GPU. :-D

[lopata]

Třeba v tom, že reálně využitá paměť je 2G a cache sežere 14G, jenom proto, že jsem tomu tu paměť dal, protože tak to dodavatel řešení vyžaduje? Střední servřík s 256GB tak zvládne (zanedbáme-li režie) 16 virtuálek a paměť je pryč. Přitom by takových virtuálek zvládl klidně 64 a stále by každá ještě měla 2GB volné paměti na cache a cokoliv jinýho.

Co používáš za virtualizaci? LXC i OpenVZ sdílí diskouvou cache mezi kontajnery, takže tvůj výpočet neplatí.

[Tuxik]

Třeba v tom, že reálně využitá paměť je 2G a cache sežere 14G, jenom proto, že jsem tomu tu paměť dal, protože tak to dodavatel řešení vyžaduje? Střední servřík s 256GB tak zvládne (zanedbáme-li režie) 16 virtuálek a paměť je pryč. Přitom by takových virtuálek zvládl klidně 64 a stále by každá ještě měla 2GB volné paměti na cache a cokoliv jinýho.

Co používáš za virtualizaci? LXC i OpenVZ sdílí diskouvou cache mezi kontajnery, takže tvůj výpočet neplatí.

Ani LXC ani OpenVZ nejsou plnohodnotná virtualizace. Používáme VMWare, protože je to jediná virtualizace jak s podporou pro hypervizor jako takový, tak od ostatního (komerčního) SW.

[lopata]

Ani LXC ani OpenVZ nejsou plnohodnotná virtualizace. Používáme VMWare, protože je to jediná virtualizace jak s podporou pro hypervizor jako takový, tak od ostatního (komerčního) SW.

No vidíš, s LXC bys neměl problém

[Tuxik]

Ani LXC ani OpenVZ nejsou plnohodnotná virtualizace. Používáme VMWare, protože je to jediná virtualizace jak s podporou pro hypervizor jako takový, tak od ostatního (komerčního) SW.

No vidíš, s LXC bys neměl problém

No měl, protože většina SW i HW je držená v podpoře a ta má samozřejmě určité podmínky. Pokud SW říká, podporujeme instalace na fyzickém HW, nebo virtuál na VMWaru, prostě s tím neudělám nic. A můžeš mi věřit, že ta podpora se občas hodí

[dustin]

Taky používám LXC, takže full virtualizace se samostatným imagem paměti mě nenapadla...