Co je to cloud a k čemu to je?

[Dalibor]

To by mě taky zajímalo Ubuntu = neumí nainstalovat Debian, puppet = neumí nastavit služby?

Nie, to nie je o tom, ze nevies nastavit sluzby.

Mas jednu sluzbu, ktoru chces nasadit na 10 strojov. Polozis si otazku: "Preco by som mal to iste nastavene robit rucne 10 krat? Napisem si na to skript". Fajn, to dava zmysel.

Firma rastie a pribudne ti 10 dalsich sluzieb ktore potrebujes nasadit na dohromady 100 serverov. Skript pre nasadenie jednej sluzby uz mas, tak ho zacnes pisat aj pre ostatne sluzby. Potom si ale polozis otazu: "Preco by som mal pisat 10 +/- rovnakych skriptov? Napisem si super skript, ktoremu podhodim nejaku konfiguraciu a on mi nainstaluje tu ktoru sluzbu na tu ktoru sadu strojov". V tomto momente sa bud priamociaro pustis do pisania super skriptu alebo sa poobzeras po nete a objavis chef, puppet, salt stack...

[Reklama]

[Mirek Prýmek]

To sice jo, ale obávám se, že pokud člověk dělá sběr logů v jakékoliv organizaci a mělo to mít smysl (ona to většina i těch větších buď nedělá, nebo to dělá stylem "aby audit prošel"), tak stejně skončíš s tím, že sbíráš prakticky všechno a pak se v tom snažíš orientovat.

No desítky let si lidi vystačili s tím, že mají tagy a severity. Chápu korelaci, tam začíná věda, ale na jednoduchý prohledávání to jako zas tak strašně nutný nevidím. Jasně, je to pohodlný, je to hezký, ale že by to bylo něco, bez čeho se nedá obejít? Nevím no... Když si porovnám výnosy a náklady... (všechny - včetně složitější infrastruktury, složitější auditovatelnosti, bezpečnosti...)

Takže logstash bych hodil do koše a napsal si to znovu (možná k tomu dojdu - nechápu, jak takovou poměrně triviální věc dokázali tak strašně zmastit - navíc ty jejich konfiguráky zrovna moc přehledné nejsou), ale to ostatní mi přijde celkem OK.

Pokud bys to chtěl psát znovu, tak mi určitě dej vědět - má o to eminentní zájem a možná bych mohl i přidat ruku k dílu (pokud by to bylo v nějakém mně srozumitelném jazyce). Dělal sis pořádnou rešerši, jestli se to nedá něčím nahradit nebo něco přiohnout, aby to ten shit nahradilo?

[Mirek Prýmek]

Mas jednu sluzbu, ktoru chces nasadit na 10 strojov. Polozis si otazku: "Preco by som mal to iste nastavene robit rucne 10 krat? Napisem si na to skript". Fajn, to dava zmysel.

Ještě bych přihodil auditovatelnost. U chefu je to dost naprd, u puppetu lepší a king je salt

[Tomáš Crhonek]

Nie, to nie je o tom, ze nevies nastavit sluzby.

Mas jednu sluzbu, ktoru chces nasadit na 10 strojov. Polozis si otazku: "Preco by som mal to iste nastavene robit rucne 10 krat? Napisem si na to skript". Fajn, to dava zmysel.

Firma rastie a pribudne ti 10 dalsich sluzieb ktore potrebujes nasadit na dohromady 100 serverov. Skript pre nasadenie jednej sluzby uz mas, tak ho zacnes pisat aj pre ostatne sluzby. Potom si ale polozis otazu: "Preco by som mal pisat 10 +/- rovnakych skriptov? Napisem si super skript, ktoremu podhodim nejaku konfiguraciu a on mi nainstaluje tu ktoru sluzbu na tu ktoru sadu strojov". V tomto momente sa bud priamociaro pustis do pisania super skriptu alebo sa poobzeras po nete a objavis chef, puppet, salt stack...

Nainstaluji jeden server a xkrát ho naklonuji. Za tu dobu, co adminuju trojciferné číslo serverů si nepamatuji jediný případ, kdy bych puppet apod využil, protože každé prostředí je jiné, takže se ten server jednou nainstaluje a xkrát naklonuje. Pokud bych používal puppet, tak bych pro každé prostředí psal definiční soubory a ty bych jednou použil. Celkem zbytečná práce. Nehledě na to, že kdybych nebyl línej a naučil bych se dělat rpm balíčky, tak bych si i tak snadnou práci mohl ještě víc ulehčit (ale spíše je to opět důkaz toho, že to není potřeba).

[Dalibor]

Nainstaluji jeden server a xkrát ho naklonuji. Za tu dobu, co adminuju trojciferné číslo serverů si nepamatuji jediný případ, kdy bych puppet apod využil, protože každé prostředí je jiné, takže se ten server jednou nainstaluje a xkrát naklonuje. Pokud bych používal puppet, tak bych pro každé prostředí psal definiční soubory a ty bych jednou použil. Celkem zbytečná práce. Nehledě na to, že kdybych nebyl línej a naučil bych se dělat rpm balíčky, tak bych si i tak snadnou práci mohl ještě víc ulehčit (ale spíše je to opět důkaz toho, že to není potřeba).

Nuz, nie je system ako system. Ak tu potrebu necitis, tak ano, nema zmysel nasilu zacat pouzivat niektoru z tych technologii. Ale zovseobecnovat to na "puppet = neumí nastavit služby" mi prido mimo.

[Reklama]

[Mirek Prýmek]

Pokud bych používal puppet, tak bych pro každé prostředí psal definiční soubory a ty bych jednou použil. Celkem zbytečná práce.

Podle toho, jak moc jsou ta prostředí rozdílná. Tyhle nástroje má smysl používat tam, kde máš servery vesměs stejné a liší se jenom parametry. Pak když chceš udělat nový server, napíšeš jenom sadu těch parametrů. Nemusíš si pamatovat, že ausgerechnet hostname musíš dát do těchto deseti konfiguráků. Je to prostě "programování architektury" a má to význam. Jenom ty nástroje jsou ještě dost nedokonalé a přiživuje se na tom právě spousta těch různých hypových hipsterů, takže se tam občas implementují krávoviny, obálky obálek a wrappery kolem wrapperů obálek nad dockerem běžícím na awsku

Samozřejmě čím víc centralizace, tím víc hromadných problémů. Jak jsem někde četl: zbořit jeden počítač, to je uživatel. Zbořit deset počítačů, to je admin. Zbořit jich tisíc, to je DevOps

[andy]

Jak řekl jeden vyznamý vývojář jistého serverového softu, neznám žádnou aplikaci v ČR, kterou by reálně neutahal jeden server.

Cece, tak rozmyslam, ze ak by bola kazda apka v C alebo asm, tak asi fakt. Zavisi od toho co chapeme pod aplikaciou. Jedine o com mam trochu pochyby je taky system mobilneho operatora, alebo nejake bankove systemy. Tiez taka videokniznica televizie (live prenosy..).

[Dalibor]

Cece, tak rozmyslam, ze ak by bola kazda apka v C alebo asm, tak asi fakt. Zavisi od toho co chapeme pod aplikaciou. Jedine o com mam trochu pochyby je taky system mobilneho operatora, alebo nejake bankove systemy. Tiez taka videokniznica televizie (live prenosy..).

Autor prispevku ten citat dost vytrhol z kontextu. Je potrebne tam dodat "ziadnu aplikaciu v CR aktualne beziacu na Google App engine" (slovo "aktualne" sa casovo vztahuje na moment povodneho vyroku)

[Tomáš Crhonek]

Jak řekl jeden vyznamý vývojář jistého serverového softu, neznám žádnou aplikaci v ČR, kterou by reálně neutahal jeden server.

Cece, tak rozmyslam, ze ak by bola kazda apka v C alebo asm, tak asi fakt. Zavisi od toho co chapeme pod aplikaciou. Jedine o com mam trochu pochyby je taky system mobilneho operatora, alebo nejake bankove systemy. Tiez taka videokniznica televizie (live prenosy..).

Snažil jsem se a nenašel jsem komentář autora, takže nebudu uvádět ani jeho jméno, abych ho případně nepoškodil.

Samozřejmně, věci jako streamování videa a pod jeden server nezvládne ale ne z důvodu výkonu CPU nebo transakcí na diskové pole, ale z důvodů šířky přenosového pásma. Jen, když se nad tím zamyslíme, tak v ČR je 10 mil. lidí, to je takové jedno větší světové město. Komoditní HW (když se správně vybere, ne plečka s 5400rpm green srágorama na PERC H200) zvládá dejme tomu 40ktps. To znamená, že záznamy o všech lidech v ČR by se zvládly insertnout za 250s (kdyby to byly oddělené transakce, v případě bulk load ještě rychleji). Na takovém systému je tedy možné každé 4 minuty přepsat údaje o všech lidech v ČR. Dejme tomu centrální registr obyvatel. Nebo vozidel (kterých je méně, ale zhroutilo se jim to 5 minut po otevření).

Samozřejmně asi se najde pár specializovaných příkladů, kdy to nebude z různých důvodů možné (nevím co a jak řeší ten mobilní operátor), nikdy neříkej nikdy  .

[andy]

Ono poziadavky mozu byt aj latencia a pod a vtedy aj keby to system celkovo stihal, tak moze mat vysoke odozvy a treba tu zataz nejako rozlozit.

Co sa tyka google app engine a cloudov, myslim ze celkovo nie je tych aplikacii az tak vela. Mozno ked sa robi reklamna kampan, vtedy ma ten cloud zmysel - clovek si rychlo naklika nejake cache a pod. Ale ze by niekto zrazu potreboval o 20 serverov naviac sa mi nechce verit.

[Mirek Prýmek]

Mozno ked sa robi reklamna kampan, vtedy ma ten cloud zmysel - clovek si rychlo naklika nejake cache a pod. Ale ze by niekto zrazu potreboval o 20 serverov naviac sa mi nechce verit.

Přičemž mimochodem není žádný velký technický problém mít jeden vlastní server na normální zátěž a jenom v případě, kdy očekávám enormní špičku, si ho posílit o nějaké pronajaté servery.

Když si to vezmeš čistě selsky, mělo by to význam, kdyby to fungovalo opravdu tak, jak tvrdí marketing, tj. hlavně:
1. jestliže máš klasický hw server vytížený na 10%, tak by TCO cloudového řešení stejného problému bylo maximálně desetinové, spíš nižší
2. cloud by bezobslužně sám škáloval přesně podle zátěže

...což se prostě neděje. Když si koupíš server z druhé ruky za deset ticsíc a hodíš ho do housingu za sedm set měsíčně, tak máš víc muziky než na EC2 za dva tisíce měsíčně

[knedla]

Ale ze by niekto zrazu potreboval o 20 serverov naviac sa mi nechce verit.

poviem to takto, pracujeme na matematickych modeloch a predikciach. dva tyzdne sa model vymysla,dva dni sa kodi, potom sa testuje. jeden test zozerie na vyvojarskom desktope asi 3 minuty, na servery presne 2:24. takychto testov treba urobit okolo 1000, tj asi 2240 minut co je asi 37 hodin.

tak sme si prenajali vypoctovy cloud do ktoreho pushneme data, zdrojak v pythone a Rku, staci stlacit button execute a za 15 minut uz len stahujeme vysledky testov, ktore dalsi tyzden analyzujeme.

v tomto pripade nema zmysel investovat prachy do zeleza a zbytocne ho krmit ked nic nerobi. jedine co zivime je ten cloud na analyzy ale to su len 3 storage servery s moznostou prenajatia do aleluja, no 3 zatial stacia.


to iste aj renderove farmy... ale v tom sa moc nepohybujem.

[Sten]

Když si to vezmeš čistě selsky, mělo by to význam, kdyby to fungovalo opravdu tak, jak tvrdí marketing, tj. hlavně:
1. jestliže máš klasický hw server vytížený na 10%, tak by TCO cloudového řešení stejného problému bylo maximálně desetinové, spíš nižší
2. cloud by bezobslužně sám škáloval přesně podle zátěže

Jak by čistě selsky TCO cloudu mohlo být méně než desetinové, když potřebuješ 10 % výkonu?

Cloud samozřejmě musí mít nějaké rezervy, takže v tomto případě očekávám TCO tak třetinové oproti vlastnímu HW (desetina pro ten průměr + 1½× tolik rezerva + nějaká marže).

...což se prostě neděje. Když si koupíš server z druhé ruky za deset ticsíc a hodíš ho do housingu za sedm set měsíčně, tak máš víc muziky než na EC2 za dva tisíce měsíčně

No když si dovolíš provozovat aplikaci na serveru za deset tisíc a hodíš do hostingu za sedm stovek (btw. kde nabízí housing pro 150+ W server za 700 měsíčně?), tak se ti cloud samozřejmě nikdy nevyplatí, protože ten běží na novém hardwaru

[Mirek Prýmek]

Jak by čistě selsky TCO cloudu mohlo být méně než desetinové, když potřebuješ 10 % výkonu?

A proč by nemohlo? Nakupují hw ve velkém, vyplatí se jim investice do dražších technologií s lepším poměrem cena/výkon atd. atd.

Na tom je přece celý moderní kapitalismus založený, že se ti vyplatí nechat udělat dveře truhlářovi, který má drahé speciální stroje, než aby sis to pižlal sám rybičkou

No když si dovolíš provozovat aplikaci na serveru za deset tisíc a hodíš do hostingu za sedm stovek (btw. kde nabízí housing pro 150+ W server za 700 měsíčně?), tak se ti cloud samozřejmě nikdy nevyplatí, protože ten běží na novém hardwaru

Na jakém běží hw, to nevíš. Není žádný "nový" a "secondhand" hw, je jenom hw s určitým stářím. Na jak starých serverech běží EC2 nevíš a taky je ti to úplně jedno, tebe zajímá výsledek.

Housing na 160W za EUR32 máš tady: http://www.coolhousing.net/order-form-cool-rack-housing.html

[Mirek Prýmek]

Co se týče těch cen, viz např. http://blog.carlmercier.com/2012/01/05/ec2-is-basically-one-big-ripoff/

Příklad normálního hw serveru u Hetzneru: http://www.hetzner.de/en/hosting/produkte_rootserver/ex40
- EC2 se může jít zahrabat... Navíc když chceš, uděláš si na tom virtuálů bambilion a seš pořád na stejné ceně. U slavnýho klaudu EC2 by ses nedoplatil...