Co je to cloud a k čemu to je?

anubhait

Re:Co je to cloud a k čemu to je?
« Odpověď #30 kdy: 20. 05. 2014, 13:30:48 »
Já jsem toho názoru že následující komiks to dobře vyjádřil...

http://www.itbiz.cz/komiks/komiks-iluzionista


andy

Re:Co je to cloud a k čemu to je?
« Odpověď #31 kdy: 20. 05. 2014, 13:47:53 »
Citace
Viz momentálně populární kombo logstash/elasticsearch, to by se jeden zblil

Prosím, mohl bys to rozvést? Zrovna o něčem takovém uvažuji, logstash mi připadá příšerně neflexibilní záležitost, ale konkrétně elasticsearch+kibana mi přijde docela hezká záležitost, na kterou neznám alternativu. Koukám se špatně?

Re:Co je to cloud a k čemu to je?
« Odpověď #32 kdy: 20. 05. 2014, 14:49:00 »
Prosím, mohl bys to rozvést? Zrovna o něčem takovém uvažuji, logstash mi připadá příšerně neflexibilní záležitost, ale konkrétně elasticsearch+kibana mi přijde docela hezká záležitost, na kterou neznám alternativu. Koukám se špatně?
Mas pravdu, alternativu to asi nema, pokud nechces platit za Splunk. Me na tom spis stve, ze lidi nasazuji takovyhle priserny jaderny elektrarny na v principu jednoduchy problemy, kde to vubec nepotrebuji, jenom proto, ze to videli na Youtube a moc se jim libilo, jak to ma blikajici webui...

To mi takhle jednou developer rika "my ale to webovy rozhrani potrebujem! Prece nebudu lozit nekam na server a neco tam grepovat!" -- pritom nepotrebuje zadny slozity korelace, statistiky, nic takovyho. Potrebuje se proste podivat na hlasky z nginxe... Proste dostupnost tehle nastroju vede k silene bloatwarovitosti kazdyho nasazeni, vsechno ma miliardu propojenych soucasti, ktery samozrejme nekdo instaloval nejakym chefem, skriptama, ktery stahl nekde kdoviodkud z netu a maji tisice radku... Takze vubec nikdo poradne nevi, jak to vlastne funguje, na cem je co zavisly apod. A pak za tebou prijdou a reknou "hele, prover, jestli to mame vsechno zabezpeceny". Ja na to: "ok, ale sepiste mi specifikaci, co jste kam instalovali, co komunikuje s cim atd." -- "Ses posral v kine, ne? Mas chefskripty, tak co chces?!"
...kde je ta doba, kdy vsechno instaloval admin hezky rucne a presne vedel (a mel presne sepsany), co kde je a proc...

Jinak zkusenost mam z toho komba s logstashem - samozrejme hype, ze, tak to hnedka musime mit. Kdyz jsem to zacal rozchazet, tak jsem se nekolikrat malem poblil. Nekde kolem 120MB, java, nad tim jeste jruby. Polovina pluginu a navodu nefungovala, protoze zrejme panove neustale meni API nebo co... No, proto to maji v jruby, aby to bylo "flexibilni" (cti: kdykoli se nam zachce, rozdrbeme API). Spatne napsanej startskript (neumi se poradne detachovat, takze zustal viset na prostredi, ve kterym to clovek spusti), startuje to asi pul minuty (!!!!) a perlicka na zaver: neumit to reload configu. Cili kdyz zmenis radek v konfiguraci, cekas pul minuty nebo kolik, nez se to zrestartuje. Proste HRUZA! Zase produkt nejakejch frikulinu, kteri jsou desne uneseni kazdym dementnim hypem a vytvari naprosto nesmyslnej bloatware, kterej nema poradne implementovany zakladni veci.

...no a tenhle vsechen cirkus jenom proto, aby prijal strukturovany data (tag -> hodnota), umel je podle tagu tridit a nekam zas dal odesilat. WTF?! To uz vubec nikdo neumi normalne pricetne programovat?!

Re:Co je to cloud a k čemu to je?
« Odpověď #33 kdy: 20. 05. 2014, 15:04:20 »
Takze vubec nikdo poradne nevi, jak to vlastne funguje, na cem je co zavisly apod. A pak za tebou prijdou a reknou "hele, prover, jestli to mame vsechno zabezpeceny". Ja na to: "ok, ale sepiste mi specifikaci, co jste kam instalovali, co komunikuje s cim atd." -- "Ses posral v kine, ne? Mas chefskripty, tak co chces?!"

...kde je ta doba, kdy vsechno instaloval admin hezky rucne a presne vedel (a mel presne sepsany), co kde je a proc...

...no a tenhle vsechen cirkus jenom proto, aby prijal strukturovany data (tag -> hodnota), umel je podle tagu tridit a nekam zas dal odesilat. WTF?! To uz vubec nikdo neumi normalne pricetne programovat?!


Do kamene tesat!

podlesh

Re:Co je to cloud a k čemu to je?
« Odpověď #34 kdy: 20. 05. 2014, 15:18:38 »
Ja na to: "ok, ale sepiste mi specifikaci, co jste kam instalovali, co komunikuje s cim atd." -- "Ses posral v kine, ne? Mas chefskripty, tak co chces?!"
...kde je ta doba, kdy vsechno instaloval admin hezky rucne a presne vedel (a mel presne sepsany), co kde je a proc...
Tak tahle doba asi bude někde v cloudu. My tu máme dobu, kdy všechno instaloval admin hezky ručně, takže dnes možná ještě víme co kde je (samozřejmě to tak docela nesedí s tím sepsaným, ale to se dá zjistit), ale proč - to už nikdy nikdo dohromady nedá.


knedla

Re:Co je to cloud a k čemu to je?
« Odpověď #35 kdy: 20. 05. 2014, 15:45:07 »
cloud robi abstrakciu bud nad HW, platformou alebo aplikaciami.  to ze je to overkill, budiz. ale dnes fakt netusis ako rychlo budes potrebovat zdroje. Pri velkych projektoch musis mat moznost rast takemr do "nekonecna" a ne ze ti dodavatel doda ten mainframe o 3 tyzdne. jednoducho dokazes takmer vsetko skalovat v minutach.

to co tu splieta Prýmek je z casti pravda, ale je to kratkozrake. Problem bude ze vela "cloud" rieseni je pisanych v Jave a cloud sa nasadzuje aj tam kde ti staci jednoduchy skript!


Princip cloudu je vyborna vec, momentlana realizacia je o hubu, ale casom to bude lepsie.

knedla

Re:Co je to cloud a k čemu to je?
« Odpověď #36 kdy: 20. 05. 2014, 15:52:39 »
Citace
Takze vubec nikdo poradne nevi, jak to vlastne funguje, na cem je co zavisly apod. A pak za tebou prijdou a reknou "hele, prover, jestli to mame vsechno zabezpeceny". Ja na to: "ok, ale sepiste mi specifikaci, co jste kam instalovali, co komunikuje s cim atd." -- "Ses posral v kine, ne? Mas chefskripty, tak co chces?!"

...kde je ta doba, kdy vsechno instaloval admin hezky rucne a presne vedel (a mel presne sepsany), co kde je a proc...

asi si zaspal dobu chlape, nikoho teraz nezaujima co ako funguje. Staci vediet co sa vypadne ked hodim informaciu x do skatulky. Vhodnou kombinaciou skatuliek poskladam system a zakaznik si na nom bude moct robit biznis.

ta doba je v ..... a nikomu nechyba. . Ako admin potrebujem len kocky Lega ktore pospajam a odovzdam hotove auticko. Ak ta niekto poziadal o audit tak ho urob a neplac ze system je taky aky je. Ak by bol v 100% stave absolutne transparentny tak na audit ta nik nevola a zral by si boty.




Re:Co je to cloud a k čemu to je?
« Odpověď #37 kdy: 20. 05. 2014, 17:23:54 »
to co tu splieta Prýmek je z casti pravda, ale je to kratkozrake.  [...] Princip cloudu je vyborna vec, momentlana realizacia je o hubu, ale casom to bude lepsie.
No pockej, to jsem asi nepochopen - naprosto souhlasim s tou druhou vetou. Taky si myslim, ze to je supr vec, akorat se to musi brat s chladnou hlavou a vzdycky si rict, jestli tu kterou featuru opravdu potrebuju a jaky problem presne resim. Je to jako se vsim - pokud jdu do veci jenom proto, ze jsou cool, je z toho nakonec kupa hnoje...

Kromě toho, když se to vezme za správný konec, umožňuje cloud věci, které by jinak byly prakticky nemožný - viz např. https://plus.google.com/+MiroslavPrymek/posts/7dpoxco7ZEP To je ale úplně jiný příběh než když přijde banda hipsterů, kteří si do cloudu nahážou halabala cokoli, co je napadna a jak je napadne...

asi si zaspal dobu chlape, nikoho teraz nezaujima co ako funguje. Staci vediet co sa vypadne ked hodim informaciu x do skatulky. Vhodnou kombinaciou skatuliek poskladam system a zakaznik si na nom bude moct robit biznis.
S tím naprosto souhlasím. Pokud (!) bych měl škatulky, které by naprosto deterministicky dělaly to, co dělat mají (což je meta cloudových řešení), byla by s tím krásná práce. Problém je v tom, že když nedělají, co mají, tak seš v zadeki o to víc, protože dovnitř nevidíš.

Jinak ale s tebou v principu souhlasím - je to stejnej posun ke znovupoužitelnosti, k jakýmu došlo v programování - dneska se taky už prakticky neprogramuje jinak než lepením krabiček dohromady. Je to správně, pokud to má výsledky. Pokud to výsledky nemá, je to na hovno.

knedla

Re:Co je to cloud a k čemu to je?
« Odpověď #38 kdy: 20. 05. 2014, 19:26:13 »
ano, momentalne cloud riesenia su znacna kovbojka. ako si spominal... API kadze 3 mesiace ine. co fungovalo s verziou 1.0.1.x  nefunguje s 1.0.1.x+1 a pritom to nie je radikalny release.

a taktiez suhlasim s tebou v tom ze implementacia cloudov by mala byt presne cielena tam kde treba a nie na kazdu chobotinu.
Momentalne si pod slovom Cloud ludia predstavia dropbox, google drive, a podobne storage riesenia.

Napriklad co pouzivame je Openstack, na nom Hadoop a na nom vypocty pomocou R + Python. Stabilita riesenia ... nooo nerad by som to nasadzoval pre zakaznika :(

A tie skripty resp. package na instalaciu Hadoop (Ambari)  ani za tu ..... som nedokazal rozbehat Hadoop na 20  nodoch...  skoncil som s instalaciu jednu masinku za druhou. proste klikacka s predpripravenymi skriptami zlyhala. Pripada mi to ze niekto nieco vymyslel, predal fukcionalitu a teraz sa kodi riesenie..
 tusim si to nazval buzzword..


Re:Co je to cloud a k čemu to je?
« Odpověď #39 kdy: 20. 05. 2014, 19:42:14 »
Napriklad co pouzivame je Openstack, na nom Hadoop a na nom vypocty pomocou R + Python. Stabilita riesenia ... nooo nerad by som to nasadzoval pre zakaznika :(

A tie skripty resp. package na instalaciu Hadoop (Ambari)  ani za tu ..... som nedokazal rozbehat Hadoop na 20  nodoch...  skoncil som s instalaciu jednu masinku za druhou. proste klikacka s predpripravenymi skriptami zlyhala. Pripada mi to ze niekto nieco vymyslel, predal fukcionalitu a teraz sa kodi riesenie..
 tusim si to nazval buzzword..
Jo jo, to je presne to, o cem mluvim. Jednoho krasnyho dne nekdo prijde do prace a hlasi "Kucí, psali na xxx o tem Hadůůůpu, to je bomba, to musíme mít, to ti normálně samo škáluje fklaudu a jede na tem Fejsbůk!" :)

jozko

Re:Co je to cloud a k čemu to je?
« Odpověď #40 kdy: 21. 05. 2014, 10:42:31 »
Zacal by som trocha inak.

Preco zacal cloud?

Vsetko sa zacalo podstate virtualizaciou, ktora umoznuje vyuzivat "chytro" prostriedky, to znamena na jednom fyzickom serveri mozes mat XYZ instancii -> setrenie nakladov, vytazovanie fyzickych serverov.

Mas 8x jadrovy XEON 64GB RAM a na nom si mozes vytvorit X serverov, co pred rokom 2000 az take jednoduche nebolo.

Teraz si predstav, ze ak ti fyzicky server odide, ty prides o biznis, server je down atd...

Riesenie je vyuzivanie dalsich serverov.

Vytvoris dalsi fyzicky server s instanciami OS.
Takze mas 3  fyzicke servery a na nich rovnake instancie OS.

Kedze ak sa nad tym zamyslis, ak nespravis nejaky load balancing, tak stale len 1 server bude zatazovany a ostatne budu, len keby nieco.

To je velmi neefektivne a vyzadauje to $.

Sumar: Na jednej strane z jednej fyzickej krabicky si dokazal vytvorit virtualne 8, ale na druhej ak ti zomrie fyzicky server prisiel si dajme tomu o 8 sluzieb. Takze musis vytvorit backupy.

A teraz sa zamyslime, preco by som mal mat zapnute vsetky pocitace, ked momentalne zatazenie/cerpanie poziadaviek dokaze obsluhovat iba 1 server?

Riesenie: Mozem urcite fyzicke servery poddimenzovat (statistika...) a zaroven mozem "usetreny" vykon predavat tretej strane.

V podstate mam farmu strojov, ktore mi bezia nonstop. Momentalne zatazenie urcitej casti je take, ze mozem si dovolit prenajimat vypocetny vykon tretej strane.

Ked sa nad tym zamyslis, jednoducho takato vec "naskriptovat" nejde. Predstav si farmu 10000 serverov a migrovat medzi nimi virtualne instancie "tradicnym sposobom" nie je jednoduche.

Podstata celeho cloudu je chytry loadbalancing, zdielat "chytro" vykon medzi ostatnych zakaznikov a setrit vykon serverov. Napriklad ak tvoje datacentrum dlhodobo je zatazene na 85% vykonu, ty na zaklade urcitej statistiky mozes dajme tomu 10% serverov vypnut
Tym padom, ak by prisiel aj naraz, tych tvojich 5% mas stale online, a kym ti nastartuju sa ostatne casti infrastruktury (ci fyzicky alebo zo "setriaceho modu"), tak si zahojeny.

A ked si das vygooglit 'elastic computing' tak najdes viac informacii.

Existuju 4 (aspon ja o nich viem) moznosti/varianty cloudu.

IaaS
PaaS
SaaS
Prve 3 vygooglis, ale NaaS ani nie,

NaaS (Network as a Service)

Ked sa zamyslis nad tym, mas datacentrum, kde bezia nejake aplikacie, kde tvoje sietove zariadenia podla niecoho routuju/forwarduju data. Z pohladu zakaznika to nie je stale vhodne, napriklad ak mas zlozitejsie infrastruktury (najdes to v tych lepsich virtual hostingovych spolocnostiach) potrebujes si siet manazovat nejako inak. Napriklad vlastny firewall, nejaky "vlastny" loadbalancer na urcitej urovni aj virtualnych dat.

Ak sa pozries na novovznikajuci fenomen SDN (Software Defined Networking), tak si uvedomis, ze siete prezivaju revoluciu.
Vid Cisco ACI (Nexus 9k5). Podstata je ta, ze "tradicne" siete sa konfigurovali staticky  raz za cas sa spravilo nieco (novy OS, kontrola...). Ale tym, ze su staticky nakonfigurovane, tak casto tvoja sietova infrastruktura nevie RYCHLO reagovat na ine stavy.
Ano, existuje SNMP, NETCONF, ale tieto protokoly nie su "REALTIME", tam nemas, ze do 100ms zmenis topologiu 10k sietovym nodom.

Napriklad, tradicne smerovacie protokoly nevedia reagovat na veci "zatazenie infrastruktury", nedokazes custom robit smerovanie na 1000 smerovacich(routroch), len tak...
Inymi slovami siete su strasny moloch, co sa neda dynamicky menit. Jedina vec co sa vyzaduje od sietovej instrastruktury je poslanie dat z bodu A do bodu B pricom su dodrzane kvalitativne poziadavky aplikacie na "cestu" (latencia, sirka pasma...) s urcitou policy.

Preto vzniklo viacmenej SDN, co som to riesil, tak najdalej su Cisco onePK (Cisco ONE) a OpenFlow a NSX(s tym som sa realne nezaoberal).

SDN si mozes predstavit ako urcite API zariadeni, ktore mozes programovat. (Je to strasne zjednodusene, ale aby si to pochopil).

Napriklad co som vytvoril v openflow?

Switch na 20 (Ruby) riadkoch, router na 100 riadkoch (Ruby), loadbalancer (na zaklade aktivity ludi na IRC (Ruby))

V onePK, xmpp/IRC (zariadenia sa pripoji na Jabber/IRC a mozem ho tam cez "conf t" konfigurovat), dynamicke smerovanie dat na zaklade stavu infrastruktury :-) (Python)

V podstate nie je problem v onePK spravit nieco taketo, posles ICMP s datami splachni zachod na urcitu adresu router na zaklade eventu da prikaz toalete a ta splachne... (Nie, zeby sa to nedalo teraz nejako naskriptovat, len ked niekto drzal enterprise zariadenie, tak uzna, ze to az take lahke nie je.)


Prec od sieti skor k sw na cloudy.

Ked sa nad tym zamyslis, puppet a chef je naco, v podstate opiciu pracu administratorov dokazes "vyklikat" v nastroji.
A ked sa skusis nad tym zamysliet, na viac rokov, tak podla mna informacne technologie budu take klikacie, ze niektore pracovne pozicie zaniknu.

Vid SDN, a Cisco ACI, nepotrebujes mat 20 CCIE v datacentre, ked ta krabicka vie sa sama o vsetko postarat, ty len jej das policy a spravi vsetko.

Podobne to bude aj pri serveroch.
Napriklad FreeBSD koketuje s outputmi programov cez serializacne formaty, a registrovat eventy -> posunut automatizaciu dalej.

Preco? Potrebujes sa na nieco dynamicky pozerat, takze potrebujes mat nejaky zaregistrovany event (spadol mi interface, preroutuj cely internet cez iny fyzicky stroj), ktory sa odosle.
Preco serializacny format, je jednoduchsie v JSONe parsovat text ako raw (sed/awk/cokolvek).


Dalej o futuristickych planoch nechcem pisat, lebo by som niekoho urazil.

Kazdopadne bude to este zaujimave.


Ano, cloud je fajn, len ma mnoho nevyhod (bezpecnost a ako bolo viac veci hore napisanych).

Podstata je asi taka, ze tvoja aplikacia by sa mala vysporiadat s viacerymi faktormi (load balancing,...)

:-)



 











 




 





 


andy

Re:Co je to cloud a k čemu to je?
« Odpověď #41 kdy: 21. 05. 2014, 11:19:21 »
Mas pravdu, alternativu to asi nema, pokud nechces platit za Splunk. Me na tom spis stve, ze lidi nasazuji takovyhle priserny jaderny elektrarny na v principu jednoduchy problemy, kde to vubec nepotrebuji, jenom proto, ze to videli na Youtube a moc se jim libilo, jak to ma blikajici webui...
Mě se to taky líbí... ono je to fakt hezký a jednoduchý, a když člověk něco ad-hoc hledá, tak to funguje pěkně a můžou to ovládat lidi, pro který je grep sprosté slovo. Druhá věc je současný hype kolem NoSQL databází - elasticsearch pěkný, ale v momentě, kdy chce člověk nepatrně složitější agregovaný dotaz, tak smůla :(

Zas je otázka, jaké jsou alternativy - v tom kvantu logů to asi jinak než takhle nejde.

Citace
Jinak zkusenost mam z toho komba s logstashem - samozrejme hype, ze, tak to hnedka musime mit. Kdyz jsem to zacal rozchazet, tak jsem se nekolikrat malem poblil. ... Proste HRUZA! Zase produkt nejakejch frikulinu, kteri jsou desne uneseni kazdym dementnim hypem a vytvari naprosto nesmyslnej bloatware, kterej nema poradne implementovany zakladni veci.

Absolutní souhlas... když jsem to viděl, tak jsem si říkal, že si to radši napíšu sám. Ale to je věc logstashe, elasticsearch a kibana mi připadají, že fungují pěkně. Ale Hype kolem toho mají pěkný, když jsem viděl ty nadšený videa tak mi přišlo, že to přece nemůže být tak hrozné...

Re:Co je to cloud a k čemu to je?
« Odpověď #42 kdy: 21. 05. 2014, 12:31:12 »
Zas je otázka, jaké jsou alternativy - v tom kvantu logů to asi jinak než takhle nejde.
No to jsme prave u toho - jaka cast z tech logu zase pochazi od nejakych jinych zbytnych picicmund...

Absolutní souhlas... když jsem to viděl, tak jsem si říkal, že si to radši napíšu sám.
Presne to samy me napadlo taky - rikam si tyvole, to bych mel v Elixiru za vikend...

Ale Hype kolem toho mají pěkný, když jsem viděl ty nadšený videa tak mi přišlo, že to přece nemůže být tak hrozné...
Treba pro kazdyho, kdo o tom natoci video, davaji pytlik koksu nebo tak neco :)

andy

Re:Co je to cloud a k čemu to je?
« Odpověď #43 kdy: 21. 05. 2014, 15:28:25 »
Zas je otázka, jaké jsou alternativy - v tom kvantu logů to asi jinak než takhle nejde.
No to jsme prave u toho - jaka cast z tech logu zase pochazi od nejakych jinych zbytnych picicmund...
To sice jo, ale obávám se, že pokud člověk dělá sběr logů v jakékoliv organizaci a mělo to mít smysl (ona to většina i těch větších buď nedělá, nebo to dělá stylem "aby audit prošel"), tak stejně skončíš s tím, že sbíráš prakticky všechno a pak se v tom snažíš orientovat. Z tohoto pohledu mi kibana přijde jako fakt hezký nástroj (pokud člověk nechce platit hoooodně za splunk - který ale co jsem pochopil je v základu v zásadě totéž). A jiné, než "cloudové" řešení elasticsearch asi taky moc v úvahu nepřipadá - konec konců má to vestavěný fulltext index, samo to "škáluje"... taky nevím, jak bych to udělal jinak :)
Takže logstash bych hodil do koše a napsal si to znovu (možná k tomu dojdu - nechápu, jak takovou poměrně triviální věc dokázali tak strašně zmastit - navíc ty jejich konfiguráky zrovna moc přehledné nejsou), ale to ostatní mi přijde celkem OK.

Re:Co je to cloud a k čemu to je?
« Odpověď #44 kdy: 21. 05. 2014, 16:05:52 »
Ked sa nad tym zamyslis, puppet a chef je naco

To by mě taky zajímalo ;) Ubuntu = neumí nainstalovat Debian, puppet = neumí nastavit služby?