Jak funguje Hadoop?

[Ondra Satai Nekola]

ty by jsi mi byl ochoten neco k hadoopu poradit? v praze mam kamarady u kterych muzu hlavu slozit a ted se tam nekdy o prazdninach chystam...

Pokud nebudu zrovna v Edinburghu, tak ti klidně věnuji hodinku nad ranním kafem. Ale předem podotýkám, že naše doména je dost jiná...

Pokud nechceš řešit ops a zpracování bude spíš jednorázové, tak se vykašli na vlastní infrastrukturu a naklikej si Elastic Map Reduce.

[Reklama]

[www]

a predstavte si ze na vysoke skole mate 5 uceben kde v kazde je 20 pc.

100 PC zní možná cool, ale velké výpočty se běžně dělají na clusterech s počtem jader v řádech tisíců - viz např. http://www.metacentrum.cz/cs/resources/hardware/ - a ta infrastruktura je samozřejmě na počítání vyladěná a adekvátně softwarově vybavená.

IIRC jako student můžeš služeb Metacentra využívat, to je možná jednodušší cesta než se snažit někoho přesvědčit, aby do počítačové učebny instaloval Hadoop

tak kdyby byli ve skole osviceni lidi a bylo by know how tak pocitacu je tam na fakulte co ja vim 500-700 a na cele skole klido 3x tolik? fakt kotel ale s porovnanim co ty posilas asi ne takova sila...

co se instalaci tyce tak to je udajne to nejmin narocne. bavil jsem se s sef-adminem a rikal ze to maji oskriptovany, maji jeden image a ten rozkopiruji po ucebne. linuxy ve skole taky jsou takze to je snad to nejjednodusi. uz jen vygooglit metodu jak instalovat samotny hadoop hromadne.
ja mam zatim testovaci prostredi s 5ti nodama a kdyz to spravuju tak mam tabulku kde si fajfkuju ze tenhle konfigurak jsem umlatil a na ktery masine (ale to momentalce neci cilem ulohy zejo )

[www]

... tak pocitacu je tam na fakulte co ja vim 500-700 a...

to cislo jsem asi prestrelil ale spis tam vzikaji zajimave ulohy ze tech nodu je hafo, ted nekde zacina vyuka takze se jich 40 odstreli, pak se zase nahodi, monitorovani, load balancing atd atd

[Mirek Prýmek]

uz jen vygooglit metodu jak instalovat samotny hadoop hromadne.

Jéééémine, další "google admin"

[www]

uz jen vygooglit metodu jak instalovat samotny hadoop hromadne.

Jéééémine, další "google admin"

povazuju se spis za porgramatora nez admina. ale muzes se podelit tak clovek nezlaly niceho dobrym adminem stane se

a nic lepsiho me nenapada. este muzu otravovat diskuzni fora s otazkama mam to zeditovat v .bashrc ale zadny tu nevidim. co mam delat

[Reklama]

[Mirek Prýmek]

povazuju se spis za porgramatora nez admina.

No prave, takovych se ted roji vic nez je zdravo... https://plus.google.com/109540561880466469418/posts/Ae6hSWXjM9T

ale muzes se podelit tak clovek nezlaly niceho dobrym adminem stane se

Stejne jako jak se stane programatorem clovek, kterej o tom nema paru - roky studia a praxe.

a nic lepsiho me nenapada.

klicova slova: configuration management, server provisioning, server orchestration.

Jsou na to tuny nastroju: Salt, Puppet, Chef, Ansible, cfengine, Docker, Juju, ... Ale v rukach laika jsou tyhle nastroje mor, protoze snadno ziska dojem, jak to hezky osefoval a realita je jinde (to neni nic osobniho, je to podobny jako kdyz si strojni inzenyr mysli, ze prece zvladne naprogramovat GUI jenom proto, ze je inzenyr...)

Zrovna Hadoop je trochu vyssi divci, takze bych ti doporucoval na to zapomenout a poohlidnout se po PaaS resenich, jak radil predrecnik.

[www]

nestacim odepisovat, taky musim neco delat

Mirek Prýmek: diky za tipy

amazone ne:
1) "nejsou" na to penize
2) to by byla nuda si to naklita a mam to... od ceho bych pak byl?
3) jak rikam, HW na to je, otazka jak to bude s knowhow... a kdyby se to povedlo tak to bude mega zajimave, to cluster na skole maji i zajem firmy...
4) jak je to s prenosem? mam dejme tomu 100 TB fotek, jak to do amazonu naladuju?

[Mirek Prýmek]

2) to by byla nuda si to naklita a mam to... od ceho bych pak byl?

tak jestli mas cas delat zbytecny veci zbytecne neodborne... Tak vysledek podle toho bude vypadat

3) jak rikam, HW na to je

Myslim, ze mas trochu naivni predstavy...

4) jak je to s prenosem? mam dejme tomu 100 TB fotek, jak to do amazonu naladuju?

Blbe

[Ondra Satai Nekola]

Hadoop je konstruovaný na servery v sousedních raccích. 50 mašin v různých podsítích s různým vytížením... To není vhodný případ. Když nic jiného, tak pro většinu případů vykrvácíš na I/O.

[www]

Hadoop je konstruovaný na servery v sousedních raccích. 50 mašin v různých podsítích s různým vytížením... To není vhodný případ. Když nic jiného, tak pro většinu případů vykrvácíš na I/O.

presne neco takoveho si myslim. jinak velice dekuju za nabidku. budu to toho maximalne bouchat a kdyztak se ozvu

[www]

ten clanek a komentare na google plus jsem cetl. vim co zname byt adminem. parkrat jsem seldel velde vylozene adminu a koukal jim do monitoru kdyz neco resili a cumel jsem az mi padala brada. rozhodne si takovych lidi vazim a ctim je. a to rikam proto ze si to myslim, ne protoze ti chci lest do zadeke a nenasrat te. bohuzel to co pises je lemi vzdalene realite a ja ti budu vdecny, pokud mi neco relevantniho odepises dekuju

2) to by byla nuda si to naklita a mam to... od ceho bych pak byl?

tak jestli mas cas delat zbytecny veci zbytecne neodborne... Tak vysledek podle toho bude vypadat

Aha, takze ja ve skole prijdu za vedoucim docentem a reknu mu. Hele, tak potrebuju jednoho hadoopovyho admina, jednoho linuxovyho admina. Ti by meli idealne sedet spolu v kanclu a dat cluster dohromady. Pak 1-2 programatori a nejakej tester by neurazil...

3) jak rikam, HW na to je

Myslim, ze mas trochu naivni predstavy...

To stejne. Hele dedku, idealni sestava je: 4tb hdd, 8 jader 2.5 ghz, 512 gb ramek. minimalne 1gb eth propustnost a rovnou kupte nejaky novy switche... Na test 50 takovych stroju, v produkci 200 bude snad stacit.


Ne, takova situace nikdy nebude ale to prece neznamena, ze nemuze vziknout pokus to dat dohromady? Znova apeluji na lidske osviceni. Pokud se to bude lidem na skole zamlouvat tak treba se v budoucnu tym rozroste. Na hadoopu se mi zamlouva to, ze clovek neresi vice vlaknove programovani, neresi deadlock... Nevyhodou je ze se algoritmy, ktery pocitaji s for cyklem nad vsemi daty musi prepsat do map and reduce myslenky. Dalsi nevyhodou je ze je to mlada vec a jsou tu veci jako treba sloupcove nebo nosql databaze kteryma se daji velky data do jiste miry tez prohanet.

[Mirek Prýmek]

Aha, takze ja ve skole prijdu za vedoucim docentem a reknu mu. Hele, tak potrebuju jednoho hadoopovyho admina, jednoho linuxovyho admina. Ti by meli idealne sedet spolu v kanclu a dat cluster dohromady. Pak 1-2 programatori a nejakej tester by neurazil...

Hele, ono to neni nepodobny tomu, jako by ses snazil postavit boeing a mel k dispozici dva sroubovaky a 2m ctverecni balsy. Kdyz na to nemas prostredky, tak si proste stanov takovej cil, na kterej prostredky mas.

Tim te samozrejme nechci odradit od experimentovani, to je super, ze chces zkusit si garazove postavit cluster, to je mi strasne sympaticky, akorat podle toho, co pises, odhaduju, ze jsi trochu prestrelil svoje moznosti - a to vzdycky vede jenom k frustraci...

Ta myslenka vyuzit normalni ucebnove pocitace sice neni principielne uplne spatna, ale bude nepruchodna - nikdo ti neumozni hrat si s konfiguraci stroju, ktere maji uplne jiny ucel. Admini tech stroju te poslou nekam, protoze oni ruci mj. za bezpecnost jejich provozu a nemuzou jenom tak nekoho amatersky si tam cosi instalovat jakymasi skriptama, ktery nekde vygooglil... Takhle to proste nejde, smir se s tim.

Jo, kdyz si sezenes na skole pet kolegu, poprosite nekde nekoho, aby vam dal nejaky stary hw a umoznil pouzit nejakou mistnost, kde si z toho srotu postavite testovaci klastrik, tak to uz je jina - a ze vsech sil bych vam drzel palce, protoze to by byl suprovej a maximalne prinosnej skolni projekt.

Kazdej projekt jestli ma byt uspesnej vyzaduje proste predevsim znat svoje moznosti, byt realista a staveni vzdusnych zamku drzet na zdrave mire

[Jimm]

Aha, mistr Prýmek nepotřebuje zdroje ke zdokonalování, má tu kliku že ví všechno od přírody.  Jen závidím.

uz jen vygooglit metodu jak instalovat samotny hadoop hromadne.

Jéééémine, další "google admin"

[Mirek Prýmek]

Aha, mistr Prýmek nepotřebuje zdroje ke zdokonalování, má tu kliku že ví všechno od přírody.  Jen závidím.

Tak to's pochopil uplne spatne. Google samozrejme pouzivam taky - a dost intenzivne

[ded.kenedy]

Ta myslenka vyuzit normalni ucebnove pocitace sice neni principielne uplne spatna, ale bude nepruchodna - nikdo ti neumozni hrat si s konfiguraci stroju, ktere maji uplne jiny ucel. Admini tech stroju te poslou nekam, protoze oni ruci mj. za bezpecnost jejich provozu a nemuzou jenom tak nekoho amatersky si tam cosi instalovat jakymasi skriptama, ktery nekde vygooglil... Takhle to proste nejde, smir se s tim.

Hodí se sem jedno kočičí přísloví, které říká: "Co to sakra meleš, ty vořechu?"

Hadoop jsem provozoval na siti 50+ desktopovych pocitacu a:

1) hrat si s konfiguraci stroju nebylo potreba
2) adminum to bylo jedno, protoze na zprovozneni hadoop staci jen uzivatelske opravneni
3) o instalaci a konfiguraci na jednotlive uzly se staral asi 20 radkovy rucne delany skript, ktery si stahl a nastavil veci podle master-uzlu

Jedine, co delalo problem, byly (sveho casu) 100Mbs linky v nekterych castech site a "relativne" pomale desktopove disky.

Jo, kdyz si sezenes na skole pet kolegu, poprosite nekde nekoho, aby vam dal nejaky stary hw a umoznil pouzit nejakou mistnost, kde si z toho srotu postavite testovaci klastrik, tak to uz je jina - a ze vsech sil bych vam drzel palce, protoze to by byl suprovej a maximalne prinosnej skolni projekt.

Proc k tomu shanet pet kolegu a stary hardware? Veci pro Hadoop jdou bezproblemu odladit na jednom desktopu a pak vyskalovat na cluster jenom zmenou nastaveni. Na prvni prototyp map/reduce funkci staci Python, ale pokud chce clovek vytahnout z toho neco vic, bude muset nakonec sahnout minimalne po Jave. Ale opet to neni nic, co nejde vyzkouset a odladit na desktopu a pak skalovat podle potreb.