Jak funguje Hadoop?

[fail]

uz jen vygooglit metodu jak instalovat samotny hadoop hromadne.

Jéééémine, další "google admin"

a kvuli takovym tu je... https://news.ycombinator.com/item?id=7869904

[Reklama]

[Mirek Prýmek]

2) adminum to bylo jedno, protoze na zprovozneni hadoop staci jen uzivatelske opravneni

Tak zkusit to může. Třeba mu na to šrotování petabytů (nebo kolik to psal) fotek bude stačit 50 desktopů v defaultní konfiguraci, které bude moct spustit jenom přes noc a fotky ukládat do svého $HOME nasdíleného přes NFS na fakultní fileserver, kde mu správci ochotně zvýší kvótu na pár petabytů Ale jinak by mi fakt přišlo rozumější zjistit si, za jakých podmínek ho pustí do Metacentra... (pokud jde fakt jenom o výpočty) anebo si postavit vlastní cluster from scratch, na čemž se naučí i ladit síť, úložiště, lokaci úloh atd. (pokud jde o seznamování se s tím, jak funguje cluster).

a kvuli takovym tu je... https://news.ycombinator.com/item?id=7869904

Přesně tenhle link mám právě v tom dkazovaným postu z Pluska

[fail]

mea culpa. ja si rikal, kde jsem to vyhrabal bo paralelne docker tlaci na vice frontach a ne jen z tvyho pluska.

[www]

ahoj, dekuju za odpoved

1) hrat si s konfiguraci stroju nebylo potreba

ted presne nevim jak to je, svuj maly testovaci cluster jsem si rozbil a nemam naladu to ted opravovat. jedu na fejkovem single node clusteru. nevim jak se to s konfiguraci ssh aby na sebe stroje videly, konfigurace souboru mam pocit HADOOP_HOME/etc/hadoop/slaves a este neco?

jinak ta veta na me dela dojem ze konfigurace nebyla zadna pominu-li to ze musis mit vytvoreneho uzivatele, nainstalovany balicek s javou a nakopirovany hadoop jako takovy a nastavene promenne v .bashrc

2) adminum to bylo jedno, protoze na zprovozneni hadoop staci jen uzivatelske opravneni

jo, tam mam pocit staci vytvorit obycejneho uzivatele pod kterym to jede. pak to chce nejaky tool kterym node nahodim nebo vypnu (pokud se nepletu)

3) o instalaci a konfiguraci na jednotlive uzly se staral asi 20 radkovy rucne delany skript, ktery si stahl a nastavil veci podle master-uzlu

podelil by jsi se o ten skript?

Jedine, co delalo problem, byly (sveho casu) 100Mbs linky v nekterych castech site a "relativne" pomale desktopove disky.

s tim se pocita a "nevadi" to. nebude to zadne produkcni prostredi na kdovi jake veci...

Proc k tomu shanet pet kolegu a stary hardware? Veci pro Hadoop jdou bezproblemu odladit na jednom desktopu a pak vyskalovat na cluster jenom zmenou nastaveni. Na prvni prototyp map/reduce funkci staci Python, ale pokud chce clovek vytahnout z toho neco vic, bude muset nakonec sahnout minimalne po Jave. Ale opet to neni nic, co nejde vyzkouset a odladit na desktopu a pak skalovat podle potreb.

ano, duvod proc do toho fusuju je, ze par let programuju v jave a hadoop se tvari byt javovy, bez ohledu na to, ze pro nej muzu psat klidne v pythonu... tech 5 kolegu byl priklad pro pana Prymka, ktery naznacoval ze tu administraci zprasim. urcite ma asi pravdu. jedine co se mi k dnesnimu dni dari je pouze nainstalovat hadoop 2.2.0 a 2.4.0 coz jsou posledni stabilni releasy. zadnou extra konfiguraci asi zatim neplanuji, samotna instalace se mi uplne snadna nezda (mluvim o sobe).

[www]

Tak zkusit to může. Třeba mu na to šrotování petabytů (nebo kolik to psal) fotek bude stačit 50 desktopů v defaultní konfiguraci, které bude moct spustit jenom přes noc a fotky ukládat do svého $HOME nasdíleného přes NFS na fakultní fileserver, kde mu správci ochotně zvýší kvótu na pár petabytů Ale jinak by mi fakt přišlo rozumější zjistit si, za jakých podmínek ho pustí do Metacentra... (pokud jde fakt jenom o výpočty) anebo si postavit vlastní cluster from scratch, na čemž se naučí i ladit síť, úložiště, lokaci úloh atd. (pokud jde o seznamování se s tím, jak funguje cluster).

hmmm... dekuji za dobrou pripominku. udelam todo adminum kde ty data budeme uchovavat

metacentrum: me se zda ze je to o politice a znamostech jak s kym chodis do menzy ne kolik o tom vis nebo na jakem delas projektu. by ses divil jaky problem je na skole nechat prez noc pustene pocitace (pominuli tech. problemy jako je prehrivani ucebny (udajne)) tak je to zase politika a to jak se s kym na fakulte kamaradis ja to mam v pazi. ja jsem tu abych se neco naucil az me to za 2 roky preroste prez hlavu a zacne pekelne stvat tak me tu nikdo neuvidi

[Reklama]

[pepek]

jen trosku k tem osvicenym lidem na skolach, neni to takova sranda protlacit spojeni vypocetniho vykonu, casem narazis na politiku a to ze se predstaveni kateder, fakult navzajem nemaj radi a navzajem si hazi klacky pod nohy, nekdy je lepsi takove veci delat spise od spoda, jit bez povoleni primo za spravci a i tak to muze byt problem. Ja teda nerozchel hadoop ikdyz take jsem nad nim uvazoval, ale spis jen jako datove uloziste. Ale rochazel jsem jen vypocetni grid, vysledek na pocitacich nasi katedry to slo, ti co byli svolni mely ale prilis stare pc co by spise zdrzovaly pokud by na nich vse bezelo, a ti co maji dobre pocitace nedaji pristup.
Preji vice uspechu, ale pamatuj penize jsou az na prvnim miste, takze se pak casem priprav na to ze ti bude rikano ze to ty pocitace nici, kdo zaplati elektriku atd ....

[Mirek Prýmek]

metacentrum: me se zda ze je to o politice a znamostech jak s kym chodis do menzy

AFAIK studenti maji moznost prostredky metacentra vyuzivat ciste z titulu toho, ze jsou studenti. Za jakych presne podminek, to nevim. Nejspis to bude nejaka nizka priorita uloh apod.

by ses divil jaky problem je na skole nechat prez noc pustene pocitace

No to jsme u toho, co jsem rikal... Mit svoje zelezo, o kterym oficialne rozhodujes, je vzdycky snadnejsi nez nekoho presvedcoval, aby delal neco, co delat nemusi... Ve firme by to bylo totalne nepruchozi a ani na skole bych neocekaval, ze by to slo hladce. No, zalezi na lidech, treba te mile prekvapi.

[www]

jen trosku k tem osvicenym lidem na skolach, neni to takova sranda protlacit spojeni vypocetniho vykonu, casem narazis na politiku a to ze se predstaveni kateder, fakult navzajem nemaj radi a navzajem si hazi klacky pod nohy, nekdy je lepsi takove veci delat spise od spoda, jit bez povoleni primo za spravci a i tak to muze byt problem. Ja teda nerozchel hadoop ikdyz take jsem nad nim uvazoval, ale spis jen jako datove uloziste. Ale rochazel jsem jen vypocetni grid, vysledek na pocitacich nasi katedry to slo, ti co byli svolni mely ale prilis stare pc co by spise zdrzovaly pokud by na nich vse bezelo, a ti co maji dobre pocitace nedaji pristup.
Preji vice uspechu, ale pamatuj penize jsou az na prvnim miste, takze se pak casem priprav na to ze ti bude rikano ze to ty pocitace nici, kdo zaplati elektriku atd ....

ahoj,
byl jsem, povazuji se a rad bych byl technicky clovek. dva cerne monitory a blikajici kurzor, sluchadka na usich a drceni klavesnice. snazim se bojovat svymi znalostmi a know how, ne ti ze budu s nekym pit kaficko, lest mu do zadele

pokud v tom osviceni lide neuvidi moznost jak delat business, kamaradit se s firmama a prumyslem a delat si PR tak me je to sumak jestli mi budou davat na jevo kdo vi co a hazet mi klacky pod nohy tak tu nebudu ani vterinu mam takovy primitivni pohled na vec ze skola je vlastne statni instituce a esli se nakoupi zelezo ze statnich penez tak zamestnancum to muze byt fuk... hlavni je aby studenti meli na cem pracovat a kdyby se naslo dalsi vyhuziti tak jen dobre. na druhou stranu skola je super v tom ze prijdete a reknete: sice umim velky prd ale mam chut neco delat a na necem maknout / neco "vyzkoumat". a skola vam na to da prostor co by to bylo za skolu zejo

[www]

metacentrum: me se zda ze je to o politice a znamostech jak s kym chodis do menzy

AFAIK studenti maji moznost prostredky metacentra vyuzivat ciste z titulu toho, ze jsou studenti. Za jakych presne podminek, to nevim. Nejspis to bude nejaka nizka priorita uloh apod.

aha, tak to zkusim prozkoumat dik za info

by ses divil jaky problem je na skole nechat prez noc pustene pocitace

No to jsme u toho, co jsem rikal... Mit svoje zelezo, o kterym oficialne rozhodujes, je vzdycky snadnejsi nez nekoho presvedcoval, aby delal neco, co delat nemusi... Ve firme by to bylo totalne nepruchozi a ani na skole bych neocekaval, ze by to slo hladce. No, zalezi na lidech, treba te mile prekvapi.

jasny. hele, ja nevim, to jsou pro me veci mezi nebem a zemi... kdyz bych ve firme ukazal ze to ponese love tak proc ne? ale zase tim se kruhem dostavam jak lidi presvedcovat... a na to ja prcam ja raci presvedcuju zdrojovej kod aby poslouchal a tucnak delal to co naboucham za $

[Mirek Prýmek]

kdyz bych ve firme ukazal ze to ponese love tak proc ne?

To by je to muselo nest hned, coz jaksi nebude tenhle pripad Pro nejake hrani si s necim ma malokdo pochopeni, kdyz kWh stoji 4 koruny

[Krysa1]

Záleží na tom v jaké firmě. Mnohdy může stačit nadchnout jednoho člověka, co na to dá peníze a to se může podařit i tím, že mu to prodáš, jako velkej hi-tech. Samozřejmě se to nemusí povést, ale taky to může dopadnout tak, že budeš mít všechno, co potřebuješ k dispozici, třeba i nakoupený nový hw, který se dá případně použít jinak, jinde, prodat, outsourcovat a pod. Navíc dřív, než se vůbec sejde ústřední výbor akademické kliky k sepsání žádosti o sociální davky.