Chci si postavit domácí cloud

MedikCZ

Chci si postavit domácí cloud
« kdy: 15. 12. 2010, 20:04:15 »
Ahojte,

chtel bych se zeptat mam doma tri postarsi pocitace s procesorem Duo Core T7200 a rad bych je nejakym zpusobem spojil k sobe abych se chovali jako jeden. Cetl jsem cosi o Cloudu a Ubuntu, ktery pokud jsem to dobre pochopil, tohle dokaze. Jsou i jine varianty nebo tahle patri mezi tu nejlepsi?

Dikec :)
« Poslední změna: 15. 12. 2010, 21:02:33 od Petr Krčmář »


x

Re: Vetsi vypocetni vykon cloud?
« Odpověď #1 kdy: 15. 12. 2010, 20:52:02 »
Core Duo je postarsi PC? A odkdy?

A doporucuju se mene venovat PR a vice necemu uzitecnejsimu jako napriklad tomu proc vubec ty PC spojovat aneb co vlastne maji ve vysledku delat, ze je treba je spojovat ;-)

MedikCZ

Re: Vetsi vypocetni vykon cloud?
« Odpověď #2 kdy: 15. 12. 2010, 21:06:17 »
T7200 jsou uz dost dlouho stare. Potreboval bych neco jako jednotny operacni system, ktery bude vyuzivat ty dva zbyvajici pocitace. Nejak aby se rozlozila zatez na tri pocitace jak CPU tak pametove vcetne HDD. Pokud to neni moc velke sci-fi.

x

Re: Chci si postavit domácí cloud
« Odpověď #3 kdy: 15. 12. 2010, 21:25:27 »
Duben 2008 a stare? Na systemech, ktere vyviji nemehla mozna. Pro  bezne aplikace je to porad zbytecny luxus :-)

Nicmene k veci. Hledas tohle http://en.wikipedia.org/wiki/Single_system_image . Je tam tabulka dostupnych systemu. Ne vsechny jsou open source. Z tech realne pouzitelnych napr. DragonFlyBSD nebo LinuxPMI.

Ale porad neni receno k cemu to potrebujes. Treba jen pro kompilaci nebo vypocty a v tomhle smeru tady jsou veci jako paralelni zapojeni GCC atp. kdy to funguje na zpusob SETI@, ze klienti pouzivaji stejnou aplikaci a ta si distribuuje data mezi PC.

Kit

Re: Chci si postavit domácí cloud
« Odpověď #4 kdy: 15. 12. 2010, 21:35:41 »
souhlasím s x a zeptám se přímo: K jakému účelu chceš ten cloud využít? Chceš snad nabízet jeho služby? Chápu, že si chceš jen tak vyzkoušet nějakou technologii. Co konkrétně očekáváš? Podle druhého popisu chceš spíš grid.

Zkusil jsem si udělat grid ve vlastní režii a s výsledkem jsem byl velmi spokojen. Opravdu chceš vytvořit cloud a ne grid? Zkus si představit, jak bys mohl úlohu paralelizovat a jak definovat kritické sekce. Nebo snad chceš množinu úloh automatizovaně rozprostřít na více PC podle aktuální zátěže? Co konkrétního od toho očekáváš?


MedikCZ

Re: Chci si postavit domácí cloud
« Odpověď #5 kdy: 16. 12. 2010, 05:48:00 »
Potrebuji to vyuzit na mysql a python. V pythonu mam napsaneho neco jako RSS bota, ktery bezi tet na rack serveru HP 380. Po par dnech jsem zjistil ze server vubec nevyhovuje. To co doma tet zkousim na stolnich pocitacich bych rad prenesl na rack servery. S tim ze nez abych kazdemu rack serveru preposilal informace co ma delat rad bych je sloucil jak kdyby do "jednoho" velkeho systemu.

Kit

Re: Chci si postavit domácí cloud
« Odpověď #6 kdy: 16. 12. 2010, 06:55:35 »
RSS bot na jednom velkém systému? To bude grid.

Jen mám takový pocit, který mi potvrdíš nebo vyvrátíš, že ten bot jen periodicky obchází RSS kanály ze seznamu a výsledky ukládá do databáze. Máš tu úlohu v jednom vlákně nebo jich máš paralelně spuštěných víc? Pokud je v jednom vlákně, tak nepomůže cloud ani grid.

Další pocit, který mám z nejasného zadání: Možná by stačilo aplikaci jen lehce upravit, aby to stíhalo jedno obstarožní PC v rohu a ještě se přitom IDLE nudou.

MedikCZ

Re: Chci si postavit domácí cloud
« Odpověď #7 kdy: 16. 12. 2010, 07:09:38 »
Bot neprochazi RSS ale web stranky a z toho dela potom RSS. V jednom vlakne to neni. Co web to bot. Bezi celkove 20 botu a kazdy ma na starost jiny web. Je tu moznost PDO kde bude databaze stranek a boti budou rozdeleni po servrech ale tomu jsem se chtel vyhnout a mit neco s jednotnym systemem kde bych je pridaval servery pro vetsi a vetsi vykon.

Kit

Re: Chci si postavit domácí cloud
« Odpověď #8 kdy: 16. 12. 2010, 07:34:03 »
Něco mi na tom nesedí. Mám 14 takových botů na jednom Atomu prakticky bez zátěže. Úzkým hrdlem je linka. Pořád se nemohu ubránit dojmu, že jsou ti boti špatně napsáni. Jsou i jednotliví boti vícevláknoví nebo každý z nich sekvenčně prolézá celý svěřený web?

MedikCZ

Re: Chci si postavit domácí cloud
« Odpověď #9 kdy: 16. 12. 2010, 08:04:40 »
Nn, dela to jeste vice veci ale to neresi muj problem. Videl bych to na cloud s pouzitim www.openqrm.com

andro

Re: Chci si postavit domácí cloud
« Odpověď #10 kdy: 16. 12. 2010, 12:17:53 »
Zda se mi, ze vubec nevis o cem hovoris a prilis podlehas marketingovym kecum bez technickeho chapani :-\

Mas 3 pocitace a na kazdym musi bezet nejaky operacni system - idea, ze existuje neco, co ze tri pocitacu pres sit udela jeden virtualni s mnoha procesory a jednou obrovskou pameti je zcestny, neb kapacita site tento koncept neumozni. Kazde cloud/grid (ci jak to chces nazyvat) reseni spociva v rozsekani uloh tveho programu na vice fyzickych stroju.

Psal jsi, ze tvuj program bezi v Pythonu - pak nejjednoduzssi je vyuzit knihovnu multiprocesing pro spusteni akci na jinych strojich pres sit.
Osobne bych to ale nekomplikoval a jen udelal proces, jenz si bude stahovat ukoly a vysledky odesilat centrale, ktera se bude starat o ukladani dat. Rozsireni na nekolik central je take primitivni.

Jiří Pagáč

Re: Chci si postavit domácí cloud
« Odpověď #11 kdy: 16. 12. 2010, 15:42:22 »
Zase tak zcestné to není. Říká se tomu middleware. :-)

Teorie je složitější a existuje několik různých architektur.

a) na každém uzlu v síti běží stroj s běžným operačním systémem (Linux), nad nimi běží Middleware služba a nad touto službou pak distribuovaná aplikace. Middleware poskytuje jednotné služby pro aplikaci.

b) Multicomputer Operating Systems, kde na každém uzlu běží pouze kernel (tj. ne monolit jako Linux, ale pouze základní obsluha nutná pro vytvoření další vrstvy) operačního systému a nad tímto pak distribuované služby tohoto systému (jedna instance pro všechny uzly) a nad tímto pak distribuovaná aplikace.

c) NOS (Network Operation Systems), kde podobně jako u bodu b běží kernel na každém uzlu a na každém uzlu pak extra NOS služby (jedna instance pro každý uzel) a až nad tímto distribuovaná aplikace.

d) Existuje i verze s NOS, kde NOS služby pak zastřešuje jedna instance Middleware služby.

Mohlo by se to zdát překombinované, ale všechny způsoby mají své pro a proti. Liší se ve způsobu komunikace, transparentnosti od HW, správou zdrojů, škálovatelností a otevřeností.

Jen snad podotknu, že distribuované a NOS systémy tak úplně neodpovídají definici distribuovaného systému a dnes se většinou používá nějaký Middleware sw, protože odpovídá paradigmatu: vše je soubor, jsou využívány distribuované souborové systémy, využívá RPC, objekty jsou distribuované v síti. Taky zajišťuje komunikační služby, objekty lze pojmenovat, zajišťuje perzistenci, distribuované transakce a bezpečnostní prostředky.

Z toho vyplývá, že pokud váš program funguje nad Middleware službou, tak ho nezajímá to, co je pod ním. Přistupuje jen ke službám a teprve Middleware řídí přístup k výpočetním prostředkům.

Více snad napoví Google.

Jiří Pagáč

Re: Chci si postavit domácí cloud
« Odpověď #12 kdy: 16. 12. 2010, 15:47:31 »
Samozřejmě, že middleware služba neběží někde ve struktuře síťových kabelů, nebo v těch mráčcích a technicky na každém tom uzlu běží něco co umožní přístup a využití zdrojů, atd. Ale to bychom se dívali očima systémového administrátora. Z pohledu programátora nám vytváří middleware služba abstrakci jednoho systému a dekompozice toho systému už programátora příliš zajímat nemusí (musí, protože nežijeme v dokonalém světě, ale jedno po druhém).

andro

Re: Chci si postavit domácí cloud
« Odpověď #13 kdy: 17. 12. 2010, 11:03:57 »
Teorie o middleware pekna, ale pro zadavetele dotazu prakticky nic neresi...

Jiří Pagáč

Re: Chci si postavit domácí cloud
« Odpověď #14 kdy: 17. 12. 2010, 18:29:46 »
Řeší, protože už ví, jakým způsobem realizovat abstrakci pro distribuovaný systém. Ví, že může nainstalovat linux na všechny tři uzly a pak si na někde blíže najít konkrétní řešení s konkrétními klíčovými slovy. Taky už nebude používat marketingové žblepty typu Cloud Computing, na které mu vyhledávač vrátí zase jen marketingové žblepty.

Samozřejmě, že pro nějaký jednoduchý systém je to overkill a rychlejší by bylo to slepit pomocí nějakého RPC, ale na druhou stranu, pokud bude potřebovat to řešení škálovat, tak jen přenese svůj program a spustí ho na aplikačním serveru nad novým a výkonějším železem.