Fórum Root.cz
Hlavní témata => Server => Téma založeno: MedikCZ 15. 12. 2010, 20:04:15
-
Ahojte,
chtel bych se zeptat mam doma tri postarsi pocitace s procesorem Duo Core T7200 a rad bych je nejakym zpusobem spojil k sobe abych se chovali jako jeden. Cetl jsem cosi o Cloudu a Ubuntu, ktery pokud jsem to dobre pochopil, tohle dokaze. Jsou i jine varianty nebo tahle patri mezi tu nejlepsi?
Dikec :)
-
Core Duo je postarsi PC? A odkdy?
A doporucuju se mene venovat PR a vice necemu uzitecnejsimu jako napriklad tomu proc vubec ty PC spojovat aneb co vlastne maji ve vysledku delat, ze je treba je spojovat ;-)
-
T7200 jsou uz dost dlouho stare. Potreboval bych neco jako jednotny operacni system, ktery bude vyuzivat ty dva zbyvajici pocitace. Nejak aby se rozlozila zatez na tri pocitace jak CPU tak pametove vcetne HDD. Pokud to neni moc velke sci-fi.
-
Duben 2008 a stare? Na systemech, ktere vyviji nemehla mozna. Pro bezne aplikace je to porad zbytecny luxus :-)
Nicmene k veci. Hledas tohle http://en.wikipedia.org/wiki/Single_system_image . Je tam tabulka dostupnych systemu. Ne vsechny jsou open source. Z tech realne pouzitelnych napr. DragonFlyBSD nebo LinuxPMI.
Ale porad neni receno k cemu to potrebujes. Treba jen pro kompilaci nebo vypocty a v tomhle smeru tady jsou veci jako paralelni zapojeni GCC atp. kdy to funguje na zpusob SETI@, ze klienti pouzivaji stejnou aplikaci a ta si distribuuje data mezi PC.
-
souhlasím s x a zeptám se přímo: K jakému účelu chceš ten cloud využít? Chceš snad nabízet jeho služby? Chápu, že si chceš jen tak vyzkoušet nějakou technologii. Co konkrétně očekáváš? Podle druhého popisu chceš spíš grid.
Zkusil jsem si udělat grid ve vlastní režii a s výsledkem jsem byl velmi spokojen. Opravdu chceš vytvořit cloud a ne grid? Zkus si představit, jak bys mohl úlohu paralelizovat a jak definovat kritické sekce. Nebo snad chceš množinu úloh automatizovaně rozprostřít na více PC podle aktuální zátěže? Co konkrétního od toho očekáváš?
-
Potrebuji to vyuzit na mysql a python. V pythonu mam napsaneho neco jako RSS bota, ktery bezi tet na rack serveru HP 380. Po par dnech jsem zjistil ze server vubec nevyhovuje. To co doma tet zkousim na stolnich pocitacich bych rad prenesl na rack servery. S tim ze nez abych kazdemu rack serveru preposilal informace co ma delat rad bych je sloucil jak kdyby do "jednoho" velkeho systemu.
-
RSS bot na jednom velkém systému? To bude grid.
Jen mám takový pocit, který mi potvrdíš nebo vyvrátíš, že ten bot jen periodicky obchází RSS kanály ze seznamu a výsledky ukládá do databáze. Máš tu úlohu v jednom vlákně nebo jich máš paralelně spuštěných víc? Pokud je v jednom vlákně, tak nepomůže cloud ani grid.
Další pocit, který mám z nejasného zadání: Možná by stačilo aplikaci jen lehce upravit, aby to stíhalo jedno obstarožní PC v rohu a ještě se přitom IDLE nudou.
-
Bot neprochazi RSS ale web stranky a z toho dela potom RSS. V jednom vlakne to neni. Co web to bot. Bezi celkove 20 botu a kazdy ma na starost jiny web. Je tu moznost PDO kde bude databaze stranek a boti budou rozdeleni po servrech ale tomu jsem se chtel vyhnout a mit neco s jednotnym systemem kde bych je pridaval servery pro vetsi a vetsi vykon.
-
Něco mi na tom nesedí. Mám 14 takových botů na jednom Atomu prakticky bez zátěže. Úzkým hrdlem je linka. Pořád se nemohu ubránit dojmu, že jsou ti boti špatně napsáni. Jsou i jednotliví boti vícevláknoví nebo každý z nich sekvenčně prolézá celý svěřený web?
-
Nn, dela to jeste vice veci ale to neresi muj problem. Videl bych to na cloud s pouzitim www.openqrm.com
-
Zda se mi, ze vubec nevis o cem hovoris a prilis podlehas marketingovym kecum bez technickeho chapani :-\
Mas 3 pocitace a na kazdym musi bezet nejaky operacni system - idea, ze existuje neco, co ze tri pocitacu pres sit udela jeden virtualni s mnoha procesory a jednou obrovskou pameti je zcestny, neb kapacita site tento koncept neumozni. Kazde cloud/grid (ci jak to chces nazyvat) reseni spociva v rozsekani uloh tveho programu na vice fyzickych stroju.
Psal jsi, ze tvuj program bezi v Pythonu - pak nejjednoduzssi je vyuzit knihovnu multiprocesing pro spusteni akci na jinych strojich pres sit.
Osobne bych to ale nekomplikoval a jen udelal proces, jenz si bude stahovat ukoly a vysledky odesilat centrale, ktera se bude starat o ukladani dat. Rozsireni na nekolik central je take primitivni.
-
Zase tak zcestné to není. Říká se tomu middleware. :-)
Teorie je složitější a existuje několik různých architektur.
a) na každém uzlu v síti běží stroj s běžným operačním systémem (Linux), nad nimi běží Middleware služba a nad touto službou pak distribuovaná aplikace. Middleware poskytuje jednotné služby pro aplikaci.
b) Multicomputer Operating Systems, kde na každém uzlu běží pouze kernel (tj. ne monolit jako Linux, ale pouze základní obsluha nutná pro vytvoření další vrstvy) operačního systému a nad tímto pak distribuované služby tohoto systému (jedna instance pro všechny uzly) a nad tímto pak distribuovaná aplikace.
c) NOS (Network Operation Systems), kde podobně jako u bodu b běží kernel na každém uzlu a na každém uzlu pak extra NOS služby (jedna instance pro každý uzel) a až nad tímto distribuovaná aplikace.
d) Existuje i verze s NOS, kde NOS služby pak zastřešuje jedna instance Middleware služby.
Mohlo by se to zdát překombinované, ale všechny způsoby mají své pro a proti. Liší se ve způsobu komunikace, transparentnosti od HW, správou zdrojů, škálovatelností a otevřeností.
Jen snad podotknu, že distribuované a NOS systémy tak úplně neodpovídají definici distribuovaného systému a dnes se většinou používá nějaký Middleware sw, protože odpovídá paradigmatu: vše je soubor, jsou využívány distribuované souborové systémy, využívá RPC, objekty jsou distribuované v síti. Taky zajišťuje komunikační služby, objekty lze pojmenovat, zajišťuje perzistenci, distribuované transakce a bezpečnostní prostředky.
Z toho vyplývá, že pokud váš program funguje nad Middleware službou, tak ho nezajímá to, co je pod ním. Přistupuje jen ke službám a teprve Middleware řídí přístup k výpočetním prostředkům.
Více snad napoví Google.
-
Samozřejmě, že middleware služba neběží někde ve struktuře síťových kabelů, nebo v těch mráčcích a technicky na každém tom uzlu běží něco co umožní přístup a využití zdrojů, atd. Ale to bychom se dívali očima systémového administrátora. Z pohledu programátora nám vytváří middleware služba abstrakci jednoho systému a dekompozice toho systému už programátora příliš zajímat nemusí (musí, protože nežijeme v dokonalém světě, ale jedno po druhém).
-
Teorie o middleware pekna, ale pro zadavetele dotazu prakticky nic neresi...
-
Řeší, protože už ví, jakým způsobem realizovat abstrakci pro distribuovaný systém. Ví, že může nainstalovat linux na všechny tři uzly a pak si na někde blíže najít konkrétní řešení s konkrétními klíčovými slovy. Taky už nebude používat marketingové žblepty typu Cloud Computing, na které mu vyhledávač vrátí zase jen marketingové žblepty.
Samozřejmě, že pro nějaký jednoduchý systém je to overkill a rychlejší by bylo to slepit pomocí nějakého RPC, ale na druhou stranu, pokud bude potřebovat to řešení škálovat, tak jen přenese svůj program a spustí ho na aplikačním serveru nad novým a výkonějším železem.
-
Popravde receno nejsem z toho vubec chytry at to ctu z leva z prava a vzhuru nohama nemam se ceho chytnou :/. Rekl bych ze technologie jeste nedosahla sveho veku a pujdu se zmrazit na par stovek let.
-
Pokud z toho nejsi moudrý, znamená to imho jediné. Zamysli se, jak jde úloha rozseknout (např. podle jednotlivých site) a spouštěj na každém serveru úlohu zvlášť. Pokud bys to chtěl spouštět z jednoho místa, pak si najdi něco o MPI a paralelizuj úlohu pomocí MPI. Obě řešení jdou s malou námahou implementovat bez potřeby nějakého speciálního (komerčního) software.
-
Doporučuji CentOS a při instalaci zaškrtnout "Cluster","Disk Cluster" a "Gnome"
-
Ahojte,
chtel bych se zeptat mam doma tri postarsi pocitace s procesorem Duo Core T7200 a rad bych je nejakym zpusobem spojil k sobe abych se chovali jako jeden.
Tomu se neříká cloud, nýbrž cluster: http://cs.wikipedia.org/wiki/Po%C4%8D%C3%ADta%C4%8Dov%C3%BD_cluster (http://cs.wikipedia.org/wiki/Po%C4%8D%C3%ADta%C4%8Dov%C3%BD_cluster)
-
pro linux, treba mosix linux cluster.
http://www.mosix.org/txt_about.html
-
Pánové, nějaké doporučení na vytvoření CLOUDu?
A když říkám CLOUD, tak myslím CLOUD.
-
Pánové, nějaké doporučení na vytvoření CLOUDu?
A když říkám CLOUD, tak myslím CLOUD.
A jakej CLOUD to mas ted zrovna na mysli? :-)
-
Pánové, nějaké doporučení na vytvoření CLOUDu?
A když říkám CLOUD, tak myslím CLOUD.
No pokud jsi tak striktni pak sahni po Visiu nebo stacit bude i DIA .... tam nejaky opravdovy cloud najdes (tam se cloud pripravuje pro marketingove prezentace, kdyz nekoho chces seznamit s tim co znamna mit nekde cloud:) ) ... pointa je v tom, ze se tomu rika cloud proto aby se o vnitrek zpusobu fungovani nikdo moc nezajimal a vysledkem bylo mene technickych dotazu na "marketingova prohlaseni". Cloud ma budit pocit neomezene sede moci ktera je schopna vseho a k tomu 100% garance bezpocnosti, 99,999% uptime, failover v radu milisekund apod. Hlavne moc nepatrej jak to delaji, proste ver CLOUDu. Plne to pripomina 90. leta a VPN technologie, kdy se VPN nazivalo v podstate cokoliv, a management byl uchlacholovan ze "my ve firme mame taky VPN".
Na druhou stranu CLOUD presne neexistuje, neni to nazev technologie, neni to nazev produktu, neni to nazev frameworku :)
-
Tenhle typ odpovědi vždycky znamená ,,Pro Linux nic takového není, proto to popliveme i Microsoftu! " ;D
Pánové, CLOUD je, existuje a funguje ;D
Já jen zjišťoval, jak užitečnou odpověď z Vás dostanu :P
-
Má to být IaaS, PaaS nebo SaaS?
-
Já teda nevím kapitáne, ale zdá se mi, že děláš chytrýho místo abys podal nějaké konktréní informace. To co povídal tomfi mi přijde mnohem věrohodnější, než informace, které jsi podal ty.
Já osobně nevidím žádný konkrétní důvod, proč by cloud měl být něco jiného než marketingový pojem. Tento pojem se zrodil jako marketingový výraz, a ani nikdy nebyl prezentován jako nějaká konkrétní služba. Co jsem pochopil z "reklam", míní se výrazem cloud spíše přístup k používání webových aplikací - tedy že spíše vyjadřuje pocit uživatele z používání služby, nežli konkrétní softwarovou architekturu.
Tím nechci tvrdit, že celý cloud je jen reklamní habaďůra bez technických podkladů, ale rozhodně bych netvrdil "Tady si nainstaluj tenhle cloud a hotovo".
K trolování na téma GNU vs. MS se snad ani nemusím vyjadřovat.
-
Je to bohužel přesně tak, cloud se říká všemu a znamená to všechno.
- Může to být čistý pronájem strojového času ve formě, která se normálně označuje jako VPS. Takovou nabídku jsem opravdu viděl..
- Může to být cluster (malý, velký, barevný, decentralizovaný..) od nějaké firmy, která na něm nabízí aplikační server a vy píšete kód, ale nestaráte se o nic jiného - třeba Google App Engine
- Může to být pronájem "VPS" na clusteru nějaké firmy s tím, že máte k dispozici nástroje na dynamické spouštění/vypínání/load balancing - třeba jako Rackspace, Amazon s3, ...
- Může to být i jen nějaká služba, o kterou se nemusíte starat a jen ji používáte - třeba Google Apps + mail + ..
Takže postavit si doma cloud úplně nejde, cloud je jen slovo, které znamená nějakou konkrétní službu poskytovanou po síti. Jakou, to záleží na firmě, která to Cloud někam napíše.
O čem se dá mluvit je stavba vlastního clusteru. Ať už přímo na úrovni jádra (třeba zmíněný Mosix) nebo distribuovaného aplikačního serveru (jako třeba Erlang) nebo něčeho ještě volněji provázaného (cokoliv + load-balancer + sdílený storage).
U ukládání (a zpracování) dat se dá třeba mluvit o jednoduchém NFS, AFS, distribuovaných map-reduce enginech typu Hadoop, Sphere, Infinispan...
Tohle všechno je pro markeťáky Cloud ve chvíli, kdy to někomu nabídnou jako službu (tj. nepostaví to u něj, jen mu pronajmou přístup).
-
2 Martin Sivák
V zásadě máte pravdu :)
Ale tohle je pěkné ne:
http://www.microsoft.com/cze/virtualizace/private-cloud/vytvorte-si-vlastni.aspx
-
Teorie je složitější a existuje několik různých architektur.
Jiří, když o tom tak zasvěceně mluvíš, máš nějaké praktické zkušenosti s Plan9 nebo Infernem? Docela by mě zajímalo, jestli je to prakticky použitelné a jaké jsou případně zkušenosti.
Dík.