Fórum Root.cz

Hlavní témata => Server => Téma založeno: mxm 31. 01. 2013, 09:27:48

Název: Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 09:27:48
Zdravim,
chci se zeptat, zda někdo z Vás nemá zkušenosti s podobnou implementací.

Nedávno jsme rozběhli prostředí složené ze dvou žiletek/HP Blade, obě žiletky vystupují jako jeden server (sdílejí pamět). V tomto prostředí běží hostitel virtuálních mašin. Když jsme do tohoto prostředí clonovali image z HP Superdome, kde běží Oracle DB a jedna aplikace, a pustili jako virtuální mašinu do produkce, tak celé prostředí z aplikačního pohledu bylo pomalé. Hlavní důvod zpomalení je způsoben připojením aplikace do databáze (sestavením spojení). Hledali jsme chyby ve směrování mezi aplikací a listenerem databáze ale ani pro přesměrování přes localhost jsme ničeho nedosáhli.

Podle mého názoru je problém, že pamět pro virtuální stroj je rozdělena mezi ty dvě žiletky a celý problém je způsoben režií paměťových operací, které nejsou prováděny lokálne ale mezi jednotlivými žiletkami.
A teď moje otázka, neřešili jste někdo podobný problém na HP Blade? Alias nesetkali jste se někdo s problémem sdílení pamětí mezi HP Blade žiletkami?

Zkusíme samozřejmě vypnout prokládání paměti mezi servery pro ten virtuální stroj, aby veškeré paměťové operace byly prováděny lokálně. Chci si jen potvrdit moji hypotézu.

Předem děkuji za reakce. Bohužel neznám přesně konfiguraci těch žiletek, rozhodně to nejsou žádní staříci ani nevýkonné mašiny, cca 10 měsíců staré železo.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: RDa 31. 01. 2013, 09:40:08
Lidi serte uz na virtualizaci, je to jen hype. Jaky vyznam ma poridit si cluster, coz blade enclosure a jednotlive blades jsou, pak ho softwarove provazat a nad tim pustit system? Co jineho by se dalo cekat, nez ze se takto navrstveny bastl bude chovat nevykonne. Jedna vec je ze to jde udelat ale druha je prakticky vyznam.

Spravne reseni je tam tu databazi nebo aplikacku pustit nativne a hlavne v rezimu "cluster", kdy kazda instance pobezi lokalne a kdyz uz bude mit zapotrebi si nejaka data vymenovat (zamky, zmeny), tak to pobezi mnohonasobne rychleji a to i bez podpory jinak draheho hw reseni (10g eth, infiniband nebo HT propoje). Vsechny vyspele databaze beh v clusterovem rezimu podporuji.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: Ivan 31. 01. 2013, 09:47:57
Obavam se, ze bez nejakych surovych dat ti nikdo nepomuze. Minimalne bys' mel poslat AWR/Statspack report z Oracle anebo nejaky cisla z Linuxu. Jak Linux tak i Oracle maji nenakou podporu pro NUMA architekturu. Na starsich verzich Oracle se to vyplatilo vypnout i kdyz HW byl NUMA.

BTW: Provozovat Oracle ve virtualnim prostredi ve se vetsine pripadu nevyplati. Kdyz uz jste zaplatili ty prachy za licence tak ty databazi dejte k dispozici veskery HW. Virualizace se vetsinou vyplati pouze pro male databaze, ktere generuji malo IOPs.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: Rax 31. 01. 2013, 10:00:31
Nedávno jsme rozběhli prostředí složené ze dvou žiletek/HP Blade, obě žiletky vystupují jako jeden server (sdílejí pamět). V tomto prostředí běží hostitel virtuálních mašin. Když jsme do tohoto prostředí clonovali image z HP Superdome, kde běží Oracle DB a jedna aplikace, a pustili jako virtuální mašinu do produkce, tak celé prostředí z aplikačního pohledu bylo pomalé.

Ve Vašem případě je nejlepší zavolat do specializované firmy ohledně blade a Oracle, počkat až od nich někdo dojede a hlavně už na nic nešahat. Důvodně se obávám že to nejste schopen sám dát do kupy.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: PCnity 31. 01. 2013, 10:30:06
Mozes polat nejake linky na ten memory sharing? My mame nasadene len lacne Fujitsu BX400 a este aj storage je zdielany len softwarovo... Chcel by som vidiet ako funguje to riesenie, neviem si to predstavit ze by 2 samostatne masiny dokazali bezat ako jeden server. To ze sa mi napriklad virtualky medzi sebou obcas migruju hore dole a nejaky ten blade sa vypne/zapne podla loadu poznam, ale ze by virtualka mohla bezat na 2 systemoch naraz som zatial nepocul. Dik
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 11:41:13
Lidi serte uz na virtualizaci, je to jen hype. Jaky vyznam ma poridit si cluster, coz blade enclosure a jednotlive blades jsou, pak ho softwarove provazat a nad tim pustit system? Co jineho by se dalo cekat, nez ze se takto navrstveny bastl bude chovat nevykonne. Jedna vec je ze to jde udelat ale druha je prakticky vyznam.

Spravne reseni je tam tu databazi nebo aplikacku pustit nativne a hlavne v rezimu "cluster", kdy kazda instance pobezi lokalne a kdyz uz bude mit zapotrebi si nejaka data vymenovat (zamky, zmeny), tak to pobezi mnohonasobne rychleji a to i bez podpory jinak draheho hw reseni (10g eth, infiniband nebo HT propoje). Vsechny vyspele databaze beh v clusterovem rezimu podporuji.

Díky za reakci k věci.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 11:44:36
Nedávno jsme rozběhli prostředí složené ze dvou žiletek/HP Blade, obě žiletky vystupují jako jeden server (sdílejí pamět). V tomto prostředí běží hostitel virtuálních mašin. Když jsme do tohoto prostředí clonovali image z HP Superdome, kde běží Oracle DB a jedna aplikace, a pustili jako virtuální mašinu do produkce, tak celé prostředí z aplikačního pohledu bylo pomalé.

Ve Vašem případě je nejlepší zavolat do specializované firmy ohledně blade a Oracle, počkat až od nich někdo dojede a hlavně už na nic nešahat. Důvodně se obávám že to nejste schopen sám dát do kupy.

Díky za reakci, sám to samozřejmě dohromady nedávám. Jen by mě zajímalo co vnímate jako scecializovanou firmu? Máte konkrténí tip? Bohužel samotné HP ani Oracle asi nejsou dost specializované.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 11:54:28
Prosím, pokud nemáte odpověd k následujícím otázkám, nebo jste zažili podobný problém s HP Blade, nereagujte. Je to ztráta času.

Neřešili jste někdo podobný problém na HP Blade?
Alias nesetkali jste se někdo s problémem sdílení pamětí mezi HP Blade žiletkami?

Omlouvám se za svůj impertinentní tón.
Předem díky.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 11:58:50
Mozes polat nejake linky na ten memory sharing? My mame nasadene len lacne Fujitsu BX400 a este aj storage je zdielany len softwarovo... Chcel by som vidiet ako funguje to riesenie, neviem si to predstavit ze by 2 samostatne masiny dokazali bezat ako jeden server. To ze sa mi napriklad virtualky medzi sebou obcas migruju hore dole a nejaky ten blade sa vypne/zapne podla loadu poznam, ale ze by virtualka mohla bezat na 2 systemoch naraz som zatial nepocul. Dik

Predstav si to tak, že vezmeš žiletku/HP Blade a vsuneš ho do nějakýho HW, který to celé spojí do jednoho prostředí.

http://h20195.www2.hp.com/v2/GetPDF.aspx/4AA1-4286ENW.pdf
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: Rax 31. 01. 2013, 12:07:26
Namátkou někoho vygooglujte, hledejte třeba "Oracle partner", na znalost proč je nesmysl dát DB server na sdílený blade a obecně proč DB serveru nesvědčí virtualizace není třeba žádný velký odborník.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: mxm 31. 01. 2013, 12:24:16
Namátkou někoho vygooglujte, hledejte třeba "Oracle partner", na znalost proč je nesmysl dát DB server na sdílený blade a obecně proč DB serveru nesvědčí virtualizace není třeba žádný velký odborník.

Problém není ve výkonu core DB. Problém je v sestavení relace.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: Ivan 31. 01. 2013, 16:47:40
Problém není ve výkonu core DB. Problém je v sestavení relace.
Pokud vite, ze mate problemy pouze se sestavenim relace, tak bych se nejdriv podival na nastaveni DNS a reverze vsech IPcek.
To jste ale uz nejspis udelali.   Oracle TNS protokol neni (anebo alespon nemusi byt) wired. To znamena, ze se klient pripoji na listener, ten mu posle packet ve kterym je "hostname" a port na kterym posloucha databaze. Tzn. v tom packetu je opravdu hostname a ne IPcko. Uz jsem videl situaci kdy se DNS loadbalacovalo mezi 3 AD servery a jeden z nich byl mrtvej.

Pokud mate v poradku DNS tak by me zajimalo kolik tech spojeni vytvarite za vterinu. Oracle na tohle vubec neni stavenej,  jeho binarka ma pres 20MB a uz jen jeji nacteni do pameti jeji dynamicky linkovani zabere nejaky cas. Pak je tu jeste nejaka rezie te databaze. Opravdu jste si jisti ze vase problemy souvisi s NUMA architekturou?
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: RDa 31. 01. 2013, 17:30:03
Kdyz uz jsme u toho, taky ta "jedna aplikace" by mela vyuzivat zdroje rozumneji (ve stylu "persistent connections") - i po vyreseni vaseho problemu by vam to jeste mohlo zvednout vykon.
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: PST 31. 01. 2013, 21:01:31
Jedna se o HP Integrity bl870c i2 ?
Bezi vam na tom HP-UX + Integrity VM ?
Databazi a aplikaci mate na stejnem virtualnim serveru a je to take HP-UX ?
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: czipis 31. 01. 2013, 21:36:42
muzes poslat vystup z machinfo -m ?
oracle DB je nakonfigurovana s/bez NUMA?
Název: Re:Sdílení paměti na HP Blade
Přispěvatel: Joe 31. 01. 2013, 22:05:39
Zkušenosti se servery se sdílenou pamětí mám a jsou rozporuplné. SGI je vyrábí už dlouho a asi úplně nejlépe, ale i u nich je jejich výpočetní výkon znatelně nižší, než u HW na podobné úrovni v čistě clusterovém provedení. Smysl to má pouze tehdy, pokud úloha potřebuje třeba 1TB RAM. Problém se vzdálenou pamětí je výrazný, i u sgi numa architektury dokázala stejná úloha běžet o 30% pomaleji jen proto, že si alokovala paměť na vzdálenějších uzlech. SMP stroje navíc obvykle neumí paměť na 1600MHz a i takty cpu bývají nižší. Pokud pustíte test rychlosti paměti na jedné žiletce a na spojených žiletkách budete moudřejší.