RAID s rychlým a pomalým diskem

[Bla]

protože hw raid je vybíravý a jenom tak něco si nevezme.

Zas to nedramatizuj, kolikrát jsem do serveru vrazil desktopový disk, když bylo potřeba překlenout nějaké období, jo a i když třeba konkrétně PERC rád frflá při startu, tak nakonec to syncne. To bych ti mohl taky vyprávět o rozpadnutí sw raidu z důvodu "zamyšlení" se jednoho z disků, které proběhlo aniž by mdadm poslal ten e-mail a následnému selhání celého pole, protože výpadek dvou disků Raid 5 nerozdejchala. Nebo o tom, jak mdadm krásně ignoroval sparedisk. S tím prstem v zadeki, kterému říkám SW radi, mám už dost zkušeností a ne díky, a snad to ani nikomu neradit, kdo na tom chce provozovat produkční prostředí pro >60 užíváků.

Ostatně dotaz "stavíme server" je dost obecný, pro server na hraní Lineage bude SW raid good enought.

[Reklama]

[Mirek Prýmek]

Zas to nedramatizuj

Nemyslím, že bych to nějak zvlášť dramatizoval, u hw raidu prostě nikdy nevíš, co může udělat, dovnitř nevidíš, můžeš jenom věřit. Když jede, tak jede, když nejede, můžeš se leda modlit... Můžeš mít stejnej model a bude se chovat jinak, stačí jinej firmware. To není nic tajnýho ani překvapivýho nebo neobvyklýho. http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=MIGR-5073110

Tohle ti prostě se sw raidem nehrozí - jakmile máš blokový zařízení o potřebné minimální velikosti, jedeš a nic neřešíš. Jednou jsem si třeba jenom tak ze srandy hrál na FreeBSD s raidem přes TCP přes ggated. No problem.

Prostě všechno má svoje, tak to nedramatizuj ty

[Bla]

Jednou jsem si třeba jenom tak ze srandy hrál na FreeBSD s raidem přes TCP přes ggated. No problem.

Prostě všechno má svoje, tak to nedramatizuj ty

Tak si hraj a nezlob, protože hrát si s polem != mít zkušenosti z provozu náročných řešení.

[pet]

Pánové Bla a Miroslav Prýmek. vaše diskuze je sice velice odborná, ale vcelku o ničem. Pro zajímavost i HP upouští v ProLiantech od hw raidu:

HP Dynamic Smart Array Controllers, which provide the same level of RAID protection as other HP Smart Array Controllers, differ from the other controllers by moving the proprietary RAID algorithms into an operating system device driver. These RAID algorithms, which run in the firmware of traditional Smart Array RAID controllers, now run in the server CPU and memory space as part of the Dynamic Smart Array closed source device driver software. http://h20565.www2.hp.com/portal/site/hpsc/template.PAGE/public/kb/docDisplay/?javax.portlet.begCacheTok=com.vignette.cachetoken&javax.portlet.endCacheTok=com.vignette.cachetoken&javax.portlet.prp_ba847bafb2a2d782fcbb0710b053ce01=wsrp-navigationalState%3DdocId%253Demr_na-c03742583-1%257CdocLocale%253D%257CcalledBy%253D&javax.portlet.tpst=ba847bafb2a2d782fcbb0710b053ce01&ac.admitted=1401774714328.876444892.492883150

[j]

2Mirek: Takhle se HW choval tak pred 10-15ti lety, uz hodne dlouho sem se nesetkal s tim, ze by nezblajznul doslova cokolil. Navic kdyz dotycny chce resit SSD a tudiz primarne vykon, tak predpokladam, ze ten stroj bude neco narocnyho delat a v tomhle pripade i jen uvazovat SW raid je totalne padly na hlavu.

Jen tak pro zajimavost, domaci stroj s pomalejma diskama R5 (ciste uloziste na data) ... pri maximalnim vyuzivani to ze 4jadra vysaje tak 30%, coz me nepali, protoze ten CPU stejne ma prd co jinyho na praci, ale ta zatez rozhodne neni nijak nepatrna. Navic, pokud se pole prepocitava, muzes se pripravit na 15+ hodin podobny zateze. Pokud to bude na HW radici, tak to sice rychlejsi nebude, ale CPU bude volnej. Samo, zrcadlo bude o poznani min narocny.

[Reklama]

[Mirek Prýmek]

2Mirek: Takhle se HW choval tak pred 10-15ti lety, uz hodne dlouho sem se nesetkal s tim, ze by nezblajznul doslova cokolil.

To je možný, mám zkušenost jenom se staršími řadiči. Nicméně jde o to, že rada "kup si starší kartu na Ebayi" se taky nemusí vyplatit...

Navic kdyz dotycny chce resit SSD a tudiz primarne vykon, tak predpokladam, ze ten stroj bude neco narocnyho delat a v tomhle pripade i jen uvazovat SW raid je totalne padly na hlavu.

V takovým případě má smysl minimálně otestovat ZFS + ZIL a L2ARC na SSD + co největší množství RAM. ZFS je prosím softwarový RAID a cachuje tak agresivně, že při určitých typech zátěže může být výkon *řádově* lepší než u jiných řešení.

Všechno je to ale o konkrétním typu zátěže. Obecný tvrzení "sw raid je na prd, kup si hw raid" jsou o ničem.

[Mirek Prýmek]

Tak si hraj a nezlob, protože hrát si s polem != mít zkušenosti z provozu náročných řešení.

Nehraju si s polem. To byla ilustrace toho, že sw raid ti dává flexibilitu, kterou s hw raidem nikdy nemůžeš dosáhnout. V některých konkrétních situacích je taková flexibilita k nezaplacení, takže prostě plivat na sw raid je mimo mísu.

[karel]

Diskuze zajimava lec mimo puvodni dotaz,
tazatel se ptal co ma delat kdyz ma dva 10k disky a jeden SSD jak s toho vymacknout max vykon, a ptal se na sw raid, pac pravdepodobne kupuje server bez hw raidu, za hw raid nepovazuju intelackej raid v pac je o nem zname ze obcas klekne a to docela drsnym zpusobem na nejake obnoveni dat vetsinou zapomente.

ja osobne mam dobre zkusenosti s mdadm kombinovane s lvm  vetsinou raid 60
a co se vykonu tyka vic me trapi systemove prostredky co zere samba nez co zere raid

[Kiwwiaq]

Zdravim, potreboval bych trochu poradit/nakopnout .
Budeme kupovat superserver od supermicra , v cene jsou sas2 tocici disky 10k ot.  .
Mam jeden novy 800GB SSD sas2 disk , ale jen jeden.
Chtel bych to postavit na  softwarovym raidu , jen nevim jaky zvolit, aby data byly mirorovana , ale aby se nedegradovala rychlost SSD disku.
Lze to nejak zkonfigurovat , neco jako spozdeny miror ?
diky

Nooo, fakt sa pohraj so ZFS. Stoji to za to.

Treba ale napisat, co od toho chces. Tiez je dobre vediet, co to za superserver to je. Ked chces 10k disky a nejake to velke SSD, asi chces dost IOPS. ZFS Hybrid pool mi dal vsetko co potrebujem.

ZFS lubi hlavne vela RAM a radic v IT mode s direct pristupom na disk. Vela CPU threadov netreba. Dnes povazujem 8 threadove CPU za beznu vec - default.

SSD cache treba pouzivat s rozumom. Najlepsie je mat 2xSSD enterprise tiedy. Na ZIL(write) ti staci tolko miesta, kolko dat si schopny prijat za 5 sekund, ked pocitam s loadom poolu, tak pre istotu 2x tolko. Viac netreba. Bude to par GB. Je dobre ZIL mirrorovat, aj ked dnes uz poolu strata ZIL cache neublizi, ako to bolo v rannych verziach ZFS. Max prides o data za poslednych 5 sekund nezapisane do diskov, tak preto mirror. L2ARC(read) kludne do RAID0 kolko ti ostane na SSD. Pri velkych pooloch sa L2ARC zohrieva kludne aj 24 hodin (zalezi na poziadavkoch na pole), tak nebud sklamany, ze L2ARC nefunguje. Cache na SSD diskoch nici SSD, tak preto tie kvalitne enterprise grade.

Pozor na 4k disky. Niektorym OS treba povedat, ake disky ma. Tiez treba davat pozor na pocet diskov per vdev. Moze to robit problem.

Vo vseobecnosti treba ratat s tym, ze ZFS pise v 5 sekundovych intervaloch kde vsetko pekne optimalizuje. Bomba vec je kompresia. Ziskal som ~25% vykonu (zalezi od dat co ukladas) len tak. Niekedy bol silny argument RAID5 write hole, neviem ako je to s modernymi HW radicmi. Ine vlastnosti ako samoliecenie, snapshoting, clone, in kernel SMB, NFS ... Nenapadne ma teraz co vsetko to vie.

Najvacsi problem je, ze pool nevies zmensit. Naco by si to ale robil, kto vie. Nikdy som nepotreboval zmensovat pool. Ked sme zmensovali aplikaciu, pomocov shadow migration sme presuvali on the fly ...

Ak vies co chces a zvazis co ZFS ponuka, myslim, ze je to velmi dobre riesenie takmer na kazdu aplikaciu.

Nieco malo, preklikas sa dalej sam:
https://calomel.org/zfs_raid_speed_capacity.html
http://wiki.illumos.org/display/illumos/ZFS+and+Advanced+Format+disks
http://dtrace.org/blogs/blog/category/zfs/
http://omnios.omniti.com/

ZFS je najlepsie prevadzkovat na Solarise a jeho derivatoch, teda OmniOS, Nexenta. Nepouzival by som OpenIndianu, je na desktop. SmartOS na "cluoud". Ako stabilny je kod na BSD a Linuxe fakt neviem.

Zda sa toho vela, no nie je.

[Mirek Prýmek]

Ako stabilny je kod na BSD a Linuxe fakt neviem.

Na FreeBSD je už teď imho ve velmi dobrým stavu, v pohodě nasaditelný do produkce a funguje výborně.

Co jsem tak zaznamenal, odvážní kovbojové zkouší produkčně i nasazení na Linuxu, ale to se s FreeBSd nedá srovnat, tam už se to ladí a vychytává pár let a ten pokrok je dost poznat.

[Bla]

Co jsem tak zaznamenal, odvážní kovbojové zkouší produkčně i nasazení na Linuxu, ale to se s FreeBSd nedá srovnat, tam už se to ladí a vychytává pár let a ten pokrok je dost poznat.

Někdy i čin jednoho člověka může zhatit jinak slibně se vyvíjející projekt aka ReiserFS a ta jeho malá lapálie se zavražděnou manželkou či co.

[Mirek Prýmek]

Někdy i čin jednoho člověka může zhatit jinak slibně se vyvíjející projekt aka ReiserFS a ta jeho malá lapálie se zavražděnou manželkou či co.

No tak to už je úplně mimo mísu

[Bla]

No tak to už je úplně mimo mísu

Bóže, ty člověku fakt nic nedopřeješ 

[brainless]

Jenom bych upozornil na jednu malou výhodu sw raidu v takhle malém setupu. Když ti chcipne hw RAID a ty nemáš náhradu ses v říti. Když chcipne železo pod sw raidem prepichas disky do jiné desky a jede se dal.

[Kiwwiaq]

Napadol ma este jeden postreh. Je vyhodnejsie investovat do RAM ako do SSD. Pokial ma server >=128GB RAM, L2ARC je vyhodnejsie nechat v RAM. Pokial je server na zalozaku, kludne aj ZIL.