Konfigurace/layout disku pro ZFS

[Randolf]

Ahoj, potreboval bych poradit.
Mam desku s Intel B75 cipsetem.
Mam 3x1TB magneticke disky (SATA2) a 1 120GB MLC SSD (SATA3), vse pripojene k onboard radici (3x SATA2, 1xSATA3).

Jak byste rozvrhli ZFS layout pro univerzalni domaci pouziti - bezna prace, multimedialni centrum, apod? Jde mi docela dost o spolehlivost dat.
Zatim jsem u nasledujiciho, ale nevim jestli je to dobre reseni.

- /boot a root se systemem na SSD (~50GB?)
- RAID Z ze 3 magnetickych disku (? 2 TB total s redundanci vuci jedne chybe)
- Cast SSD (~8GB?) jako ZIL (ale je to dobry napad u MLC SSD? Neodejde brzo? Je vykonovy rozdil tak znatelny aby vyvazil riziko selhani SSD a propagace chyby do RAID Z pole?)
- Zbytek SSD jako L2ARC (~62GB?)
- /home dat na zpool.

?> Nebo mam dat root taky na zpool? U rootu mi o spolehlivost tolik nejde, pouze o rychlost.
?> Bude to ten radic vubec stihat?

Dik
Randolf

[Reklama]

[Jaromír Vojtaj]

Jaký OS na tom budeš provozovat?

[Randolf]

Linux x86_64

[anonym]

50G na /root je IMHO moc

pokud ZIL tak 2 SLC SSD v mirroru (odejde ZIL -> pravdepodobne si prisel o celej pool). druha vec je ze ZIL ti pomuze jen pokud mas synchronni workload (takovej kterej casto dela fsync()), protoze to efektivne bude synchronni na SSD proti rotacnim diskum. velikost neni potreba, stejne se ZIL nepouzije vic nez na myslim 2 TXG (tzn asi 10s casu tech rotacnich disku, rozumnej horni odhad 100MB/s na jeden, v tvem pripade teda 3GB), takze to nefunguje jako velka zapisova cache

co bych asi udelal ja tak kousek SSD jako /boot (nebo nejakou USB flash, ZFS je totiz opatrny, a pokud nema celej disk ale jen partition tak nepouziva write cache, otazka je jestli to ssd poslechne), rotacni disky do raidz, SSD jako L2ARC. na druhou stranu tohle je setup pro fileserver, ty asi budes mit jiny pozadavky odezvy od / a /home

L2ARC neni az tak potreba pokud A) mas dost pameti (16G by mohlo byt akorat na samo domo) b) nepouzivas deduplikaci (potom bys musel mit pameti vic, mam dojem neco jako +3GB na kazdej 1TB dat pro dedup tabulky, vic pokud pouzivas mensi bloky)

zalezi jestli ti jde o celkovou rychlost pristupu k datum (potom chces SSD asi jako L2ARC), nebo preferujes data na / proti /home (coz bych u desktopu cekal, pak chces system na SSD sam)

[Randolf]

Diky!

Je mi jasne, ze velky ZIL nema smysl. Bohuzel, vzhledem k tomu, ze uz nemam volne SATA kanaly, tak 2 SLC SSD nepripadaji v uvahu. Takze ZIL proste bude na discich, no.

U rootu preferuju rychlost (hlavne cteni), u dat spolehlivost.
Pameti mam 8GB, talze L2ARC asi budu chtit.

Zamysleni: Kdyz budu mit root na zpoolu a bude cashovany pres L2ARC, prvni nacitani vsech knihoven bude pomale... takze bych spis dal root primo na SSD.

Takze zbyva otazka: je ten problem s write-cache (kdyz neni pouzity cely) i kdyz je pouzity pouze pro L2ARC?

Diky!
Randolf

[Reklama]

[Jaromír Vojtaj]

Se ZFS na Linuxu nemám bohužel žádnou zkušenost, takže spíš jenom obecně (nebo možná i konkrétně - co zkusit použít místo Linuxu rovnou PC-BSD?)
Jinak ZIl nejspíš nebudeš potřebovat. Zajímavý by byl asi jenom pro náročný provoz databáze. Na souborový server se přímo NEdoporučuje. A je to tak, jak píše kolega výše - pokud ZIL, tak jedině v mirroru! Když totiž odejde ZIL oddíl, je celý zpool nedostupný!!! Velikost ZIL se pro běžné použití doporučuje do cca 8 GB. Z uvedených důvodů bych ho ale vůbec neřešil. Pokud odejde L2ARC oddíl, ZFS si s tím poradí a přestane ho používat. Je dobré se taky podívat na nějaká nastavení ARC v RAM a L2ARC (ve FreeBSD portech je na to utilitka ZFS-STATS). Nevím jak Linux, ale *BSD dokáže pro ARC využít až 7/8 RAM a je to zatraceně znát. Případně koukni na dnešní díl článku o PC-BSD - je tam spousta odkazů na ZFS, i když asi jenom na *BSD a Solarisu...

[Randolf]

Diky, postupne:
PC-BSD .. mozna, ale chci to pouzivat na beznou praci, domaci media, apod... myslim, ze dam prednost linuxu. I kdyz za zkousku nic nedam... tak mozna.

K tomu ze se na souborovy server nedoporucuje --> proc? Podle mne ma smysl kdykoli, kdyz potrebuju urychlit sync operace (treba pro NAS ...). Rozumim, ze pokud by nekdo do souboru vzdalene zapisoval po malych blocich, tak to bude docela na prd - je to ten duvod?

Myslim, ze pokud ZIL odejde, tak od ZFS verze 19 uz to neni problem, nebo se pletu? Podle mne prijdu pouze o data z dane transakce (5-30 sekund dle nastaveni)... diky CoW by se zbytek poolu poskodit nemel...

Kazdopadne ten ZIL ale asi nepouziju, abych behem chvilky neodpalil disk

[Jaromír Vojtaj]

Na to všechno můžeš PC-BSD bez problémů využít - viz už zmiňovaný seriál článků. Příští díl je o instalaci a dělení disků, tak můžeš zkusit třeba na virtuálu.

Třeba zrovna pro NFS se ZIL nedoporučuje, pro tento typ transferů není vhodný.

Zpoolu se samozřejmě "datově" nic nestane, ale nebude dostupný do té doby, dokud ZIL znova nenastartuješ. Na to nemá vliv žádná verze ZFS

NA ZIL by asi bylo lepší použít SLC disky, ale ty jsou docela drahé. Na druhou stranu, když by stačilo 2x8 GB, nebylo by to asi zase tak zásadní. Řekl bych, že by se asi spíš vyplattilo na tohle použití tyto prachy přidat na větší kapacitu SSD pro L2ARC

Já mám zatím 4 disky v RAIDZ2 a plánuju jenom přidání paměti a SSD disk na L2ARC. Jsem zvědavý na rozdíl, jaký to hodí

[anonym]

podle vseho funguje write cache jen v ramci TXG (nebo v jednotkach), kazdych nekolik sekund se disky syncujou.

ZFS nema zadnou specialni funkci pro zpozdovani zapisu (aby se neroztacely disky), protoze v cilovym nasazeni to je k nicemu. jakykoliv data v cache jsou pri padu ztraceny, takze se ZFS snazi jich mit co nejmin

moje zkusenost je takova ze write cache nepouzivam, protoze muj raidz je vyrazne rychlejsi nez cokoliv co mam v pocitaci, na nejakej reordering/merging staci ta TXG

pokud chces od systemu rychlu reakce, a nechces od nej bezpecnost dat tak si ho dej na SSD, a ZFS si nech jen na data, klidne bez L2ARC

mozna jeste zajimavej napad by bylo mit 2 samostatny pooly, jeden v raidz na data, jeden ciste na SSD pro system. ziskas tim checksum nad vsema datama (ale uz ne moznost obnovy z parity, protoze tam zadna parita nebude). navic dostanes zadarmo schopnost delat snapshoty v podstate zadarmo, coz se muze u systemovyho disku hodit (rollback nepovedenyho update, obnoveni omylem smazanyho souboru, obnoveni rozbity konfigurace)

[Jaromír Vojtaj]

Tohle rozdělení na dva pooly by nemuselo být úplně od věci, díky za tip.

Já měl na Sabayonu systém na jednom HDD (část) a pak RAID5 nad 4 oddíly. Při současném uspořádání necítím žádné subjektivní zpoždění. Víc o tom bude v příštím dílu seriálu

[anonym]

Na to všechno můžeš PC-BSD bez problémů využít - viz už zmiňovaný seriál článků. Příští díl je o instalaci a dělení disků, tak můžeš zkusit třeba na virtuálu.

jedinej rozdil je v tom ze do MM v BSD je blizsi solarisu, takze se tam ARC chova lip - v linuxu je (mozna uz ne, novy deploye sem nejakou dobu nedelal) potreba vice mene experimentalne zjistit na kolik ARC omezit (dobra hodnota se kterou se zacina je 3/4 u serveru, 1/2 u desktopu), protoze automaticky omezeni uplne nefunguje, stavalo se mi ze pak kernel obcas nemohl alokovat pamet v interrupt kontextu (tedy ve chvili kdy nemohl swapovat)
proc PCBSD a ne treba fBSD je asi uplne jedno, ja bych klidne zustal u toho linuxu (taky to pouzivam)

Třeba zrovna pro NFS se ZIL nedoporučuje, pro tento typ transferů není vhodný.

tady to je opravdu uplne jedno, v async se so ZILu nepise, v sync (kterej asi fileserver moc pouzivat nebude) to muze jenom pomoct. NFS je proti CIFS docela syncujici (lepe receno NFS fsync opravdu provede, samba se na to klidne vykasle), ale samozrejme zavisi na aplikaci. pro normalni domaci storage medii to opravdu potreba neni

Zpoolu se samozřejmě "datově" nic nestane, ale nebude dostupný do té doby, dokud ZIL znova nenastartuješ. Na to nemá vliv žádná verze ZFS

pokud se ZIL vrati tak se nic nestane, problem nastava kdyz to nejde (protoze ten disk je definitivne mrtvej). od nejake verze ZFS jde ZIL odebrat, ale myslim ze jen za ziva (tedy s tim ze se propise na disky). za mrtva to taky jde, ale uz je to o ztrate dat, a pravdepodobne bude potreba vytasit zdb

[Randolf]

>> >> If you are running ZFSv19 or newer and your log device dies, you can
>> >> remove the dead device and carry on.  You will lose any data that was
>> >> in the ZIL, but the pool will be intact.



Jinak diky moc za tipy, dam vedet jak to vali!
Randolf

[David]

Vím, že jde o staré vlákno. Chci jen upřesnit, že SLOG nemusí být zrcadlený, protože všechna data jsou primárně v paměti. Museli byste natvrdo vypnout server a v tu samou chvíli by ještě muselo to SSD pro SLOG odejít. Tedy zrcadlení není nutné.
Pro SLOG je dnes vhodný Intel 900P, ještě lepší pak P4800X.