Poraďte souborový systém jako ZFS

[Jaromir108]

Zdravim vespolek.

   Potrebuji poradit. V linuxu jsem se zacal hrabat tusim nekdy po roce 92 ... razim heslo, ze pokud neco funguje a splnuje to naroky, neni treba do toho hrabat ;O) Dokazu zkompilovat co jde, pohrabat se v jadre, ale na to abych neco debugoval a hledal zakopaneho psa jsem liny a radeji jdu o verzi zpet nebo se podivat po jine vetvi ci implementaci ... a zbyly cas venuji treba detem.

   Mam v planu udelat primarne souborovy server na zalohy (databaze nekolik desitek GB - jde o databazi prevazne vizualnich dat-fotek), ktery bych pres verejny inet rad vyzrcadlil na jiny pc, kde by bylo totez a vzajemne by se tyto dva disky na ruznych PCs zrcadlili kvuli bezpecnosti dat a napadlo mne to zkusit udelat nejak inteligentne na urovni fs.

   V minulosti mne nadchl na jedne linux konfere ZFS, ale jak jsem zjistil, tak na Linuxu porad neni v patricne implementaci. Jedine kde je v plne sile je Solaris. Prvni dotaz je - je tomu skutecne tak? Se Solarisem jsem naposledy pracovat tusim v nejake verzi asi sest kde byly novinky demilitarizovane zony ... coz uz je nejakou dobu nazpet ;O) a od te doby jsem k nemu necichl. Takze krome pekne graf. nastavby si toho moc nepamatuji.
   Jedine co o nem aktualne vim/sleduji, ze ho zase uzavreli, vysla nova verze tusim 11 a je take nejaky open fork, kde uz ale pokud se nepletu nejsou vsehny ZFS ficury.

   Co ocekavam od takoveho fs - aby dokazal data kryptit+dobra komprese kvuli mnozstvi prenesenych dat (pujde to pres verejny inet), aby dokazal na dalku zrcadlit disky a hlavne aby se staral maximalne o integritu dat uz v tuto chvili, ne za pul roku v TODO listu. Vse tohle, pokud se nemylim ZFS umi levou zadni. Zalohy se budou provadet cca jednou denne.

   Vim, ze dnes je vice podobnych FS, ale nejsem si vedom ze by nejaky jiny se takto staral o ingritu jako ZFS - bohuzel jsem nikde nenasel nejake aktualni srovnani z praxe a do patku bych to mel nejak cele vymyslet, takze na nejake laborovani neni mnoho casu ... prosim Vas tudiz o nejake aktualni zkusenosti ci srovnani s ZFS a jinych fs z pohledu archivacniho stroje, ne transakcniho.
   Jde mi hlavne o bezpecnost.
   Jestli to bude naledna synchronizace trvat 6minut ci sest hodin je mi uplne putna. Nejaradeji bych to hodil na CentOS nebo podobny distro, co by slo dobre spravovat.

   Prinejhorsim se zase pokusim postourat v Solarisu, ale rad bych zustal u Linuxu, bude li to mozne. Proto vas prosim zdali by se nenasel jiny fs kery na Linuxu je jiz v kvalite kdy je schopen takove podminky jiz ted splnit. Pod linuxem jsem se co se fs tyce dostal nejdale k ext3 ;O)

Dekuji za vase zkusenosti ci nazory na tuto kauzu. Vim, ze by to slo udelat i jinak, ale napadlo mne zkusit jstli by to slo udelat inteligentne na urovni fs a neresit to skpity a podobnym mrcasenim. Jeste jednou diky za nazory, pripominky a zkusenosti! Jaromir

[Reklama]

[anonym]

ZFS na linuxu pouzivam uz nejakou dobu jako data storage, po tom co sem poskodil mdraid RAID6 s nekolika TB multimedialnich dat (filmu)

bylo potreba sahnout na nastaveni memory managementu (omezit velikost ARC, zvysit mnozstvi rezervovany pameti jadra), ale to je spis protoze stroj funguje i jako desktop

jinak zatim zadnej behovej problem, ale uz delsi dobu sem neupdatoval jadro (2.6.3x), pouzivam "nativni" verzi

co se tyce snapshotu tak vytvareni a rotace funguje, nacitani sem nastesti nepotreboval, a posilat nemam kam, ale tady bych nevidel problem

co se tyce problemu ZFS tak ondisk sifrovani umi jen solaris11, pokud ti jde o sifrovani prenosu tak muzes pouzit nejakej sifrovanej tunel. kompresi mam zapnutou, ale jen na malym datasetu s dokumentama, takze nemuzu posoudit uspesnost. zajimavejsi by mohla byt deduplikace, ale ta potrebuje bud velke mnozstvi RAM (nekde na netu se da najit pomer k velikosti pole, u me to bylo pres 60GB), nebo L2ARC na SSD disku odpovidajici velikosti

dalsi problem je ze to neumi two-way mirroring, umi to jen vytvaret snaphoty na jedny strane, posilat rozdily a aplikovat je na druhy strane (tudiz cist muzes na obou stranach, ale pokud budes zapisovat na obou tak se to bude chovat divne)

co se tyce integrity tak se doporucuje raidz2 nebo raidz3, aby i v pripade vypadku byla v datech redundance, takze na "rozumny" pole je potreba aspon 6 disku - a je potreba pravidelne (ja delam jednou za tyden) spoustet scrub, kterej zkontroluje integritu dat a v pripade potreby provede obnovu (narozdil od mdraid je ZFS diky checksumum rozhodnout ktera verze dat je korektni)


doufam ze sem na nic (dulezityho) nezapomel...

[Nassir]

Na vzdialenu obojstrannu synchronizaciu by sa hodil nastroj, ktory je o trochu vysie nez filesystem.
Jeden znamy to skusal na freebsd ako raid (mirror) medzi lokalnym diskom a nfs - vraj mu to fungovalo ale malo to hrozne odozvy. V tej dobe sme to chceli na session subory, tak sme to zamietli, ale na zalohovanie by to bolo skvele.
V sucasnosti pouzivam glusterfs, ktory bol par mesiacov dozadu odkupeny redhatom - takze o podporu sa netreba bat. Jedna sa o fuse filesystem ktory bezi na viacerych pocitacoch naraz. Data su synchronizovane automaticky, rychlosti su relativne dobre a v novej verzii podporuju aj vzialenu synchronizaciu cez wan siete. Ja som sietovu bezpecnost riesil stunelom a rychlost bola stale nad 30 MiB/s po lanke, co mne staci. Data su ukladane na lubovolnom suborovom systeme - exportuje sa adresar, takze v pripade vypadku tohoto systemu su data stale pristupne z povodneho adresara.
Co sa ostatnych bodov tyka, tak napriklad kryptovany filesystem je super vec dokial sa nepokazi. A komprimacia na obrazkove data nebude fungovat ( ak sa nejedna o bmp alebo dxp subory). Pri zalohovani by sa skor malo hovorit o deduplikacii, ale taky filesystem som este nepotreboval, takze neporadim...

[Jaromir108]

Na vzdialenu obojstrannu synchronizaciu by sa hodil nastroj, ktory je o trochu vysie nez filesystem.
Jeden znamy to skusal na freebsd ako raid (mirror) medzi lokalnym diskom a nfs - vraj mu to fungovalo ale malo to hrozne odozvy. V tej dobe sme to chceli na session subory, tak sme to zamietli, ale na zalohovanie by to bolo skvele.
V sucasnosti pouzivam glusterfs, ktory bol par mesiacov dozadu odkupeny redhatom - takze o podporu sa netreba bat. Jedna sa o fuse filesystem ktory bezi na viacerych pocitacoch naraz. Data su synchronizovane automaticky, rychlosti su relativne dobre a v novej verzii podporuju aj vzialenu synchronizaciu cez wan siete. Ja som sietovu bezpecnost riesil stunelom a rychlost bola stale nad 30 MiB/s po lanke, co mne staci. Data su ukladane na lubovolnom suborovom systeme - exportuje sa adresar, takze v pripade vypadku tohoto systemu su data stale pristupne z povodneho adresara.
Co sa ostatnych bodov tyka, tak napriklad kryptovany filesystem je super vec dokial sa nepokazi. A komprimacia na obrazkove data nebude fungovat ( ak sa nejedna o bmp alebo dxp subory). Pri zalohovani by sa skor malo hovorit o deduplikacii, ale taky filesystem som este nepotreboval, takze neporadim...

A jaky mame na mysli nastroj?

Matne si vzpominam na doby pred 20ti lety, kdy jsme pouzivali pres crona sadu skriptu s nazvem Mirror, behalo to tusim pod Perlem ... a druhy den jsme s vzrusenim zjistovali jestli se to vybec spustilo a pokud ano, tak s jakym vysledkem ;O)

Podle mne, cim nize to bude fungovat tim lepe. Potrebuji bezobsluzny system s minimalnimi zasahy uzivatele/spravce s maximalni bezpecnosti. Pujde totiz o databazi s roentgeny a co se stane kdyz prohodime dva roentgeny asi vsichni zname z ruznych komedii ;o))

NFS co si dobre vzpominam, byla prvni vec co ve sve dobe fungovala pro vzdalene mapovani a prenos dat, ale co se prenosovych rychlosti tyce, bylo vzdy ryhlejsi to prenaset po disketach ... a kdyz jsem jej pred lety naposledy zkousel, rychlosti nebyly porad na nejake stabilni prenosy dat. Ale mnoho lidi jen melo implementovano a byly s nim spokojeni.

Samzorejme ze je zde moznost udelal dve lokalni RAID1 polde ktere pomoci sifrovaneho a zkompresovaneho tunelu budu data mirrorovat a nasledne kontrolovat a nechavat si posilat emailem vysledky, ale jak rikam, doufam, ze doba pokrocila (jeste to nevim).

Diky za tip na glusterfs! Takoveto info potrebuji.

Samozrejme vim, ze obrazky se vetsinou spatne kompresuji, ale zase vim, ze sql databaze umoznuji dobrou kompresi (bezi to na SQL) a po pravde receno nevim v jakem formatu to maji a je mi to jedno. Ale jelikoz vim, ze ten nejemensi snimek ma 2mega (nejvesti muze mit o dva rady vys), tak ztratovy jpg to asi urcite nebude .. tipuji to nejaky bezztratovy TIFF, jelikoz je mozno s temi snimky jeste dal pracovat - ostrit, zvetsovat, atd. a to by pri klasicke ztratove kompresi asi moc neslo. ALe jak rikam jde o me domnenky.

Cryptovany FS tam chci kvuli moznemu zcizeni HW - data budou v tomto pripade dulezitejsi nez cena HW a jelikoz pujde o zalohu zalohy ... ale i tak bych rad videl paritni sledovani ala ZFS.nProste kdyz  it zalohu tak 100%ni a nemit strach jestli nahodou nekde po ceste v radici ci v tunelu se nejaky byte nepozmenil. V tomto pripade puje o bezpecnost na prvnim miste. Ted mne napadl slogan - velka bezpecnost za maly peniz ;O))) (neplest si z a s)

Termin deduplikace jsem uz nekde slysel, ale musim se po pravde podivat co si mam pod tim presne predstavit.

Jdu studovat. Diky. Jaromir

[Jaromir108]

Tak deduplikace urcite nee - uz jsem osvezil bunky. Prave naopak.

Mam li se pokusit strucne rict jinymy slovy co bych rad, tak nejlepe na urovni FS mit mirror dvou disku ktere budou na dvou ruznych strojich, ktere budou od sebe nekolik km, budou zakrypteny a pokud by byla i nejaka komprese fs, bude to plus.

HLAVNE jde bezpecnost dat - overovani integrity dat a jejich opravy za chodu. V tomto smeru se mi libi co jsem videl a cetl o ZFS, takze neco podobneho co na Linuxu bezi a je plne implementovano.

Diiky. Jaromir

P.S. Pokud by do budoucna slo takto propojit i vice disku (poli) na ruznych masinach v jeden fs, vubec bych se nezlobil ;O)

[Reklama]

[cita]

drbd pro replikaci, pripadne drbd proxy v pripade pomale linky mezi nodama. a nad tim uz si muzete sifrovat jak chcete a co chcete.

[Logik]

Jen k těm obrazovým datům: samozřejmě i TIFF a RAW jsou komprimované, akorát bezstrátovou kompresí. Takže je nijak nezkomprimujete a pro přenos bych spíš tu kompresi vypnul, protože to jen zatíží procesor a velikost dat může i vzrůst. Samozřejmě šifrování smysl má, ale to entropii z principu nemůže snížit takže ani po zašifrování to nepůjde zkomprimovat lépe.

[Jaromir108]

ZFS na linuxu pouzivam uz nejakou dobu jako data storage, po tom co sem poskodil mdraid RAID6 s nekolika TB multimedialnich dat (filmu)

bylo potreba sahnout na nastaveni memory managementu (omezit velikost ARC, zvysit mnozstvi rezervovany pameti jadra), ale to je spis protoze stroj funguje i jako desktop

jinak zatim zadnej behovej problem, ale uz delsi dobu sem neupdatoval jadro (2.6.3x), pouzivam "nativni" verzi

co se tyce snapshotu tak vytvareni a rotace funguje, nacitani sem nastesti nepotreboval, a posilat nemam kam, ale tady bych nevidel problem

co se tyce problemu ZFS tak ondisk sifrovani umi jen solaris11, pokud ti jde o sifrovani prenosu tak muzes pouzit nejakej sifrovanej tunel. kompresi mam zapnutou, ale jen na malym datasetu s dokumentama, takze nemuzu posoudit uspesnost. zajimavejsi by mohla byt deduplikace, ale ta potrebuje bud velke mnozstvi RAM (nekde na netu se da najit pomer k velikosti pole, u me to bylo pres 60GB), nebo L2ARC na SSD disku odpovidajici velikosti

dalsi problem je ze to neumi two-way mirroring, umi to jen vytvaret snaphoty na jedny strane, posilat rozdily a aplikovat je na druhy strane (tudiz cist muzes na obou stranach, ale pokud budes zapisovat na obou tak se to bude chovat divne)

co se tyce integrity tak se doporucuje raidz2 nebo raidz3, aby i v pripade vypadku byla v datech redundance, takze na "rozumny" pole je potreba aspon 6 disku - a je potreba pravidelne (ja delam jednou za tyden) spoustet scrub, kterej zkontroluje integritu dat a v pripade potreby provede obnovu (narozdil od mdraid je ZFS diky checksumum rozhodnout ktera verze dat je korektni)


doufam ze sem na nic (dulezityho) nezapomel...

Nejak se neobejvily me dotazy na tento prispevek ... tak je zkusim napsat znova.

Diky za reaci - muzes byt prosim nejak podrobnejsi - jake distro, jaka implementace ZFS, atd. Diky.

Taktez diky za info ohledne two way mirror.

Co jsem zatim o ZFS zjistil, tak potrebuje urcite velky tuning. I kdyz pravdepodobne, pokud jsem to dobre pochipil, ma nejlepsi overovani integrity (alespon z technickeho pohledu) ze soucasnych fs, tak i na nem muze dojit ke korupci ... a abych skutecne mel vsechny veco co tento fs umoznuje a ja bych rad, skutecne budu muset na Solaris, ci jeho vetev. OpenSolatis uz ceka na vypaleni.

Asi nejpodobnejsi ZFS je BRTFS, pokud jsem dobre zjistil. I kdyz hlavni vyvojarska stranka o nem rika, ze je experimental, tak se obecne uz doporucuje jeho pouziti. Je v dosti distrech a pokud nam nem bude fungovat two way mirror (coz jsem zatim uplne nezjistil), tak bych do nej sel na testy ;o) (casu je malo)

[Jaromir108]

drbd pro replikaci, pripadne drbd proxy v pripade pomale linky mezi nodama. a nad tim uz si muzete sifrovat jak chcete a co chcete.

Diky za tip! Vypada to zajimave.

Zatim se maji veci tak, ze pred casem se zacalo u BRTFS s implemtaci syncu (two way mirror). Zatim cekam na odpoved co se predpokladaneho casoveho horizontu implemnetace tyce.

Mezitim jsem zjitil, ze maji uz docela dobre funkcni rozdilovou zalohu dat, takze zatim je plan nasadit BRTFS s rozdilovou zalohou dat na vzdaleny fs a casem prejit na asynchronni two way mirror.

Jako plan B mam zatim DRBD. Je to vsak uz sluzba navic.

Ma nekdo zkusenosti s cephfs? Pred chvili jsem dostal tip.

Jaromir

[Roman]

Pokud chcete spolehlivý filesystém se zaručenou integritou, není BTRFS v alfa verzi zrovna rozumný nápad.
Já bych ho pro ostrá a citlivá data nasadil tak za 1-2 roky po oficiálním prohlášení za stabilní...

[anonym]

BTRFS nevypada spatne,ale nepodporuje paritni RAID (pouze mirror/stripping)

co se tyce replikace tak uz bylo zmineno glusterfs nebo drbd, ale porad je potreba zarucit integritu na disku (tudiz checksumy a redundance, nevim o nicem jinem nez ZFS nebo BTRFS)

problem drbd je ze funguje nad block device, a ma rad kdyz nad nim je clustrovy FS (ani jeden z vyse zminenych) - reseni by bylo vytvorit ZFS pool, nad tim ZVOL (zjednodusene block device uvnitr ZFS), a ten pouzit pro drbd (ve kterem bude neco jako OCFS2) - teoreticky se tim ziska cluster vcetne integrity, ale uz to zacina byt dost silene (a nevim jestli BTRFS umi neco jako ZVOL)

co se tyce deduplikace tak to neni v ZFS opak RAIDu, funguje na jine vrstve. ZFS dokaze pouzit jeden datovy blok ve vic souborech (kdyz ho maji oba stejny samozrejme, diky COW se nebudou ovlivnovat), ale stale jsou vsechny bloky zalohovany pomoci RAIDu

rozdilove zalohy mezi jednotlivymi snapshoty zvlada bez problemu i ZFS (obecne cokoliv umi BTRFS umi ZFS, a jeste neco navic) - pak uz je jedno na kolik mist se to posila, jestli mam jednu nebo tri vzdalene kopie (ale porad je stejnej problem, jsou to jen zalohy, zadna online replikace, zadne zmeny na vic mistech)


ZFS se sifrovanim bohuzel umi jen solaris 11 (ne opensolaris ani jeho vetve, ty maj ZFS v28 stejne jako linux), pokud to chces na linuxu (a nechces z leaknuteho zdrojaku preportovat ZFS v31) tak sem nekde videl pouziti dm-crypt, ale tam je trochu problem pri spousteni (neodsifrovani jednoho disku to uvidi jako vypadek), a funguje to trochu jinak (ZFS sifruje per-dataset, takze umoznuje delat zalohy/scrub i pokud nezna klic, dokaze mit sifrovane a nesifrovane datasety na jednom poli...)


co se tyce korupci na ZFS tak ano, muze k nim dojit - pokud se mi poskodi odpovidajici blok na obou diskach mirroru tak sem holt v pr***. k cemu ale nemuze dojit (proti pravdepodobnosti hash kolize) je ticha korupce dat - proto by se mel pravidelne spoustet ten scrub, kterej zkontroluje ze vsechno je citelny a konzistentni



PS: u me bezi na gentoo, ZFS posledni z zfsonlinux.org

PPS: chtelo by si ujasnit jestli je cilem mit offsite zalohu (ktera se bude treba kazdou noc aktualizovat) nebo je cilem mit opravdu online replikaci, a soubezne pristupovat k datum na obou koncich

[Jaromir108]

Pokud chcete spolehlivý filesystém se zaručenou integritou, není BTRFS v alfa verzi zrovna rozumný nápad.
Já bych ho pro ostrá a citlivá data nasadil tak za 1-2 roky po oficiálním prohlášení za stabilní...

To ja nejradeji taky ;o)

Takze ktery fs je 2 roky po ohlaseni za stabilni?

[Jaromir108]

Dobre rano,

   dekuji vsem za rady - pripominky.

   Do vcerejsiho vcera jsem nevim proc myslel, ze BRTFS umoznuje cryptovani fs ;o) byl jsem vyveden z omylu.
   Cryptovani nad fs samozrejme jde, ale prisel bych o nektere vyhody, takze na linuxu asi nee.
   Podle ohlasu zkusenych uzivatelu, BRTFS uz je docela stabilni a maximum co se stava, ze nejde unmout fs. Necitelne filesystemy nejsou ani u ZFS rc6 ani u BRTFS v aktualnich verzich. ZFS je na tom celkove lepe a obcas zlobi jen pri kompresi fs a vytvareni fs na nejakych zarizeni ala USB disk. Z pohledu stability je na tom ZFSs o neco lepe. Co je pro mne krome lepsi integrity dat dulezite je plne funkcni send prikaz. Na brtfs se teprve pise.

   Duvod proc tento prispevek pisi je info ostatnim, kdo by potreboval nejaky moderni a bezpecny fs pod linuxem a nevedeli by aktualni stav.

   Muj zaver: linux s ZFS a pokud bude nejaky problem budu se muset "preskolit" na Solaris, kde je navic cryptovani fs a comprese fs bez problemu (i openSolaris).

   Preji vsem vse nej do noveho roku! Jaromir