Odolný souborový systém na pole

[Aleš Krejčí]

Ahoj,

mám zařízení které mi vytvoří ze 4 (2TB) disků RAID5 a vybírám pro něj nějaký filesytem.

Přemýšlel jsem o ZFS, ale co jsem se na netu dočetl tak při zaplnění nad 70% ztrácí dost na výkonu. Doporučení jak to vyřešit je přeformátovat pole a znovu nahrát, což se mi zdá při velikosti pole 6TB jako nesmysl. Defragmentace v ZFS prakticky neexistuje a na btrfs jsem slyšel samé stížnosti.

Na zařízení kopíruji hlavně přes USB 3.0, takže bych potřeboval filesystém nenáchylný na náhodné odpojení. Chvíli jsem používal exfat ale z toho jsem docela vyléčený. Stačila nějaký chybka a oprava pole trvá skoro den.

Máte někdo praktické zkušenosti s odolným filesystémem vhodným pro externí zařízení?

Díky

[Reklama]

[Kolemjdoucí]

Na zařízení kopíruji hlavně přes USB 3.0, takže bych potřeboval filesystém nenáchylný na náhodné odpojení.

Jakýkoliv FS se žurnálem, tento z principu musí umět vyřešit náhodné odpojení.
Fat a Exfat nemá žurnál.

[Lol Phirae]

Marně přemýšlím, proč bys cpal ZFS na RAID-5. Fakt tomu nerozumím. ZFS má vlastní RAID. Nápad s exFAT radši nebudu komentovat. Proč tam proboha nenahodíš ext4 a nenamountuješ to s volbou sync?

[Aleš Krejčí]

Marně přemýšlím, proč bys cpal ZFS na RAID-5. Fakt tomu nerozumím. ZFS má vlastní RAID. Nápad s exFAT radši nebudu komentovat. Proč tam proboha nenahodíš ext4 a nenamountuješ to s volbou sync?

Pokud jako primární systém požíváš windows tak máš pouze dvě volby, exfat nebo ntfs která zvládá větší disková pole. Ntfs a více počítačů nebyla dobrá volba takže zbylo exfat ;-)

Nakonec jsem se rozhodl raději používat nějaký linuxový formát.

Marně přemýšlím, proč bys cpal ZFS na RAID-5. Fakt tomu nerozumím
To že je to RAID5 je úplně jedno, je to hardwarový RAID. To jsem napsal abych lépe přiblížil co vlastně řeším. Já mám prostě pole 6TB a potřebuji vybrat dobrý filesystém. A jelikož nemám dlouhodobé zkušenosti s používáním větších polí na linuxu, tak se ptám zde.
Proč tam proboha nenahodíš ext4 a nenamountuješ to s volbou sync?
Žádnou synchronizaci nechci. A nevím ani proč bych takovou hloupost přes USB 3.0 dělal. Zálohy se skládají třeba z multimédií nebo snapshoty některých stanic. Navíc zařízení se po nakopírování souborů samo vypíná.
Nejsem zvyklý dělat zbrklá rozhodnutí. Třeba že bych nahodil hned první filesystém který mě napadne (pozn. ext4) ;-)

[Aleš Krejčí]

Na zařízení kopíruji hlavně přes USB 3.0, takže bych potřeboval filesystém nenáchylný na náhodné odpojení.

Jakýkoliv FS se žurnálem, tento z principu musí umět vyřešit náhodné odpojení.
Fat a Exfat nemá žurnál.

Díky, to se hodí.

[Reklama]

[Lol Phirae]

Žádnou synchronizaci nechci. A nevím ani proč bych takovou hloupost přes USB 3.0 dělal.

Aha. No jo. Vždyť to je přece zbytečné, sice to každej blbec může kdykoliv vytáhnout, ale proč vo ty data nepřijít, protože se nezapíšou. No nic.

[OMG]

Marně přemýšlím, proč bys cpal ZFS na RAID-5. Fakt tomu nerozumím. ZFS má vlastní RAID. Nápad s exFAT radši nebudu komentovat. Proč tam proboha nenahodíš ext4 a nenamountuješ to s volbou sync?

Pokud jako primární systém požíváš windows tak máš pouze dvě volby, exfat nebo ntfs která zvládá větší disková pole. Ntfs a více počítačů nebyla dobrá volba takže zbylo exfat ;-)

Nakonec jsem se rozhodl raději používat nějaký linuxový formát.

Marně přemýšlím, proč bys cpal ZFS na RAID-5. Fakt tomu nerozumím
To že je to RAID5 je úplně jedno, je to hardwarový RAID. To jsem napsal abych lépe přiblížil co vlastně řeším. Já mám prostě pole 6TB a potřebuji vybrat dobrý filesystém. A jelikož nemám dlouhodobé zkušenosti s používáním větších polí na linuxu, tak se ptám zde.
Proč tam proboha nenahodíš ext4 a nenamountuješ to s volbou sync?
Žádnou synchronizaci nechci. A nevím ani proč bych takovou hloupost přes USB 3.0 dělal. Zálohy se skládají třeba z multimédií nebo snapshoty některých stanic. Navíc zařízení se po nakopírování souborů samo vypíná.
Nejsem zvyklý dělat zbrklá rozhodnutí. Třeba že bych nahodil hned první filesystém který mě napadne (pozn. ext4) ;-)

Pokud maji tva data nejakou cenu a nejedna se jenom o porno, ktere si muzes kdykoliv stahnout, tak si sedni a zamysli se co od toho reseni ocekavas. Ja treba mam nekolik ~100TB poli se ZFS a naprosta spokojenost, jenomze ho nepouzivam pres raid5 pripojenym na USB. Pokud mas jenom 4 disky, tak raid5 je mozna dobra volba, pokud jsi nucen pouzit USB3, tak zurnal je nutnost. Windows = NTFS, Linux = extfs4, zadnou normalni jinou moznost proste nemas. ZFS ma smysl kdyz mas na to solidni hardware, kdyz neco nekam strkas pres USB pak na ZFS zapomen. Co se tyce extfs4 s volbou sync - vygoogli si co kolega tim myslel a pak az budes vedet, ze sync ti bude porad drzet buffers prazdny, pochopis ze pokud to s tim USB a odpojovanim ziveho file systemu myslis vazne, tak moc moznosti proste nemas.

BTW pokud se jedna o "zalohovaci system" nekde ve firme, tak se na to vykasli rovnou...

[Aleš Krejčí]

Pokud maji tva data nejakou cenu a nejedna se jenom o porno, ktere si muzes kdykoliv stahnout, tak si sedni a zamysli se co od toho reseni ocekavas. Ja treba mam nekolik ~100TB poli se ZFS a naprosta spokojenost, jenomze ho nepouzivam pres raid5 pripojenym na USB. Pokud mas jenom 4 disky, tak raid5 je mozna dobra volba, pokud jsi nucen pouzit USB3, tak zurnal je nutnost. Windows = NTFS, Linux = extfs4, zadnou normalni jinou moznost proste nemas. ZFS ma smysl kdyz mas na to solidni hardware, kdyz neco nekam strkas pres USB pak na ZFS zapomen. Co se tyce extfs4 s volbou sync - vygoogli si co kolega tim myslel a pak az budes vedet, ze sync ti bude porad drzet buffers prazdny, pochopis ze pokud to s tim USB a odpojovanim ziveho file systemu myslis vazne, tak moc moznosti proste nemas.

BTW pokud se jedna o "zalohovaci system" nekde ve firme, tak se na to vykasli rovnou...

Jedná se o takovéto zařízení http://www.czc.cz/raidsonic-icy-box-ib-rd3640su3e2/122678/produkt, primárně zatím používám USB 3.0  ... později budu možná volit eSATA. Jinak jsem uvažoval o ZFS, EXT4, XFS. Ale máš pravdu že ZFS asi dobrá volba nebude.

BTW pokud se jedna o "zalohovaci system" nekde ve firme, tak se na to vykasli rovnou...

Ne není. Navíc nikde jsem nepsal že prasácky odpojuji pole ;-) Jen chci být pojištěn pro případný problém, protože už se mi stalo že byl poškozený kabel a nastalo pár chyb.

[to_je_jedno]

si myslim, ze tady odpovidajici zase neumeji cist. nebo se tazatel zeptat.

IMHO totiz ma normalne maly NAS se 4 diskama v RAID5 (mimochodem jak to resis? spolehas na neco proprietarniho v krabicce nebo aspon mdadm?) a pres USB 3.0 neco pripoji a z nej to nasype do NAS.

[JardaP .]

No, pokud to skonci na Ext4, tak by jeste stalo za to rozmyslet si, co se vlastne bude cpat do zurnalu (viz journal_data, journal_data_ordered, journal_data_writeback), eventuelne dalsi options. man tune2fs.

[Aleš Krejčí]

si myslim, ze tady odpovidajici zase neumeji cist. nebo se tazatel zeptat.

IMHO totiz ma normalne maly NAS se 4 diskama v RAID5 (mimochodem jak to resis? spolehas na neco proprietarniho v krabicce nebo aspon mdadm?) a pres USB 3.0 neco pripoji a z nej to nasype do NAS.

Zatím spoléhám na něco proprietárního v krabičce :-) Bude tam většina záloh. Ty nejdůležitější mám i jinde, kdyby se rozbil hardwarový RAID. Není mdadm hlavně na softwarový RAID? ...

Todle zařízení je totiž bez OS :-)

[Ondřej Vaniš]

Zatím spoléhám na něco proprietárního v krabičce :-) Bude tam většina záloh. Ty nejdůležitější mám i jinde, kdyby se rozbil hardwarový RAID. Není mdadm hlavně na softwarový RAID? ...

Todle zařízení je totiž bez OS :-)

Skoro bych si tipl že to bez OS asi úplně nebude.
Pokud by to mohlo být podobné jako toto
http://inhalt.serviert.de/wissen/hardware/raidsonic/raidsonic-icy-box-ib-nas-4220-nas-first-impressions-erste-eindruecke
tak tam s největší pravděpodobností bude právě SW raid.

[Lol Phirae]

IMHO totiz ma normalne maly NAS se 4 diskama v RAID5

Ne, nemá. Křáp připojený přes USB není NAS, ale DAS.

Todle zařízení je totiž bez OS :-)

Určitě. Asi jako tvůj settopbox nebo cokoliv jiného. Bože, to je kravina.

[j]

Todle zařízení je totiž bez OS :-)

To urcite neni, a ten raid urcite neni HW. Pro tvou informaci, za HW raid (aspon ja) povazuju specifickej HW, kterej je primo pro pocitani toho pole navrzenej, ne nejakej obecne CPU (v tomhle pripade pocitam ze nejaky ARM), ktery pocita SWraid. A neco takovyho uvnitr musi byt, protoze jinak bys to nemoh pripojovat pres USB. Pokud by to melo jen esata, tak by to mohlo byt defakto jen sasi na disky, a pripadnej raid si pak resi stroj, ke kterymu to pripojist.

Nechces si (radsi) koupit http://www.senetic.cz/product/744900-421 Klidne i k tomuhle? Udelas z toho plnotucnej NAS, pripojeni po siti, nemas problem s tim komunikovat z vice stroju, nemusis resit co se kde kdy odpoji ... a uspavat to muzes klidne taky.

[lertimir]

Jedná se o takovéto zařízení http://www.czc.cz/raidsonic-icy-box-ib-rd3640su3e2/122678/produkt, primárně zatím používám USB 3.0  ... později budu možná volit eSATA. Jinak jsem uvažoval o ZFS, EXT4, XFS. Ale máš pravdu že ZFS asi dobrá volba nebude.

Primárně o file systému přece rozhoduje operační systém, který to bude obsluhovat. Podle mne celé zařízení se bude vůči systému tvářit jako blokové zařízení. Buď jedno, když to bude RAID nebo několik, když to budou samostatné disky. Na druhou stranu, pokud by se to mělo tvářit jako samostatné disky, tak z největší pravděpodobností to nepůjde přes eSATA, protože pak by jak motherboard (řadič eSATA) tak krabice musela poporovat https://en.wikipedia.org/wiki/Port_multiplier. Podobně s FIREWIRE, kde ale díky tomu, že je firewire sběrnice, je pravděpodobnější, že  to bude funční.

 Pokud to bude připojené třeba k systému jedoucímu FREENAS tak ZFS je rozumná volba, ale je třeba mít na paměti, že vzhledem k tomu, jak je ZFS komplexní FS tak pro rozumnou funkci potřebuje 1GB paměti na 1TB diskového prostoru. A velmi se doporučuje provoz na ECC pamětech, aby nenastalo silent data corruption.

Při provozu na windows je to samozřejmě NTFS. Pokud jenom uvažujete o možnosti chyb na kabelu tak jediné filesystémy, které vám ošetří CRC chybu dat jsou ZFS a btrfs. Cokoliv jiného vyrobí silent data corruption a bude tam skoro cokoliv.

Z mého pohledu je to celé zařízení blbost. Protože když bude jakákoliv hardwarová chyba v tom zařízení, tak se systém nikde neopraví. Proprietární RAID si tam napiše proprietární informace a jediný způsob opravy bude koupit přesně zařízení. nebo možná zařízení stejného výrobce. Zapomeň že případnou chybu RAIDu opraviš jinak. mnohem radeji bych si systém postavil na něčem takovém http://www.czc.cz/asrock-e35lm1-amd-a50m/147994/produkt s plným linuxovám serverem, dostatkem výkonu a v podstatě stejnou cenou. Nebo když bych si s tím nechtěl hrát tak krabku NAS o něco dražší než ten box.