Dotazy k principům ZFS on Linux

Exchange

Dotazy k principům ZFS on Linux
« kdy: 14. 01. 2019, 12:54:43 »
Ahoj,

cital som clanok o FS ZFS https://www.root.cz/clanky/co-umi-souborovy-system-zfs/ a dvom veciam nerozumiem.

Citace
ZFS používá metodu copy-on-write a nikdy proto nepřepisuje předchozí data. Pokud je potřeba změnit některý blok, je zaalokován nový blok, proběhne zápis dat, změní se veškerá metadata příslušející starému bloku a pak je teprve smazán starý blok".

V jednoduchej reci to chapem tak, ze ked chcem prepisat subor, tak najskor si zaalokuje novy blok, tam to zapise, stary block zmaze. Ale co ked budem mat napr. 100GB datovy ZFS disk, kde uz je 60GB dat, budem ho chciet prepisat novym 60GB suborom, tak dalsi blok o velikosti 60GB si uz nemoze alokovat, ked max kapacita je 100GB...

Citace
Z pohledu aplikací se jedná o běžný POSIX souborový systém, takže není potřeba nic upravovat ani rekompilovat. Z pohledu uživatele/administrátora se jedná o další vrstvu nad virtuálními diskovými kapacitami, která nevyžaduje pro svou práci LVM.

Tuto cast by mi mohol niekto opisat, co znamena "další vrstvu nad virtuálními diskovými kapacitami"?

^.^
« Poslední změna: 14. 01. 2019, 13:12:41 od Petr Krčmář »


Re:ZFS on Linyx - Skromne dotazy
« Odpověď #1 kdy: 14. 01. 2019, 13:08:49 »
Ahoj,

cital som clanok o FS ZFS https://www.root.cz/clanky/co-umi-souborovy-system-zfs/ a dvom veciam nerozumiem.

Citace
ZFS používá metodu copy-on-write a nikdy proto nepřepisuje předchozí data. Pokud je potřeba změnit některý blok, je zaalokován nový blok, proběhne zápis dat, změní se veškerá metadata příslušející starému bloku a pak je teprve smazán starý blok".

V jednoduchej reci to chapem tak, ze ked chcem prepisat subor, tak najskor si zaalokuje novy blok, tam to zapise, stary block zmaze. Ale co ked budem mat napr. 100GB datovy ZFS disk, kde uz je 60GB dat, budem ho chciet prepisat novym 60GB suborom, tak dalsi blok o velikosti 60GB si uz nemoze alokovat, ked max kapacita je 100GB...

Citace
Z pohledu aplikací se jedná o běžný POSIX souborový systém, takže není potřeba nic upravovat ani rekompilovat. Z pohledu uživatele/administrátora se jedná o další vrstvu nad virtuálními diskovými kapacitami, která nevyžaduje pro svou práci LVM.

Tuto cast by mi mohol niekto opisat, co znamena "další vrstvu nad virtuálními diskovými kapacitami"?

^.^

Ono to psani 60GB souboru nejspis nebude jedna atomicka operace...

Exchange

Re:Dotazy k principům ZFS on Linux
« Odpověď #2 kdy: 14. 01. 2019, 13:37:03 »
To je mi viac-menej jasne, teda pokial sprave chapem pojem Atomicita,  ale stale si s tim neviem odpovedat na moju otazku....

Re:Dotazy k principům ZFS on Linux
« Odpověď #3 kdy: 14. 01. 2019, 13:42:41 »
a) nepodari se mu alokovat dalsi bloky, takze zarve nedostatek mista a nic nezkopiruje. Puvodni soubor zustane nedotceny.

b) mozna sem nepochopil otazku, ale ZFS dela proste dalsi virtualni vrstvu. Nemusim videt disky a oddily, ale pracuju jen s pooly a datasety. Na kolika discich je to rozprostreno a kolik mista realne zabiraji me z tohoto pohledu nemusi zajimat.
PMD85 -> Didaktik Gama -> PC XT -> ... x86/x51/ARM
Basic -> Turbo Pascal -> C++ -> Turbo ASM -> C# -> PHP -> Bash -> Go :-)

Exchange

Re:Dotazy k principům ZFS on Linux
« Odpověď #4 kdy: 14. 01. 2019, 14:12:41 »
Cize na fyzickom disku je napr. ext4 fs a nad nim je nainstalovany ZFS v ktorom si sam vytvaram pooly (nazvyme to virtualne particie) a s nimi priamo pracujem?

O co je to teda lepsie, ako napr ntfs, ext4 okrem sposobu zapisovania dat, ma vacsiu kompresiu, nejaka self oprava dat...
Potom ale nie je ZFS obmedzovane fyzickou vrstvou?


Lol Phirae

Re:Dotazy k principům ZFS on Linux
« Odpověď #5 kdy: 14. 01. 2019, 14:24:57 »
Cize na fyzickom disku je napr. ext4 fs a nad nim je nainstalovany ZFS

Dafuq?  :o

Re:Dotazy k principům ZFS on Linux
« Odpověď #6 kdy: 14. 01. 2019, 14:31:13 »
ZFS je nad fyzickym diskem. Zadny ext4. Jako kdyz se takto ptas, muzu jen doporucit si o tom neco (dukladne) precist. Srovnavat ZFS s ntfs uz zni hodne ironicky.
Az si o tom neco zjistis, vyzkousej to.
Bud ti bude vyhovovat a ocenis jeho prednosti, nebo jej nejsi hoden ;-)
PMD85 -> Didaktik Gama -> PC XT -> ... x86/x51/ARM
Basic -> Turbo Pascal -> C++ -> Turbo ASM -> C# -> PHP -> Bash -> Go :-)

Re:Dotazy k principům ZFS on Linux
« Odpověď #7 kdy: 14. 01. 2019, 14:41:13 »
K tomu zápisu souboru: to přece záleží na tom, jakým způsobem pracuje ten program, který ty data zapisuje. Pokud by nový obsah psal do dočasného souboru a pak provedl atomické přejmenování, tak mu ta kapacita tam chybět bude, ale to se nijak neliší od jiných FS.

Tahle vlastnost tě jako uživatele nemusí vůbec zajímat, její smysl je takový, že samotný FS by se nikdy neměl dostat do nekonzistentního stavu, i když kdykoli vytáhneš zásuvku (aspoň teoreticky). Proto ZFS nemá žádný ekvivalent fsck.

Cize na fyzickom disku je napr. ext4 fs a nad nim je nainstalovany ZFS v ktorom si sam vytvaram pooly (nazvyme to virtualne particie) a s nimi priamo pracujem?
Je to přesně naopak. Pracuješ s "normálním" filesystémem (zfs) normálním způsobem (standardní syscally typu open apod.) - tj. aplikacím je jedno, jestli jedou nad zfs nebo extfs, nepoznají žádný rozdíl, proto je není potřeba uzpůsobovat a rekompilovat.

Rozdíl oproti extfs nad LVM je v tom, že ZFS tyhle dvě vrstvy spojuje - máš nějakou "raw" diskovou kapacitu a nad ní si vytvoříš oddíly. Praktická výhoda je pak např. v tom, že můžeš mít pool, kde jsou 4 disky a všechny volumy, které nad tím vytvoříš, mají k dispozici celou kapacitu. Nemusíš tam prvně dělat nějaké oddělené "šochtlíky" (logical volumes) a teprve nad nimi FS. Takže ani nemusíš řešit nějaké jejich zvětšování, zmenšování - všechny volumy mají k dispozici celou kapacitu.

Thx

Re:Dotazy k principům ZFS on Linux
« Odpověď #8 kdy: 14. 01. 2019, 15:19:07 »
Citace
Je to přesně naopak. Pracuješ s "normálním" filesystémem (zfs) normálním způsobem (standardní syscally typu open apod.) - tj. aplikacím je jedno, jestli jedou nad zfs nebo extfs, nepoznají žádný rozdíl, proto je není potřeba uzpůsobovat a rekompilovat.

Rozdíl oproti extfs nad LVM je v tom, že ZFS tyhle dvě vrstvy spojuje - máš nějakou "raw" diskovou kapacitu a nad ní si vytvoříš oddíly. Praktická výhoda je pak např. v tom, že můžeš mít pool, kde jsou 4 disky a všechny volumy, které nad tím vytvoříš, mají k dispozici celou kapacitu. Nemusíš tam prvně dělat nějaké oddělené "šochtlíky" (logical volumes) a teprve nad nimi FS. Takže ani nemusíš řešit nějaké jejich zvětšování, zmenšování - všechny volumy mají k dispozici celou kapacitu.

Tak toto uz dava uplne iny rozmer ^^ Dakujem za vysvetlenie, uz mi je to jasnejsie, teraz uz len nejaky lab :)
Thx este raz ^^

Re:Dotazy k principům ZFS on Linux
« Odpověď #9 kdy: 14. 01. 2019, 18:16:55 »
teraz uz len nejaky lab :)
Lab není potřeba. ZFS se dá vyzkoušet snadno - pool můžeš udělat na zkoušku třeba i nad soubory (napamovanými jako devices).

Re:Dotazy k principům ZFS on Linux
« Odpověď #10 kdy: 14. 01. 2019, 18:19:23 »
Anebo ještě dobrej způsob je zkusit si to nad flashkama - můžeš si tak lehce simulovat výpadky disků. Pamatuju si, jak  Sun ZFS takhle demonstroval, když začínalo - jeli nějakou aplikaci nad více diskama a mlátili do nich kladivem, dokud nechcíply :) Bude to někde k nalezení na youtube určitě.