ZFS na Ubuntu zaplní celou RAM

[Izak]

No predpokladam ze mas zfsonlinux a ne fuse hracku.
http://zfsonlinux.org/ ... doporuci nainstalovat latest: spl-0.6.1 / zfs-0.6.1

ZFS neni zase tak dobry FS, umi ale deduplikaci, block checksum, snapshoty ...
Male ale i nevyhody, nejde pridat disk do Z-raid ... jen do poolu, coz je dost nap*u ... zvlaste pro domaci server, sw_raid mdadm --grow umi rozsirit RAID o disk, nebo preconvertovat na jiny, treba R10 na R5 a naopak, staci dst dostetk spare disku, aby se tam data vesly ;-))
LVM2 taky neni odveci ...

Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.

snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi

[Reklama]

[student]

to je pak brutalni, kdyz pouzivas deduplikaci,

+1, dedup a snapshoty su brutalny zabijak ZFS (na Linuxe). U mna na nom mam asi milion suborov v roznych verziach (vratane par velkych SVN repo s branchami), cele s mnozstvom snapshotov - vdaka dedup zaberaju tusim 1/15 realneho miesta (realne zabratych je okolo 100GB). Celkovo sa to ale dost vlecie aj pri poriadnom swape. Rozumej - disk vrci pri downloade niecoho noveho stale a disk / FS je uzke hrdlo pri downloade z internetu - zapis chodi len okolo 1,5MB/s.

[anonym]

ZFS neni zase tak dobry FS, umi ale deduplikaci, block checksum, snapshoty ...
Male ale i nevyhody, nejde pridat disk do Z-raid ... jen do poolu, coz je dost nap*u ... zvlaste pro domaci server, sw_raid mdadm --grow umi rozsirit RAID o disk, nebo preconvertovat na jiny, treba R10 na R5 a naopak, staci dst dostetk spare disku, aby se tam data vesly ;-))
LVM2 taky neni odveci ...

ZFS totiz resi problem obycejnych RAIDu s porusenim stripu pri neuplnem zapisu (rekneme ze mame 10+1 disk, zapisuju novy data jen na 5 disku + paritu, ale spadnu pri tom -> vysledek je ze sem poskodil data ulozeny "vedle", protoze parita uz nesedi). metoda kterou to resi zpusobuje ze nejsi schopnej rict jestli blok na disku jsou data nebo parita bez toho aby si mel vsechny blok pointery, takze se nemuzes prepocitat na jinou sirku stripu.
neboli to je tradeoff featury rozsiritelnosti pro domaci uzivatele (enterprise nasazeni nepridava jeden disk, ale cele nove pole), proti bezpecnosti dat. a jelikoz cele ZFS je postavene na myslence ze data na disku se nikdy nesmi ztratit nebo poskodit (a pokud je to zpusobeno zvenci tak to musi zdetekovat) tak je volba jasna

Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.

komprese neni problem na pamet, mam ji zaplou na datasetu s dokumenty, a nevidim problem (uznavam ze ten dataset neni moc velky). co je problem je deduplikace, ale to je tim ze si v pameti drzi hash tabulku ulozenych bloku

snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi

netusim co dela NetApp za snapshoty, ale vim ze ZFS snapshoty nezabiraji RAM zadnou. funguji na jednoduchem principu generaci (kazdy blok vi v jake generaci vznikl) a delete listu (kazdy snapshot ma seznam bloku ktere uz v dalsim snapshotu nejsou). to znamena ze vytvoreni snapshotu je zadarmo, jeho smazani je jen o neco malo slozitejsi (pridani delete listu k mape volnych bloku)

+1, dedup a snapshoty su brutalny zabijak ZFS (na Linuxe). U mna na nom mam asi milion suborov v roznych verziach (vratane par velkych SVN repo s branchami), cele s mnozstvom snapshotov - vdaka dedup zaberaju tusim 1/15 realneho miesta (realne zabratych je okolo 100GB). Celkovo sa to ale dost vlecie aj pri poriadnom swape. Rozumej - disk vrci pri downloade niecoho noveho stale a disk / FS je uzke hrdlo pri downloade z internetu - zapis chodi len okolo 1,5MB/s.

swap by se *nikdy* nemel pouzivat pro ukladani cache disku - to proste nedava zadny smysl. tvuj problem bude nejspis ve vysoke fragmentaci (ktera je spojena s deduplikaci), take mozna tim ze vetsina pameti bude vyuzita na udrzovani deduplikace misto cache

[bw]

Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.

snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi

len aby sa tu nesirili bludy, uvedme si veci na pravu mieru ziadny dedup job sa na ZFS nikdy nespusti (to si Izak pletie s offline deduplikaciou netappu), pretoze v ZFS je deduplikacia on-the-fly. tato zerie RAMku, pretoze kazdy blok zabera cca 320b v RAM (+-). kompresia ziadnu RAMku (tym myslim vyznamne) nezerie a v porovnani s pevnymi diskami sa dnesne CPU vacsinou len kopu do zadku (i pri (de)kompresii). okrem toho kompresia dokaze zvysit celkovu priepustnost diskoveho subsystemu. snapshoty su bloky a pointery na disku, takze do RAM sa dostanu tak a v takych mnozstvach ako ine data (do ARC). co zerie RAM je hlavne ZFS ARC; da sa poladit, obvykle je to zbytocne.

[mseed]

Pro deduplikaci je potreba hodne RAM.

5-6GB RAM pro 1TB ddub dat

[Reklama]

[mk01]

a dedup tables su metadata a tie su std limitovane 1/4 velkosti ARC, cize ak ma niekto 16gb ram a nema limit na ARC (zfsonlinux standardne 1/2 RAM), tak pri 16gb ram sa zmesti do ram prave tak dedup table z 1TB dat. a to sme pri tejto uvahe skrtli ine metadata.

cize, ak by niekto mal povedzme 3xmirror 3TB diskov (9 gb kapacity), pri standardnom layoute parametrov bude treba cca 5x9x4 RAM (180GB ram - to len keby sa niekto divil, ze preco mu to nefachci a preco je celkova priepustnost 3x strip x mirror mensia, ako 3.5 disketa )

na druhej strane som prave dokompiloval zfsonlinux na raspberry a zije. data na ten pool radsej kopirovat nebudem

mk

[Randolf]

jj, zkus zfs set dedup=off <tank>