Fórum Root.cz
Hlavní témata => Distribuce => Téma založeno: creco 22. 04. 2013, 13:41:16
-
Zdravím vás,
mám problém na svém Ubuntu serveru kde datové uložiště je postavené na ZFS souborovém systému. Problém je ten že mi konzumuje veškerou dostupnou RAM i SWAP a je to dost na hraně.
Na internetu jsem našel spousty článků jak optimalizovat cache a využítí RAM ale bohužel to všechno platilo pouze pro FreeBSD. nevíte někdo kde se upravují parametry chování ZFS v Ubuntu?
-
opravdu potřebuješ mít zrovna ZFS, tedy filesystém pro enterprise využití a disková pole? Vypůjčím si (a volně převyprávím) větu co jsem četl den, dva zpátky: "ZFS na domácím serveru je jako jet ropným tankerem k babičce."
Fakt bych zvážil přechod na jiný FS, i kvůli výkonu (hádám, že máš jeden, maximálně dva disky): http://www.phoronix.com/scan.php?page=news_item&px=MTM1NTA (http://www.phoronix.com/scan.php?page=news_item&px=MTM1NTA)
-
ZFS a este na Ubuntu. Chcel by som vas optimizmus :-)
-
opravdu potřebuješ mít zrovna ZFS, tedy filesystém pro enterprise využití a disková pole? Vypůjčím si (a volně převyprávím) větu co jsem četl den, dva zpátky: "ZFS na domácím serveru je jako jet ropným tankerem k babičce."
Fakt bych zvážil přechod na jiný FS, i kvůli výkonu (hádám, že máš jeden, maximálně dva disky): http://www.phoronix.com/scan.php?page=news_item&px=MTM1NTA (http://www.phoronix.com/scan.php?page=news_item&px=MTM1NTA)
Nemám ho na domácím serveru. Mám ho na 8x 2TB discích a hlavně podporuje ssd caching.
Zkoušel jsem flashcache i bcache a nefunguje tak dobře jako to je v ZFS.
ZFS doporučuju všem jen je ho potřeba sporávně nakonfigurovat
-
No... Konzumuje veškerou RAM. Kolik té "veškeré RAM" je, nevíme. Jak jsi přišel na to, že ji konzumuje ZFS, nevíme. Jak jsi ZFS instaloval a jak nastavil, nevíme. Jak jsi přišel na to, že ti zabírá swap (?!??), nevíme.
Ale hlavně že víme, že ti to nejede. To je důležitý, od toho můžeme začít, týden se tě vyptávat na potřebné informace a pak přijdeme na to, že se s tím nic dělat nedá, ZFS je prostě na Ubuntu nepodporovaný FS a že jestli ho nutně chceš, měl by sis nainstalovat FreeBSD nebo nějaký klon Solarisu. Teda v případě, že na těch 8x2T discích hodláš mít data s cenou větší než dvě koruny.
A to je přesně věc, kterou každý z nás chce týden svého času věnovat! Protože se to, Horste, vyplatí! Není to den, nejsou to ani dva dny, je to týden! No řekni, Horste, není to skvělé?!
-
zkusil bych vytvorit soubor "/etc/modprobe.d/zfs.conf" s obsahem
options zfs zfs_arc_max=4294967296
cislo upravit podle potreby, pro fileserver nekde mezi 1/2 a 3/4 RAM, pro desktop nekde mezi 1/4 a 1/2 RAM (v bytech)
-
No... Konzumuje veškerou RAM. Kolik té "veškeré RAM" je, nevíme. Jak jsi přišel na to, že ji konzumuje ZFS, nevíme. Jak jsi ZFS instaloval a jak nastavil, nevíme. Jak jsi přišel na to, že ti zabírá swap (?!??), nevíme.
Ale hlavně že víme, že ti to nejede. To je důležitý, od toho můžeme začít, týden se tě vyptávat na potřebné informace a pak přijdeme na to, že se s tím nic dělat nedá, ZFS je prostě na Ubuntu nepodporovaný FS a že jestli ho nutně chceš, měl by sis nainstalovat FreeBSD nebo nějaký klon Solarisu. Teda v případě, že na těch 8x2T discích hodláš mít data s cenou větší než dvě koruny.
A to je přesně věc, kterou každý z nás chce týden svého času věnovat! Protože se to, Horste, vyplatí! Není to den, nejsou to ani dva dny, je to týden! No řekni, Horste, není to skvělé?!
RAM je 16GB... pred instalaci ZFS system vyuzival 4GB RAM a cca 200MB SWAP.... ted je vyuzito 15,8GB RAm a 3,8GB SWAP.
Jak je nastaveny ZFS nevime, proto se ptam kde se to konfiguruje jinak bych sem ani nepsal.
ZFS funguje vyborne, pocet IOPS se zvysil diky cache...
Moje otazka zni jednoduse... kde se v ubuntu konfiguruje ZFS
-
zkusil bych vytvorit soubor "/etc/modprobe.d/zfs.conf" s obsahem
options zfs zfs_arc_max=4294967296
cislo upravit podle potreby, pro fileserver nekde mezi 1/2 a 3/4 RAM, pro desktop nekde mezi 1/4 a 1/2 RAM (v bytech)
JJ diky,
do tohoto souboru jsem jiz zadal:
options zfs zfs_prefetch_disable=1
options zfs zfs_arc_min=1024M
options zfs zfs_arc_max=3584M
options zfs vm.kmem_size_max=8G
options zfs vm.kmem_size=6G
ale nemelo to zadny vysledek
-
Moje otazka zni jednoduse... kde se v ubuntu konfiguruje ZFS
ZFS se v Ubuntu nekonfiguruje, protože žádné ZFS v Ubuntu není. Pokud sis tam ZFS nainstaloval odjinud, tak k tomu asi byla i nějaká dokumentace, ne?
-
http://zfsonlinux.org/faq.html (http://zfsonlinux.org/faq.html) to máš prošlé? v dokumentace v /usr nic nepíšou?
M.P: https://launchpad.net/~zfs-native/ (https://launchpad.net/~zfs-native/)
-
M.P: https://launchpad.net/~zfs-native/ (https://launchpad.net/~zfs-native/)
Jistě, však na to narážím.
-
Vypůjčím si (a volně převyprávím) větu co jsem četl den, dva zpátky: "ZFS na domácím serveru je jako jet ropným tankerem k babičce."
Taky jsem to četl, ale myslím, že je to přehnaný. ZFS má spoustu vlastností, které člověk ocení i na desktopu nebo domácím servříku - třeba to, že si může udělat různé volumy s různými vlastnostmi a přitom všechny sdílí jedno úložiště. Takže už nikdy se nestane "kurnikšopa, té partišně na fotky jsem měl dát víc místa! Teď to musím celý nějak přeštelovat, ach jo...".
A co se týče toho výkonu, pokud mám domácí servřík, tak i zfs s nějakým normálním množství paměti dá úplně v pohodě dostačující propustnost pro to, co tam typicky chci (zálohování, filmy apod.)
-
http://zfsonlinux.org/faq.html (http://zfsonlinux.org/faq.html) to máš prošlé? v dokumentace v /usr nic nepíšou?
M.P: https://launchpad.net/~zfs-native/ (https://launchpad.net/~zfs-native/)
No prave ze vsechna dokumentace je pro FreeBSD =/
-
Hmm,
"do tohoto souboru jsem jiz zadal:
options zfs zfs_arc_min=1024M
options zfs zfs_arc_max=3584M
ale nemelo to zadny vysledek"
Nebude to tym, ze dokumentacia
(http://zfsonlinux.org/docs.html
"The official administration guide written for Solaris, the majority of it is directly applicable to ZFS on Linux."
http://docs.oracle.com/cd/E19253-01/817-0404/gjhec/index.html)
vyslovne pise:
"Data Type == Unsigned Integer (64-bit)"
a "Units==Bytes"
Aj aj vo vsetkych (par ukazkach) co som vygooglil (aj pre Linux - napr http://ispire.me/if-zfs-is-eating-your-memory/ ci http://comments.gmane.org/gmane.linux.file-systems.zfs.user/3237)
sa ludia "trapia" s udavanim presnych hodnot v byte-och, a nepise GB ci MB...
modprobe zfs zfs_arc_max=$(expr 1024 \* 1024 \* 128) zfs_arc_min=$(expr
1024 \* 1024 \* 128) zfs_vdev_cache_size=$(expr 1024 \* 1024 \* 8)
Cize, skus v tom subore zadat presne cisla..
-
na tom neco bude ::)
-
No predpokladam ze mas zfsonlinux a ne fuse hracku.
http://zfsonlinux.org/ ... doporuci nainstalovat latest: spl-0.6.1 / zfs-0.6.1
ZFS neni zase tak dobry FS, umi ale deduplikaci, block checksum, snapshoty ...
Male ale i nevyhody, nejde pridat disk do Z-raid ... jen do poolu, coz je dost nap*u ... zvlaste pro domaci server, sw_raid mdadm --grow umi rozsirit RAID o disk, nebo preconvertovat na jiny, treba R10 na R5 a naopak, staci dst dostetk spare disku, aby se tam data vesly ;-))
LVM2 taky neni odveci ...
Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.
snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi
-
to je pak brutalni, kdyz pouzivas deduplikaci,
+1, dedup a snapshoty su brutalny zabijak ZFS (na Linuxe). U mna na nom mam asi milion suborov v roznych verziach (vratane par velkych SVN repo s branchami), cele s mnozstvom snapshotov - vdaka dedup zaberaju tusim 1/15 realneho miesta (realne zabratych je okolo 100GB). Celkovo sa to ale dost vlecie aj pri poriadnom swape. Rozumej - disk vrci pri downloade niecoho noveho stale a disk / FS je uzke hrdlo pri downloade z internetu - zapis chodi len okolo 1,5MB/s.
-
ZFS neni zase tak dobry FS, umi ale deduplikaci, block checksum, snapshoty ...
Male ale i nevyhody, nejde pridat disk do Z-raid ... jen do poolu, coz je dost nap*u ... zvlaste pro domaci server, sw_raid mdadm --grow umi rozsirit RAID o disk, nebo preconvertovat na jiny, treba R10 na R5 a naopak, staci dst dostetk spare disku, aby se tam data vesly ;-))
LVM2 taky neni odveci ...
ZFS totiz resi problem obycejnych RAIDu s porusenim stripu pri neuplnem zapisu (rekneme ze mame 10+1 disk, zapisuju novy data jen na 5 disku + paritu, ale spadnu pri tom -> vysledek je ze sem poskodil data ulozeny "vedle", protoze parita uz nesedi). metoda kterou to resi zpusobuje ze nejsi schopnej rict jestli blok na disku jsou data nebo parita bez toho aby si mel vsechny blok pointery, takze se nemuzes prepocitat na jinou sirku stripu.
neboli to je tradeoff featury rozsiritelnosti pro domaci uzivatele (enterprise nasazeni nepridava jeden disk, ale cele nove pole), proti bezpecnosti dat. a jelikoz cele ZFS je postavene na myslence ze data na disku se nikdy nesmi ztratit nebo poskodit (a pokud je to zpusobeno zvenci tak to musi zdetekovat) tak je volba jasna
Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.
komprese neni problem na pamet, mam ji zaplou na datasetu s dokumenty, a nevidim problem (uznavam ze ten dataset neni moc velky). co je problem je deduplikace, ale to je tim ze si v pameti drzi hash tabulku ulozenych bloku
snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi
netusim co dela NetApp za snapshoty, ale vim ze ZFS snapshoty nezabiraji RAM zadnou. funguji na jednoduchem principu generaci (kazdy blok vi v jake generaci vznikl) a delete listu (kazdy snapshot ma seznam bloku ktere uz v dalsim snapshotu nejsou). to znamena ze vytvoreni snapshotu je zadarmo, jeho smazani je jen o neco malo slozitejsi (pridani delete listu k mape volnych bloku)
+1, dedup a snapshoty su brutalny zabijak ZFS (na Linuxe). U mna na nom mam asi milion suborov v roznych verziach (vratane par velkych SVN repo s branchami), cele s mnozstvom snapshotov - vdaka dedup zaberaju tusim 1/15 realneho miesta (realne zabratych je okolo 100GB). Celkovo sa to ale dost vlecie aj pri poriadnom swape. Rozumej - disk vrci pri downloade niecoho noveho stale a disk / FS je uzke hrdlo pri downloade z internetu - zapis chodi len okolo 1,5MB/s.
swap by se *nikdy* nemel pouzivat pro ukladani cache disku - to proste nedava zadny smysl. tvuj problem bude nejspis ve vysoke fragmentaci (ktera je spojena s deduplikaci), take mozna tim ze vetsina pameti bude vyuzita na udrzovani deduplikace misto cache
-
Zpet k ZFS, ZFS dost zere, kdyz zapnes kompresi ... to je pak brutalni, kdyz pouzivas deduplikaci, tak se obcas pusti deduplikacni job, ten taky neco vezme, ale jen pokud bezi, normalne nebezi, ale ta komprese bere hafo RAM.
snapshoty by nic brat nemely, to je ukradene z NetAppu a tak staci udrzovat mapu bloku ... mozna ze jde dat mapa bloku do RAM ... to by zralo dost ;-) Kakze bacha na online kompresi
len aby sa tu nesirili bludy, uvedme si veci na pravu mieru :) ziadny dedup job sa na ZFS nikdy nespusti (to si Izak pletie s offline deduplikaciou netappu), pretoze v ZFS je deduplikacia on-the-fly. tato zerie RAMku, pretoze kazdy blok zabera cca 320b v RAM (+-). kompresia ziadnu RAMku (tym myslim vyznamne) nezerie a v porovnani s pevnymi diskami sa dnesne CPU vacsinou len kopu do zadku (i pri (de)kompresii). okrem toho kompresia dokaze zvysit celkovu priepustnost diskoveho subsystemu. snapshoty su bloky a pointery na disku, takze do RAM sa dostanu tak a v takych mnozstvach ako ine data (do ARC). co zerie RAM je hlavne ZFS ARC; da sa poladit, obvykle je to zbytocne.
-
Pro deduplikaci je potreba hodne RAM.
5-6GB RAM pro 1TB ddub dat
-
a dedup tables su metadata a tie su std limitovane 1/4 velkosti ARC, cize ak ma niekto 16gb ram a nema limit na ARC (zfsonlinux standardne 1/2 RAM), tak pri 16gb ram sa zmesti do ram prave tak dedup table z 1TB dat. a to sme pri tejto uvahe skrtli ine metadata.
cize, ak by niekto mal povedzme 3xmirror 3TB diskov (9 gb kapacity), pri standardnom layoute parametrov bude treba cca 5x9x4 RAM (180GB ram - to len keby sa niekto divil, ze preco mu to nefachci a preco je celkova priepustnost 3x strip x mirror mensia, ako 3.5 disketa :D)
na druhej strane som prave dokompiloval zfsonlinux na raspberry a zije. data na ten pool radsej kopirovat nebudem ;)
mk
-
jj, zkus zfs set dedup=off <tank>