ZFS pozastavuje zápis po zaplnění bufferu

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #30 kdy: 07. 03. 2016, 23:44:56 »
kde zacat? napriklad tym, ze mas malo RAM.
Vadí u implementace ZFS on Linux, u implementace ZFS-FUSE je pro mé potřeby RAM dostatečná (zápis je plynulý, velký snapshot se smaže), avšak tato implementace je bohužel nestabilní.

ze pouzivas kus softu, ktory nevidel poriadny vyvoj a testovanie poslednych 7 rokov.
ZFS on Linux určitý vývoj má i loni a letos a funkce jsou na úrovni ZFS verze 28. Asi tím máš na mysli fixování málo chyb.

ze ocakavas luxus rolls roycu za cenu trabanta z druhej ruky.
Na to jsem si v Linuxu už celkem zvykl. Včetně Linuxu samotného.

ako plan, preinstaluj na posledny solaris (11.3), pridaj druhy disk, vypni dedup a zapni zrkadlo. potom pridaj RAMku (vela RAMky, kopec RAM). kym nevycerpas moznost pridavat RAM, nepridavaj zbytocne ZIL a L2ARC.
Dedup při zápisu nebo alespoň offline ber jako požadovanou funkci. Jinak bych se rovnou mohl vrátit k Btrfs.

S tím zrcadlem to nechápu. Plánuji celé úložiště v RAID 5 nebo 6 přes mdadm nebo ZFS, ne mirror.

Čemu vadí L2ARC na SSD disku? Neměl by naopak urychlovat čtení?

potom sa vrat, poradime  8)
Neboj, nikam neodcházím 8)


Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #31 kdy: 07. 03. 2016, 23:47:36 »
Čemu vadí L2ARC na SSD disku? Neměl by naopak urychlovat čtení?
Ale míň než RAM. P se ti snažil říct, že dokud můžeš, máš přidávat RAM. Až když nemůžeš, dávat SSD.

hugochavez

Re: ma ty prostoto!
« Odpověď #32 kdy: 08. 03. 2016, 00:17:16 »
Není to disk který byl podezřele levný kvůli tomu že používá SMR (shingled magnetic recording)? Zápis na takové disky prostě je po zaplnění jejich cache pomalý a nedá se s tím nic dělat, za to ZFS nemůže...

Zní to zajímavě, děkuji. Leč hned po koupi jsem provedl nějaké testy, při kterých sekvenční zápis byl podstatně rychlejší než 1 MB/s. Každopádně primárně řeším plynulost zápisu. Aby ten ZFS pool neměl každou chvíli na několik minut pozastavené veškeré zápisy. Potřebuji aby šlo na pool kdykoliv zapisovat, i kdyby nízkou rychlostí.

Docetl jsem az sem a dal uz vazne nemuzu. :-o
Pripada mi ze chces provozovat jadernou elektrarnu ale nenamahal jsi se cokoliv si o jejim provozu zjistit a ted tam chodis jako slepej bez hole a divis se coze se to kolem deje za roztodivny veci....
Takze- pokud to myslis se ZFS vazne (a chces z nej mit uzitek namisto frustraci, zklamani a casem pravdepodobne i totalni ztraty dat), tak ti VRELE DOPORUCUJU abysis doplnil vzdelani a neco si o tom nacet'. Nejsou to texty primo o ZFS na Linuxu nybrz na FreeBSD platforme konkretne jde o FreeNAS = muzes to brat jako prvni tip na funkcni OS na kterem se da spolehlive provozovat ZFS a skladovat hromady dat, tak jak jsi o to zadal ;o) Jsem si skoro jistej ze princip a logika ZFS na Linuxu a FreeBSD se prilis lisit nebude= je to porad ZFS, a kdyz uz mluvime o logice tak ta je u ZFS  DIAMETRALNE ODLISNA od jinych file-systemu a je treba to vzit do uvahy pri navrhovani systemu jinak se 100%ne spalis. Jen pro ilustraci je VELMI PODSTATNE JAKY DRUH DAT/SLUZEB chces provozovat. Bude hodne klientu cist/zapisovat do databazi anebo budou jen pasivne streamovat videa do svych koncovych zarizeni?? Mas 10Gb sitovku a jde ti o velky prutok dat pri r/w (=mirroring) anebo chces mit mega-jistotu ze neprijdes o data i kdyz ti kleknou 2 disky z 5ti?? (RaidZ2) To vsechno hraje roli.
Takze pro zacatek doporucuju zacit jakousi bibli pro dummies :o)

https://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/
Dole si vyber z tech 3 linku format k sosnuti. BTW povsimni si uplne dole tech 2 odkazu: "Hardware recommendations • RAID5/RAIDZ1 is dead" ;o)
Sepsal to admin FreeNAS fora na zaklade narku, dotazu a zklamani uzivatelu :o))))
Jsou tam polopaticky vysvetlene zaklady navrhovani ZFS poolu/Vdev a ceho se vyvarovat..... dedup je jedna z tech veci ;o)
pak se muzes presunout na drobet hard-core studium:

http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide

https://www.ixsystems.com/whats-new/2015/09/30/freenas-worst-practices/

Spousty zajimavyho se dozvis i tady:
http://doc.freenas.org/9.3/freenas.html#

Napr. info ktere ti evidentne chybi:
" The best way to get the most out of your FreeNAS® system is to install as much RAM as possible. The recommended minimum is 8 GB of RAM. The more RAM, the better the performance, and the FreeNAS® Forums provide anecdotal evidence from users on how much performance is gained by adding more RAM.

Depending upon your use case, your system may require more RAM. Here are some general rules of thumb:

    If you plan to use ZFS deduplication, ensure you have at least 5 GB RAM per TB of storage to be deduplicated.
    If you plan to use Active Directory with a lot of users, add an additional 2 GB of RAM for winbind’s internal cache.
    If you plan on Using the phpVirtualBox Template, increase the minimum RAM size by the amount of virtual memory you configure for the virtual machines. For example, if you plan to install two virtual machines, each with 4GB of virtual memory, the system will need at least 16GB of RAM.
    If you plan to use iSCSI, install at least 16GB of RAM, if performance is not critical, or at least 32GB of RAM if performance is a requirement.
    If you are installing FreeNAS® on a headless system, disable the shared memory settings for the video card in the BIOS.

If your system supports it and your budget allows for it, install ECC RAM. While more expensive, ECC RAM is highly recommended as it prevents in-flight corruption of data before the error-correcting properties of ZFS come into play, thus providing consistency for the checksumming and parity calculations performed by ZFS. If you consider your data to be important, use ECC RAM. This Case Study describes the risks associated with memory corruption.

If you don’t have at least 8GB of RAM, you should consider getting more powerful hardware before using FreeNAS® to store your data. Plenty of users expect FreeNAS® to function with less than these requirements, just at reduced performance. The bottom line is that these minimums are based on the feedback of many users. Users that do not meet these requirements and who ask for help in the forums or IRC will likely be ignored because of the abundance of information that FreeNAS® may not behave properly with less than 8GB of RAM

Myslim ze pokazdy kdyz tam pisou FreeNAS tak si muzes dosadit ZFS a bude to presny.
Dalsi zasadni vec je ze ZFS se nesnasi s HW Raidem= ZFS je RAiD sam o sobe a potrebuje PRIMY kontakt na zelezo jinak se o5 zacnou dit roztodivny veci. Proto pokud deska defaultne podporuje RAiD je potreba v BiOSU to zmenit na JBOD. Stejne tak se nedoporucuje zaplnovat pool na vic nez 80%, kombinovat ruzne velikosti/rychlosti/vyrobce  disku protoze logika s jakou ZFS rozhazuje/optimalizuje rozmistovani dat je -jak zmineno vyse- uplne jina nez u konkurencnich FS, atd atd. Je toho hodne co si clovek musi o ZFS nastudovat ale odmenou je pak naprosto famozni, megastabilni system ktery muze roky slouzit stylem "set it and forget it"!  :o))))
Neni divu ze Oracle na tom rejzuje neskutecny $.
ZFS_101_aka_ZFS_is_Cool_and_Why_You_Should_Be_Using_It_by_Dru_Lavigne
(prednaska vyvojarky)
https://www.youtube.com/watch?v=OIuWAxkceBY
a tady je k tomu slideshow:
http://www.slideshare.net/dlavigne/scale2014
ZFS Feature Overview  https://www.youtube.com/watch?v=R9EMgi_XOoo 
Ultimate ZFS Overview | TechSNAP 28  (zacina 28m35s)  https://www.youtube.com/watch?v=0Ug1qCXvZDg
a na zaver trocha srandy jak se provadi "alternativni komprese disku" ala ZFS  :o))))  https://www.youtube.com/watch?v=CN6iDzesEs0

Enjoy!
PS: jen pro orientaci par udaju o mem ZFS systemu.
deska http://www.asrockrack.com/general/productdetail.asp?Model=C2750D4I#Specifications
4x8GB ECC RAM, 5x1TB WD RED (kvuli spotrebe) nastaveny jako RaidZ2 s kompresi LZ4 + full disk encryption Geli  (FreeBSD default crypto protoze Oracle-crypto nelze kvuli copyrightu pouzit) Sifrovani probiha HW AES-NI ktere deska podporuje.
Rychlosti: upload/zapis z Linux Mint na FreeNAS =4GB soubor zacne tlacit 33MB/s ale rychle to spadne na cca 21-22MB/s a ty pak drzi =je znat ze ty disky nejsou rychlootackovy a nestihaj, navic se pocitaj hashe bloku a hashe samotnych hashu a data se rozhazujou na 5 disku soucasne. Download uz je jiny kafe=cca 60MB/s. ZFS pool je namountovanej na Linux pres NFS. Sambu nepouzivam a tipuju ze rychlosti by byly o poznani nizsi. Jinak trafik jde pres 1Gb switch a pfSense router (ten ma taky 1Gb sitovku) protoze server je na jiny LAN nez noutas, coz by ale nemelo mit zasadnejsi vliv na rychlost....... Takze asi tak :o)

Re: ma ty prostoto!
« Odpověď #33 kdy: 08. 03. 2016, 00:41:51 »
Download uz je jiny kafe=cca 60MB/s. ZFS pool je namountovanej na Linux pres NFS. Sambu nepouzivam a tipuju ze rychlosti by byly o poznani nizsi. Jinak trafik jde pres 1Gb switch a pfSense router (ten ma taky 1Gb sitovku) protoze server je na jiny LAN nez noutas, coz by ale nemelo mit zasadnejsi vliv na rychlost....... Takze asi tak :o)
Tech 60MBps bude asi spis tim NFSkem nebo siti, ne? Kdybys to pustil lokalne do /dev/null, tak ti to da urco vic, ne?

hugochavez

Re: ma ty prostoto!
« Odpověď #34 kdy: 08. 03. 2016, 03:27:15 »
Download uz je jiny kafe=cca 60MB/s. ZFS pool je namountovanej na Linux pres NFS. Sambu nepouzivam a tipuju ze rychlosti by byly o poznani nizsi. Jinak trafik jde pres 1Gb switch a pfSense router (ten ma taky 1Gb sitovku) protoze server je na jiny LAN nez noutas, coz by ale nemelo mit zasadnejsi vliv na rychlost....... Takze asi tak :o)
Tech 60MBps bude asi spis tim NFSkem nebo siti, ne? Kdybys to pustil lokalne do /dev/null, tak ti to da urco vic, ne?
Taky se mi to zdalo malo, ale jelikoz vsechno co potrebuju chodi OK tak sem to moc neresil. Ono i streamovani BlueRaye si nerekne o vic nez nejakych 50MB/s takze ani s tim trable nebyly. Tezko rict cim to je- tipoval bych to na neoptimalizovanej RaidZ protoze 5 disku je kravina= ma to bejt mocnina dvou cili pro muj setup 4 anebo 8. Jenze ja mel misto jen na 5max a 4 semi zdalo malo kdyz 2 obetuju na redundancy.....  :o/ Na druhou stranu tady vyvojar FreeBSD mluvi o tom ze ma 4+2disky v RaidZ2 a read/write speed mu dava 715MB/s..............s tim ze ale jeho LAN je pouze gigabitova takze mu je to stejne k h... kdyz neprotlaci kabelem vic nez 125MB/s . Na druhou stranu nerika nic o tom JAKY tam ma disky a jelikoz tendle typeq je silenec cosi stavi 90TB servery tak by me ani neprekvapilo ze tam vrazil naky SSDka anebo 11k rpm Raptory :o))))) Ja tam mam cerveny 5.4k sracky od WD kde 1 disk uz po mesici provozu zacal vypisovat "2 vadne sektory". Je ale fakt ze dalsi uz za skoro 2 roky nonstop-provozu nepridal, takze to taky neresim.  Ja sem premejslel ze udelam nakej iPerf test ale znas to -clovek resi problem az kdyz ho zacne tlacit :o))))))) takze sem se k tomu zatim nedokopa :o) Jaky rychlosti z toho tlacis ty? a s jakyma HDD??


Re: ma ty prostoto!
« Odpověď #35 kdy: 08. 03. 2016, 08:53:28 »
Jaky rychlosti z toho tlacis ty? a s jakyma HDD??
Nemam nikde srovnatelnou kombinaci. Na serverech mam bud jenom dva disky v mirroru, nebo vic, ale bez šifrování. Ale co si matně pamatuju, tak GELI s AES-NI by mělo dávat víc než disky a ty WD RED dají taky určitě kolem 100MBps. Hashe ti procesor rozhodně nevytíží, takže tam bych úzký hrdlo taky nehledal a čtení z víc disků by mělo dávat víc než z jednoho...

Schválně zkus přímo na tom stroji pustit přes sysutils/dd_rescue nějakej zaručeně nenacachovanej soubor do /dev/null, kolik ti to hodí.

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #36 kdy: 08. 03. 2016, 09:04:42 »
Na 4-diskovým RAIDZ-1, SATA disky WDC WD5002ABYS-02B1B0 7200RPM, bez L2ARC, bez šifrování, deska obstarožní supermicro, Xeon E5405@2.00GHz, FreeBSD 10:

Kód: [Vybrat]
# dd if=ubuntu-14.04-server-amd64.iso of=/dev/null bs=1M
564+0 records in
564+0 records out
591396864 bytes transferred in 3.092000 secs (191266773 bytes/sec)

# dd if=/dev/ada0 of=/dev/null bs=1M count=564
564+0 records in
564+0 records out
591396864 bytes transferred in 5.133316 secs (115207569 bytes/sec)

Při druhém spuštění - nacachováno v RAM:
Kód: [Vybrat]
# dd if=ubuntu-14.04-server-amd64.iso of=/dev/null bs=1M
564+0 records in
564+0 records out
591396864 bytes transferred in 0.190847 secs (3098798373 bytes/sec)

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #37 kdy: 08. 03. 2016, 09:27:34 »
Pro srovnání: nevím proč ne úplně excelentní diskovej výkon dostávám od entry-level proliantů:

HP ProLiant ML310e Gen8, Xeon E3-1220 V2 @ 3.10GHz, 2 Disky MB1000GCEEK v mirroru, 7200 RPM, FreeBSD 10

Kód: [Vybrat]
# dd if=sda3.ntfsc of=/dev/null bs=1M
9106+1 records in
9106+1 records out
9548841713 bytes transferred in 100.955159 secs (94584980 bytes/sec)

# dd if=/dev/ada0 of=/dev/null bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes transferred in 4.085543 secs (128327620 bytes/sec)

P.S. tohle je ale fileserver, který je teď normálně v produkci, takže za úplnýho klidu by snad dal víc, ale co mám tak zkušenost, o moc víc ne.
« Poslední změna: 08. 03. 2016, 09:34:11 od Mirek Prýmek »

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #38 kdy: 08. 03. 2016, 10:04:11 »
Tiež sa pripájam k tomu, že 60MB/s je málo. Urobil som si test na WD-RED mirrored, výsledok je tu
Kód: [Vybrat]
[root@doma /usr/home/vlado/virtual]# dd if=GentooDistcc-disk1.vmdk of=/dev/null bs=1M
15468+1 records in
15468+1 records out
16219504640 bytes transferred in 55.183598 secs (293918940 bytes/sec)
[root@doma /usr/home/vlado/virtual]# dd if=GentooDistcc-disk1.vmdk of=/dev/null bs=1M
15468+1 records in
15468+1 records out
16219504640 bytes transferred in 38.742893 secs (418644644 bytes/sec)#

Urobil som 2 pokusy, partícia má recordsize = 1M, secondarycache = metadata, keďže sú na nej iba disky virtuálnych strojov. Procesor je obyčajný core i3-3220T, je tam 16GB RAM a pod kapotou FreeBSD-10.2.

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #39 kdy: 08. 03. 2016, 10:10:30 »
(293918940 bytes/sec)
Ty potvoro, jaktože ti to dává tolik!? ;)

Nemohl's mít ten soubor částečně nacachovanej? Ta rychlost a malej rozdíl mezi prvním a druhým pokusem tomu nasvědčuje.

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #40 kdy: 08. 03. 2016, 10:13:29 »
Ajo, secondarycache... Na čem ji máš?

EDIT: beru zpět, cachování metadat přece nemůže dát tolik. Záhada! :)
« Poslední změna: 08. 03. 2016, 10:15:53 od Mirek Prýmek »

Re: ma ty prostoto!
« Odpověď #41 kdy: 08. 03. 2016, 12:38:56 »
Takze pro zacatek doporucuju zacit jakousi bibli pro dummies :o)

https://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/

Děkuji za tipy a odkazy. Snad se budou hodit nejen mě.

Stihl jsem si zatím projít prezentaci "FreeNAS Guide" z odkazu výše, ale příliš nových informací jsem se z ní nedozvěděl. Např. nějaké doporučení kolik disků dávat do RAIDZ2 vdev. Zda nepřijdu o data když se v poolu za chodu dočasně odmlčí několik disků najednou (např. výpadek jednoho zdroje napájecího několik disků, ...). Zda použít na ZFS vždy celý fyzický disk a nebo vytvořit MBR/GPT a na tom ZFS partitionu.

Mám si tedy se ZFS hrát na Oracle Solaris nebo FreeBSD (nebo FreeNAS)? Kdybych chtěl mít počítač schopný sloužit jako datové úložiště i jako desktop. Našel jsem, že pro Solaris neexistuje Plex a Chromium a naopak pro FreeBSD existuje VirtualBox jen přes port, také jsem v něm nenašel grub a češtinu kvůli uživatelům, ale mohu se mýlit.

Je lepší šifrovat přes GELI nebo použít šifrování v ZFS (jelikož Solaris 11 umí ZPOOL verze 37)?

Bylo by něco špatného na myšlence nainstalovat Oracle Solaris 11, vytvořit ZPOOL verze 37, zapnout v ZFS šifrování a rozšiřovat pool v budoucnu přidávám paranoidně raději 4 diskových RAIDZ2 vdevů (2+2 redundance)?

Lol Phirae

Re: ma ty prostoto!
« Odpověď #42 kdy: 08. 03. 2016, 12:43:48 »
Mám si tedy se ZFS hrát na Oracle Solaris nebo FreeBSD (nebo FreeNAS)?

No, hlavně bych doporučil přestat si hrát s tou deduplikací. Z hlediska HW nároků je to zcela nepoužitelné.

trubicoid2

Re:ZFS pozastavuje zápis po zaplnění bufferu
« Odpověď #43 kdy: 08. 03. 2016, 13:12:33 »
v RAIDZ2 se můžou bez vlivu na data odmlčet disky dva (aka RAID6) v RAIDZ1 jeden (aka RAID5)

partice jsou potřeba třeba kvůli jiným OS (widle), aby disk nechtěly pořád formátovat a kvůli bios/efi aby z toho mohli bootovat, jestli nepotřebuješ, tak to tam dávat nemusíš, výhoda je, že odpadá kontrola zarovnání partic

podle mě to ZFS nejde takhle rozšiřovat: jeden disk > mirror > raidz2 (to zase jde v btrfs), v zfs budeš muset data zazálohovat a pole znovu vytvořit


Re: ma ty prostoto!
« Odpověď #44 kdy: 08. 03. 2016, 13:33:57 »
Mám si tedy se ZFS hrát na Oracle Solaris nebo FreeBSD (nebo FreeNAS)?
Solaris je komerční placený produkt. Existují free klony, ale jsou málo používané, takže třeba tady nečekej, že ti s tím někdo poradí. FreeNAS je FreeBSD+UI specializovaný na NAS. Možná mají nějakých pár svých extra patchů, které se pak později dostanou do upstream FreeBSD, nevím, jak moc rychle a jestli vůbec. Je to od firmy https://www.ixsystems.com která se na ukládání dat specializuje, má i spešl odladěný HW a komerční podporu. Komerční varianta FreeNAS se jmenuje TrueNAS. S oficiálním hw to není úplně levná záležitost, ale mělo by to být velmi kvalitní.

Kdybych chtěl mít počítač schopný sloužit jako datové úložiště i jako desktop.
Každý desktop je "datové úložiště". Záleží, co od toho chceš a jaký na to máš rozpočet.

naopak pro FreeBSD existuje VirtualBox jen přes port
Není to "jen" přes port. Porty jsou standardní způsob, jak se ve FreeBSD instaluje software třetích stran.

, také jsem v něm nenašel grub
FreeBSD má krásný, čistý a jednoduchý způsob bootování, který je o deset levelů lepší než Grub, nedejmatkopřírodo Grub2. Pokud ho i přesto chceš, k dispozici je: http://www.freshports.org/sysutils/grub2/ Ale Důrazně bych to nedoporučoval.

a češtinu kvůli uživatelům, ale mohu se mýlit.
"čeština" je široký pojem a moc nechápu, jakou češtinu potřebují uživatelé úložiště :)

Je lepší šifrovat přes GELI nebo použít šifrování v ZFS (jelikož Solaris 11 umí ZPOOL verze 37)?
Geli je technologie FreeBSD. Šifrování v ZFS je technologie Solarisu. Ani na jednom systému není oboje.

Bylo by něco špatného na myšlence nainstalovat Oracle Solaris 11, vytvořit ZPOOL verze 37, zapnout v ZFS šifrování a rozšiřovat pool v budoucnu přidávám paranoidně raději 4 diskových RAIDZ2 vdevů (2+2 redundance)?
Nic špatného na tom není, pokud to tak chceš dělat a splňuje to tvoje představy.