Linuxový souborový systém pro zálohy s kompresí a deduplikací

karel

Prosim o doporuceni na Filesystem pro zalohy s deduplikaci a pripadne i kompresi pro stroj HP ML 110 G6, 16GB RAM, Radic Areca ARC-1261 , HDD  4X4TB WD Enterprise zalohy + 2x500GB Debian + Proxmox. Ocekavani:
1.) primarne na stroj budeme ukladat po siti zalohy z proxmox - zde prosim o navrh a zkusenosti s FS
pokdu se divam do: https://en.wikipedia.org/wiki/Comparison_of_file_systems
varianty jsou :
ZFS - asi nejlepsi volba jen narocne na RAM tak asi nebude moci cekat noc jineho
XFS - deduplikace experimental
BTRFS - cely FS neni stable..
2.) pokud by zvladnul a vypadne DEV  server spusteni virtualky s Dockerem pro vyvojare -snad nebude treba ale to muze limitace pro vyber na zdroje narocneho FS
3.)ma esata radic pro pripojeni externiho disku jez budeme treba jednou za tyden menit a zalohy odnaset mimo lokalitu - zde prosim rovnez o vase doporuceni a zkusenosti ohledne FS + zpusou zaloh na prenosny disk
3.)pokud by zvladnul rad bych umistil jeden node ELK kam posilame logy (at mame ELK distribuovane) - na samostatne storage - tohle musime zkusit pri jednom storage obcas padne i na vykonem serveru

Dekuji predem za nazory a zkusenosti Karel
« Poslední změna: 08. 03. 2018, 11:42:38 od Petr Krčmář »


Rhinox

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #1 kdy: 08. 03. 2018, 14:51:09 »
Se serverem co ma jen 16GB RAM radeji rychle zapomen na ZFS (a na deduplikaci jakbysmet)! I kdyby tam nic nebezelo, pro ARC je to malo. Zejmena kdyz mas 4x4TB disky...

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #2 kdy: 08. 03. 2018, 15:15:29 »
Asi jediný použitelný je ZFS. ZFS má ale velké nároky na RAM při deduplikaci. Doporučení se pohybují od 5 GB RAM + 1 GB RAM na každý 1 TB disku až po 5 GB RAM na každý 1 TB disku. Je možné, že během zálohování by Vám mohlo stačit i méně, pokud nebude na překážu horší výkon zápisu (já to tak v jednom případě mám a v pohodě).

ZFS bych asi spouštěl na FreeBSD, než na Linuxu.

Ale co zvažte víc:
1. Dokážete udělat zálohu dedup friendly? Tedy aby byla stejná šance, že stejná data "přistanou" zarovnána na stejné počátky bloků? Pokud totiž stejná data vyjdou jinak na bloky, nic nezdeduplikujete. V tomto směru vím, že dedup friendly zálohuje Veeam Backup, ale ten se týká jen vSphere a Hyper-V.
2. V kombinaci s Veeam Backup má dobrou a paměťově málo náročnou deduplikaci Windows Server. Tam dosáhnete s kompresí skoro až neuvěřitelných výsledků, které na Linuxu/FreeBSD nevím jak dosáhnout.

Na komentář Rhinoxe bych nebral velký ohled. Na deduplikaci je 16 GB jakš takš, pokud nechcete velký výkon. ARC u zálohovacího serveru nepotřebujete vůbec a lze ji vypnout.


Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #4 kdy: 08. 03. 2018, 15:28:37 »
Se serverem co ma jen 16GB RAM radeji rychle zapomen na ZFS (a na deduplikaci jakbysmet)! I kdyby tam nic nebezelo, pro ARC je to malo. Zejmena kdyz mas 4x4TB disky...
Doma mi beží FreeBSD server s 16GB RAM, na ARC je vyhradených iba 4GB, pretože mi tam beží všeličo (pošta, weby, úložisko, virtuálky), mám zapnutú deduplikáciu na niektoré partície a relatívne pohoda.
Pole 2x3TB (mirror) je dokonca na SATAII, na SATAIII je 128GB SSD na l2arc. Zatiaľ nepotrebujem upgrade pre výkonnostné problémy diskov.


Kit

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #5 kdy: 08. 03. 2018, 15:40:24 »
ZFS bez deduplikace.

Deduplikaci bych řešil na úrovni zálohovací aplikace.

dustin

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #6 kdy: 08. 03. 2018, 17:09:49 »
Neuvažovali jste pro ZFS zvětšit paměť? Bohužel PC3-xxxE paměť stojí dvojnásobek co PC3-xxxR. Nebo server vyměnit za jiný s více než 4 sloty a podporou PC3-xxxR. 64GB(8x8GB) vyjde na 240https://www.ebay.com/itm/64GB-8x8GB-HP-500205-071-2Rx4-PC3-10600R-DDR3-1333-ECC-REG-RAM-Server/222762872651 dolarů a můžete deduplikovat, jak se zlíbí.

Kkt1

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #7 kdy: 08. 03. 2018, 18:15:12 »
Se serverem co ma jen 16GB RAM radeji rychle zapomen na ZFS (a na deduplikaci jakbysmet)! I kdyby tam nic nebezelo, pro ARC je to malo. Zejmena kdyz mas 4x4TB disky...
Doma mi beží FreeBSD server s 16GB RAM, na ARC je vyhradených iba 4GB, pretože mi tam beží všeličo (pošta, weby, úložisko, virtuálky), mám zapnutú deduplikáciu na niektoré partície a relatívne pohoda.
Pole 2x3TB (mirror) je dokonca na SATAII, na SATAIII je 128GB SSD na l2arc. Zatiaľ nepotrebujem upgrade pre výkonnostné problémy diskov.
Jake mas dedup ratio? Jak veliky je pool? Kolik souboru tam mas? Deduplikace je na ram nenazrana, klidne se dostanes na 5-6gb/1tb deduplikovanych dat, tech faktoru je tam vicero. Mam x freebsd serveru, 256gb-1tb ram a se zapnutou deduplikaci u 20tb poolu se dostanu nekde k 80gb ram.

Kkt1

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #8 kdy: 08. 03. 2018, 18:22:10 »
Kolik dat zalohujete denne/tydne ted? Pouzivam nekolik freebsd storage stroju se zfs, kapacitne od 20-500+tb, ruzne konfigurace poolu. Deduplikace na zfs je genialni, ale ma nektere nevyhody, ktere musis u sveho nasazeni zvazit. Ram, performance, diskovy prostor atd. Pokud uvazujes dlouhodobe, zfs je vyborna volba.

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #9 kdy: 08. 03. 2018, 18:47:30 »
ZFS bez deduplikace.

Deduplikaci bych řešil na úrovni zálohovací aplikace.

Jaka je pak vyhoda ZFS? Neni lepsi sahnout po odladenem XFS?

Kazdopadne bych take zvazoval deduplikaci na urovni zalohovaci aplikace, pokud je moznost zvolit si tu. Zmineny Borg mam hodne rad a dost mu verim.

Kit

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #10 kdy: 08. 03. 2018, 22:00:57 »
Jaka je pak vyhoda ZFS? Neni lepsi sahnout po odladenem XFS?

Na XFS se mi ztrácela data. Už mu nevěřím.

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #11 kdy: 09. 03. 2018, 01:09:58 »
Zeptal bych se, proč deduplikaci potřebujete? Jaký je charakter těch dat.

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #12 kdy: 10. 03. 2018, 09:20:34 »
Borg je fajn z hlediska deduplikace, neměl by vyžadovat zarovnání. Méně fajn je z hlediska šifrování, co si vzpomínám, ukládá si counter do ~ a při troše nešikovnosti restornete starší counter, což vede k náchylnosti na xor attack.

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #13 kdy: 10. 03. 2018, 09:49:34 »
Borg je fajn z hlediska deduplikace, neměl by vyžadovat zarovnání. Méně fajn je z hlediska šifrování, co si vzpomínám, ukládá si counter do ~ a při troše nešikovnosti restornete starší counter, což vede k náchylnosti na xor attack.

Dobra poznamka, ze je potreba si tohle asi poresit na jine urovni.

Re:Linuxový souborový systém pro zálohy s kompresí a deduplikací
« Odpověď #14 kdy: 10. 03. 2018, 09:50:07 »
Jaka je pak vyhoda ZFS? Neni lepsi sahnout po odladenem XFS?

Na XFS se mi ztrácela data. Už mu nevěřím.

To bude asi spis tvuj problem statistiky o jednom Kidovi.