ESXi - komprese záloh

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
ESXi - komprese záloh
« kdy: 18. 09. 2019, 09:19:35 »
Ahoj,
měl jsem možnost vidět zálohování VMWARE snapshotů pomocí VEEAM a moc se mi líbilo, že veeam ukádal na zálohovací disk již komprimované soubory VBK. Dá se nějak dosáhnout metody takovéhoto komprivoní během transferu pomocí rsync nebo podobných nástrojů?
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.


Re:ESXi - komprese záloh
« Odpověď #1 kdy: 18. 09. 2019, 09:54:59 »
Mám výbornou zkušenost se zálohováním přes Veeam.
Úplně skvělá vlastnost je zapnout dedup-friendly kompresi a na Windows Serveru mít svazek se spuštěnou deduplikací.
Veeam pak komprimuje data tak, aby bloky odpovídaly i po zápisu a byly deduplikovatelné.

Díky tomu jste schopný mít neuvěřitelně dlouhý archiv záloh, aniž by to žralo moc místa.

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:ESXi - komprese záloh
« Odpověď #2 kdy: 18. 09. 2019, 10:20:14 »
Mám výbornou zkušenost se zálohováním přes Veeam.
.....
asi jste mne nepochopil....mím cílem je si ty zálohy ukládat přes vlastní script(pauznout virtualku, snapshot, rsync někam, smazat snapshot) a k tomuto standardu doplnit tu kompresi během transferu
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

Re:ESXi - komprese záloh
« Odpověď #3 kdy: 18. 09. 2019, 10:24:53 »
asi jste mne nepochopil....mím cílem je si ty zálohy ukládat přes vlastní script(pauznout virtualku, snapshot, rsync někam, smazat snapshot) a k tomuto standardu doplnit tu kompresi během transferu

Aha, znovuobjevovat kolo :).

Rsync komprimuje během přenosu, ale na konci zase dekomprimuje (aby zdroj a cíl byby totožné).
Jedinou možností je hned na zdrojovém serveru spustit komprimaci a tu přenášet (patrně ne rsyncem, ale něčím jiným).

Nenapsal jste, jakou platformu na virtualizaci používáte.
Kompresi na zdrojové straně bych moc nedoporučoval, budete tím žrát moc prostředků, se kterými pak hypervizor nemůže hospodařit pro virtuálky. Proto se zapíná jen lehká přenosová komprese, aby to nebylo moc agresivní.

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:ESXi - komprese záloh
« Odpověď #4 kdy: 18. 09. 2019, 10:28:40 »
v titulku je napsáno ESXi tedy VMWARE
ano ja chci kompresi na cíl/záloze
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.


Re:ESXi - komprese záloh
« Odpověď #5 kdy: 18. 09. 2019, 10:36:42 »
v titulku je napsáno ESXi tedy VMWARE
ano ja chci kompresi na cíl/záloze

Pak to není asi úkol na rsync, ale udělejte si to přes SSH:
cat soubor | ssh cílový.sever "gzip > destination.gz"

Budete asi řešit hodně situací, než se Vám to podaří a budete riskovat, že se něco nepřenese (není nic smutnějšího, než write-only záloha).

Být Vámi nevynalézal bych už objevené, využil bych toho, co je.

Re:ESXi - komprese záloh
« Odpověď #6 kdy: 18. 09. 2019, 10:40:43 »
Ahoj,
měl jsem možnost vidět zálohování VMWARE snapshotů pomocí VEEAM a moc se mi líbilo, že veeam ukádal na zálohovací disk již komprimované soubory VBK. Dá se nějak dosáhnout metody takovéhoto komprivoní během transferu pomocí rsync nebo podobných nástrojů?

Zkuste tohle, používám na několika instalacích a funguje v pohodě.
https://33hops.com/xsibackup-vmware-esxi-backup.html
Možnosti jsou tu https://33hops.com/xsibackup-indexed-resources.html


ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:ESXi - komprese záloh
« Odpověď #7 kdy: 18. 09. 2019, 11:43:27 »
...
Být Vámi nevynalézal bych už objevené, využil bych toho, co je.

souhlasím s Vámi, ale říká se 'no money no love' :_)
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

Re:ESXi - komprese záloh
« Odpověď #8 kdy: 18. 09. 2019, 11:50:26 »
souhlasím s Vámi, ale říká se 'no money no love' :_)

Což je pěkná hovadina. Pokud máte data, mají nějakou cenu. I čas ZAJDANA má cenu, a tipuji, že v tomto oboru nad průměrnou mzdou. Chyba = ztráta dat, ztráta zakázek nebo i větší průšvihy.

Je bláhové si myslet, že je levnější něco dělat od nuly. Cena produktů je nastavená právě tak, aby se vyplatila (jinak by to nikdo nekupoval).

Musíte započítat i budoucí náklady, např. že musíte svůj home made systém kontrolovat, jestli fakt funguje (v případě produktu typu Veeam nebo Acronis Vám v tom pomáhají masy dalších zákazníků a testerů). Musíte to kontrolovat po updatech. Být si jistý, že se to neskříží se snapshoty, které budete dělat ručně. Musíte mít zajištěno, že to proběhne i při přesunu do jiného úložiště (změní se uuid ve /vmfs/). Nesmíte vynechat žádný důležitý soubor a vědět, který můžete a který nesmíte (nesmíte vynechat všechny starší snapshoty, naopak musíte přeskočit ten aktuální). Musíte poslat do virtuálky Quiesce a vyhodnotit, jestli ho přijala.

Prostě spousta práce, která nikdy nemůže být levnější než hotové řešení.
Spíš si myslím, že spoustu problémů zatím jen nevidíte, abyte posoudil, že ruční výroba bude dražší.

Jose D

  • *****
  • 850
    • Zobrazit profil
Re:ESXi - komprese záloh
« Odpověď #9 kdy: 18. 09. 2019, 11:58:59 »
chci kompresi na cíl/záloze

duplicity je tool který hledáš. Ale komprese se bude počítat už na zdroji.

..
Pokud máte data, mají nějakou cenu.
..
I čas ZAJDANA má cenu
..
Je bláhové si myslet, že je levnější něco dělat od nuly.
..
ruční výroba bude dražší
..

+1.

Re:ESXi - komprese záloh
« Odpověď #10 kdy: 18. 09. 2019, 12:02:03 »
duplicity je tool který hledáš. Ale komprese se bude počítat už na zdroji.

Obávám se, že to na ESXi nedostane, nebo možná za cenu cinknutí nepodepsanou binárkou. To je trochu nedobrý nápad, pokud už si vybral VMware jako platformu. (S čímž hluboce souhlasím).

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:ESXi - komprese záloh
« Odpověď #11 kdy: 18. 09. 2019, 12:12:39 »
.....
Opět máte pravdu, ale já řeším jen tu nadstandardní komprimaci během transferu....zálohy jako takové mám, nic neohrožuji, jen jsou prostě velké.
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

Re:ESXi - komprese záloh
« Odpověď #12 kdy: 18. 09. 2019, 12:14:24 »
Opět máte pravdu, ale já řeším jen tu nadstandardní komprimaci během transferu....zálohy jako takové mám, nic neohrožuji, jen jsou prostě velké.

Během transferu = na zdrojové straně. Tj. "zaserete" CPU hypervizoru, to není moc dobrý nápad.
Ale pokud chcete, stačí to jen otočit, co jsem psal:

gzip soubor | ssh cílový.sever "cat > destination.gz"

Re:ESXi - komprese záloh
« Odpověď #13 kdy: 18. 09. 2019, 12:16:01 »
Na placeném xsibackupu používám OneDiff, dělá to backup rozdílově na úrovni bloků. Je to dost podobné jako Duplicity ale není třeba počítat rozdíly, jen je slíznout ( CBT ) a aplikovat na backup obraz. Beží to i na vmware free verzi a dělám si tím na cílovém serveru/datastoru vlastně stand by virtualku co čeká až na ní přijde čas, pak se jen zapne v DR lokalitě v případě potřeby.

Jinak stále můžete použít Veeam komunity verzi co je free do 10 virtualních strojů, jen je toho kolem třeba více.

Re:ESXi - komprese záloh
« Odpověď #14 kdy: 18. 09. 2019, 12:22:16 »
Opět máte pravdu, ale já řeším jen tu nadstandardní komprimaci během transferu....zálohy jako takové mám, nic neohrožuji, jen jsou prostě velké.

Ještě mě napadá jedno daleko nejjednodušší řešení.
Ukládejte to u sebe na ZFS. Tam můžete zapnout jak kompresi, tak deduplikaci. Tím pádem budete moct klidně použít rsync (pokud Vám na ten účel vyhovuje) a o zbytek se nestarat.