Zálohování virtuálních strojů za chodu

Rhinox

Re:Zálohování virtuálních strojů za chodu
« Odpověď #45 kdy: 15. 09. 2017, 14:44:22 »
Zaloha beziciho stroje je snapshot filesystemu? No co se tady jeden clovek nedovi...


Re:Zálohování virtuálních strojů za chodu
« Odpověď #46 kdy: 15. 09. 2017, 19:09:45 »
Zaloha beziciho stroje je snapshot filesystemu? No co se tady jeden clovek nedovi...

Snapshot filesystemu zaridi jen konzistenci dat, aby jsi ten virtual nemusel vypinat. Samozrejme jen po dobu co pobezi kopirovani.

1. Snapshot nebo vypnuti virtualu
2. Rsync kompletniho virtualu
3. Smazani snapshotu, nebo spusteni virtualu


Jenda

Re:Zálohování virtuálních strojů za chodu
« Odpověď #47 kdy: 15. 09. 2017, 19:23:41 »
sleep vm, snapshotLVM, resume vm
K čemu je tam ten sleep a resume?

ZAJDAN

  • *****
  • 2 089
    • Zobrazit profil
    • E-mail
Re:Zálohování virtuálních strojů za chodu
« Odpověď #48 kdy: 15. 09. 2017, 19:38:05 »
sleep vm, snapshotLVM, resume vm
K čemu je tam ten sleep a resume?
kdesi jsem se docetl, ze PAUSE flushne cache, melo by se tim zaridit ze pokud se ten virtual rozbehne na jinem zeleze, bude to vypadat jako po rebootu, ale klidne se necham počit znalejším odborníkem
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

citanus006

Re:Zálohování virtuálních strojů za chodu
« Odpověď #49 kdy: 15. 09. 2017, 19:42:51 »
Musim vyjmecne souhlasit s J, ze pri vytvareni snapshotu k prodleve, minimalne na VMWare, nedochazi. Horsi je to pri zapracovavani snapshotu zpatky, tam k prodleve dojit muze (a dochazi), minimalne IO operace tim v tu chvili trpej....

pokud chcete mit obnovitelnou zalohu, tak u snapshotu zapnete Quiesce, ktery znamena ze vmware pres vmtools zaridi flush dat nadisk. Sice to nepauzne virtualku, ale rozhodne to pozastavuje bezici procesy.

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1015180

Laskave tady neplacejte blbosti.


ZAJDAN

  • *****
  • 2 089
    • Zobrazit profil
    • E-mail
Re:Zálohování virtuálních strojů za chodu
« Odpověď #50 kdy: 15. 09. 2017, 19:59:05 »
pokud chcete mit obnovitelnou zalohu, tak u snapshotu zapnete Quiesce, ktery znamena ze vmware pres vmtools zaridi flush dat nadisk. Sice to nepauzne virtualku, ale rozhodne to pozastavuje bezici procesy.

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1015180

Laskave tady neplacejte blbosti.
pokud to dobre chapu, tak Oracle na to ma:
Save the machine state: The virtual machine will be "frozen" and VirtualBox entirely saves its state to the user's local disk. The virtual machine will resume in the same position that you left in when you start it again. The user's computer will resume operation and the programs will still be available.

rozdil mezi PAUSE and SAVE STATE bude asi takto:
“You can also pause or save a virtual machine in a given state. When you pause or save a virtual machine, it stays in its current state for as long as you want.
Although pausing a virtual machine does not free up the memory that is allocated to that virtual machine, it frees up main processor resources. Saving a virtual machine frees up memory and main processor resources so that they can be used by other virtual machines or by the virtualization server.”
« Poslední změna: 15. 09. 2017, 20:05:48 od ZAJDAN »
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

Re:Zálohování virtuálních strojů za chodu
« Odpověď #51 kdy: 15. 09. 2017, 20:44:23 »
Připojuju se k tomu, že s Bareos mám dobré zkušenosti, Bacula už dneska myslím nemá cenu. Každopádně je potřeba počítat s tím, že je to docela "velké řešení", není to úplně triviální správně nastavit, člověku docela trvá, než pochopí principy. Zvlášť když s "velkým zálohováním" nemá zkušenosti. I tak to ale imho za to stojí, je to hodně dobrý nástroj.

Za slabinu považuji to, že po rekonfiguraci neexistuje vždy možnost reloadu, aniž by spadly běžící joby. Opět, dá se s tím žít, ale pokud to uděláte uprostřed full zálohy, ta bude muset proběhnout znovu, ale data v datasetu už jsou, a budou čekat na exspiraci (také nedořešený stav).
Pokud člověk nemá systém takový, že mu tam střílí jedna full záloha za druhou, tak asi pravděpodobnost tohodle jevu bude docela malá (typicky třeba záloha běží třeba ve 4 v noci, já v tuhle dobu málo kdy upravuju konfiguraci ;) ). A když už by se to mělo stát a měl by to být problém, dá se to ručně řešit - v závislosti na systému ukládání záloh různě. Já mám systém takový, že co job to volume, takže v téhle situaci by mi stačilo volume s tou nedokončenou zálohou ručně purge-ovat a když je nastavený "Action on purge = truncate", tak se i uvolní místo.

Se snapshoty to má více úskalí. Jak u VmWare tak u hyperV dochazí ke krátkému "pause" virtuálního stroje nebo disk IO operace se protahují na mnoho vteřin. Záleží co na těch virtuálech běží, normálně napsanému software by to nemělo vadit ale třeba průmyslové aplikaci využívající OPC komunikaci, nebo taková softwarová "perla" jako siemens simaticIT jsou na to  docela citlivé a často v důsledku backupu VM padaly.
Pletou se tady dvě věci dohromady: snapshot virtuálního stroje (celého - i se stavem CPU a RAM) a snapshot úložiště. To první tenhle efekt bue mít asi vždycky (na různých hypervisorech různě vážný), to druhé nemusí.

Snapshot filesystemu zaridi jen konzistenci dat, aby jsi ten virtual nemusel vypinat. Samozrejme jen po dobu co pobezi kopirovani.

1. Snapshot nebo vypnuti virtualu
2. Rsync kompletniho virtualu
3. Smazani snapshotu, nebo spusteni virtualu
Snapshot nezařizuje konzistenci dat, ale to, že celý disk je jakoby uložen v jednom okamžiku. Je to jako bych běžící stroj vyrval ze zásuvky a poté zazálohoval disk. Takže "konzistentní" je to jenom ve fakt omezeném smyslu.

Bacha na to, že aplikací, které se po takové události nemusí nutně umět zotavit, je spousta. Nejrůznější aplikace si vytváří na disku nejrůznější zámky a při nalezení stale zámku se chovají různě. Zrovna nedávno se mi stalo, že jsem vůbec netušil, proč najednou spamassassin žere 100% CPU a nakonec se ukázalo, že to bylo právě přesně tímhle - nekorektní zastavení stroje a stale lock. Pochopitelně v logu žádná srozumitelná hláška, trvalo několik dní, než jsem objevil pravou příčinu. Takže bacha na to!

Blbý je, že se víceméně nedá nijak zjistit, jestli aplikace, které člověk provozuje, opravdu umí tuhle událost ustát - výrobce může tvrdit cokoli a nemusí to být ve všech případech pravda. Zkoušet to můžu tisíckrát a teprve po tisíceprvní se to projeví. Je to blbý prostě no :)

Jenda

Re:Zálohování virtuálních strojů za chodu
« Odpověď #52 kdy: 15. 09. 2017, 22:46:48 »
kdesi jsem se docetl, ze PAUSE flushne cache, melo by se tim zaridit ze pokud se ten virtual rozbehne na jinem zeleze, bude to vypadat jako po rebootu, ale klidne se necham počit znalejším odborníkem

To doufám i přímo s LVM snapshotem - řízne to v nějakém okamžiku a je to pak jak píše Mirek jako kdybys to vytáhl ze zásuvky.

Bacha na to, že aplikací, které se po takové události nemusí nutně umět zotavit, je spousta. Nejrůznější aplikace si vytváří na disku nejrůznější zámky a při nalezení stale zámku se chovají různě.

Tak to je docela problém ne jenom při zálohování, k náhlému zastavení systému může dojít i z jiných důvodů (hardwarová závada, softwarová chyba v kernelu či hypervizoru).

Proč to nemá lock někde kde se to při startu systému samo (tmpfs) či programově čistí?

Re:Zálohování virtuálních strojů za chodu
« Odpověď #53 kdy: 16. 09. 2017, 11:08:12 »
Spamassasin je příšernost, jinak ano většina locků se po náběhu sama maže, takže to nebývá problém. Snapshot filesystému se rovná opravdu vytažení vidlice ze zásuvky, se vším co z toho vyplývá. Ovšem proběhne sync, takže přece jen o chlup lepší. Netřeba rolovat žurnál zpět atd.
Neukončené transakce apod ale samozřejmě zůstávají. Bylo by třeba notifikovat konkrétní aplikace.

Zase to ale člověk opravdu nepoužívá každý den, někdy to nepotřebuje třeba nikdy. Popř. si z toho vytáhne data jak potřebuje.
Líbí se mi selektivní záloha přes RESTové rozhraní :-) na data co se mění a zbytek prostě celý ten stroj tak jak leží běží... Respektive data zálohuju zvlášť (dle technologie) a pak celý stroj se vším všudy. Bez výpadku nebo radikálního zpomalení pochopitelně.

kdesi jsem se docetl, ze PAUSE flushne cache, melo by se tim zaridit ze pokud se ten virtual rozbehne na jinem zeleze, bude to vypadat jako po rebootu, ale klidne se necham počit znalejším odborníkem

To doufám i přímo s LVM snapshotem - řízne to v nějakém okamžiku a je to pak jak píše Mirek jako kdybys to vytáhl ze zásuvky.

Bacha na to, že aplikací, které se po takové události nemusí nutně umět zotavit, je spousta. Nejrůznější aplikace si vytváří na disku nejrůznější zámky a při nalezení stale zámku se chovají různě.

Tak to je docela problém ne jenom při zálohování, k náhlému zastavení systému může dojít i z jiných důvodů (hardwarová závada, softwarová chyba v kernelu či hypervizoru).

Proč to nemá lock někde kde se to při startu systému samo (tmpfs) či programově čistí?
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Karel Zeman

Re:Zálohování virtuálních strojů za chodu
« Odpověď #54 kdy: 13. 10. 2017, 07:48:16 »
Rozsirim tema zalohy virtulaek. Pod KVM virtualizaci planujeme pouzit https://www.bareos.org/ na zalohy
1.)virtualek
2.)obsahu virtualek zejmena:
2.1.)Postgre SQL
2.2.)My/MariaDB
2.3.)Staticka data

....

Děkujeme za rozepsanou odpověď. Zkusili jsme se inspirovat. Aktuálně zkoumáme barmana. Myslíte si, že barman je správná cesta pro zálohu pgsql?   ::)