Jak řešíte integritu záloh?

milouš

Jak řešíte integritu záloh?
« kdy: 06. 12. 2017, 14:43:05 »
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?


Tomas2

  • ****
  • 310
    • Zobrazit profil
    • E-mail
Re:Jak řešíte integritu záloh?
« Odpověď #1 kdy: 06. 12. 2017, 19:28:59 »
záleží zálohy čeho a na čem.

Pokud ti stačí integrita už vytvořených záloh, udělat si hash a ten dát třeba přímo do názvu souboru je ten nejjednodušší způsob. Pokročilejší způsob je použít nějaký distribuovaný storage, který má i možnost autooprav, Riak, Hadoop, S3 atd.

Pokud potřebuješ řešit integritu už při vytváření zálohy, to je jiná káva, tam je potřeba aby buď už samotný zálohovaný soubor (obraz, blok) měl kontrolu integrity, pak ho jen odkopíruješ pryč (zfs snapshot či nějaký layer fs např. u dockeru).

Na konci možností je pak nutnost upravit aplikaci, aby nějaké integritní kontroly dělala a pak její výstup můžeš zálohovat.

Kontrola samotné integrity u záloh ale je jen začátek, musíš také řešit konzistenci (tj. že se ti během zálohování data nezmění) a úplnost (tj. že nevynecháš ze záloh nějaká data). K tomu ještě nastává problém, kdy záloha databáze a třeba záloha nahraných souborů spolu časově neodpovídají a jsou z jiného období (stačí i pár minut a už to bez ztráty neobnovíš).

Re:Jak řešíte integritu záloh?
« Odpověď #2 kdy: 06. 12. 2017, 21:29:17 »
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?

Jedinou rozumnou možností je spustit tar --verify.

Co vlastně rozumíte "integritou" záloh? Pod tím termínem si dokážu přestavit strašně moc výkladů. Např. aby soubory v taru odpovídaly souborům v disku, nebo aby byla zachována koherence (otisk souborů ze stejné chvíle), nebo aby se soubory otevřené pro zápis přeskakovaly (raději, než aby byly zazálohovány chybně), nebo tím můžete myslet jen ověření chyb komprese, ...

Pokud to budete srovnávat s Backup Execem, tak ten v podstatě dělá toto vše, a parametrizujete ho tím, jaký snapshot provider má používat, jestli má používat GRT, jestli se má řídit archive bitem nebo datem poslední změny, nebo ..., ..., pak je jsou tu agenty pro aplikační zálohování (MSSQL, Exchange, SharePoint, ..., ...), ...

(Tedy i u Veritasu je možností mnoho...)

Tar ale není určený k těmto operacím. Ty si musíte ošetřit sám, případně navrhnout schéma zálohování tak, aby bylo spolehlivé.

Zkuste to prosím popsat víc. Je možné, že přesněji položenou otázkou si sám z části odpovíte.

#

Re:Jak řešíte integritu záloh?
« Odpověď #3 kdy: 06. 12. 2017, 22:01:08 »
nastroj jako microsoft je co? hodis si kockou a neco vyjde?

Re:Jak řešíte integritu záloh?
« Odpověď #4 kdy: 07. 12. 2017, 09:16:57 »
nastroj jako microsoft je co? hodis si kockou a neco vyjde?

Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?


MMN

Re:Jak řešíte integritu záloh?
« Odpověď #5 kdy: 07. 12. 2017, 09:27:47 »
Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?
https://doi.org/10.1038%2F051080a0

j

Re:Jak řešíte integritu záloh?
« Odpověď #6 kdy: 07. 12. 2017, 09:28:37 »
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?

Normalne bys mel tu zalohu po odzalohovani nekam obnovit a porovnat to se zdrojem. Zadnej hash ti nepomuze v okamziku, kdy uz sama zaloha je vadna (a klidne muzes mit bez problemu citelnej a rozbalitelnej archiv, ale v nem z nejakyho duvodu poskozeny data). Ten ti pomuze az potom, co udelas prave tohle - pak uz vis, ze zaloha je OK, a tudiz staci hlidat hash.


Cek

Re:Jak řešíte integritu záloh?
« Odpověď #7 kdy: 07. 12. 2017, 10:05:57 »
nastroj jako microsoft je co? hodis si kockou a neco vyjde?

Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?

Nene, to se pouziva jako jedine fungujici perpetuum mobile.....kocce se na zada privaze namazanej krajic chleba maslem nahoru a pak se shodi dolu :-)
Tesne nad zemi se zastavi a zacne rotovat.....

Re:Jak řešíte integritu záloh?
« Odpověď #8 kdy: 07. 12. 2017, 10:23:39 »
Normalne bys mel tu zalohu po odzalohovani nekam obnovit a porovnat to se zdrojem. Zadnej hash ti nepomuze v okamziku, kdy uz sama zaloha je vadna (a klidne muzes mit bez problemu citelnej a rozbalitelnej archiv, ale v nem z nejakyho duvodu poskozeny data). Ten ti pomuze az potom, co udelas prave tohle - pak uz vis, ze zaloha je OK, a tudiz staci hlidat hash.

...což má dvě velké nevýhody: 1) náročnost na prostor a čas, 2) nikdy nesednou soubory, u kterých se změny očekávají - např. logy, databáze, ..., to vše se změní mezi zálohou a verifikací.... Takže pak taková verifikace musí být plná výjimek. => => jsme zpět u toho, že je potřeba si vydefinovat situaci a najít vhodné řešení.

j

Re:Jak řešíte integritu záloh?
« Odpověď #9 kdy: 07. 12. 2017, 12:31:49 »
...
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak řešíte integritu záloh?
« Odpověď #10 kdy: 07. 12. 2017, 12:50:47 »
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.

Taky zalezi na tom, co zalohujes a na jakem OS. Kdyz mas nejake kancelarske dokumenty a nedrzi je nejaka debilni MS aplikace exkluzivne otevrene, ze je zalohovacim programem neprectes, tak si zalohu pustis, kdy se ti chce a ze se neco meni ti muze byt jedno. No, kdyz ti tam bezi nejaka databaze, tak to uz je horsi.

A co se zalohuje nam tazatel jeste nerekl.

andy

Re:Jak řešíte integritu záloh?
« Odpověď #11 kdy: 07. 12. 2017, 15:06:54 »
...
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.
DB systémy tohle typicky mají ošetřené, ty zálohy jsou potom docela použitelné....

Re:Jak řešíte integritu záloh?
« Odpověď #12 kdy: 07. 12. 2017, 15:14:51 »
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.

Snap by nebylo potřeba procesovat do taru.

j

Re:Jak řešíte integritu záloh?
« Odpověď #13 kdy: 07. 12. 2017, 15:25:53 »
Taky zalezi na tom, co zalohujes a na jakem OS. Kdyz mas nejake kancelarske dokumenty a nedrzi je nejaka debilni MS aplikace exkluzivne otevrene,...
O to ale nejde, je uplne jedno jestli ten soubor prectes, problem je v tom, ze ty nevis a vedet nemuzes, jestli ten soubor je nebo neni konzistentni. Takze i pokud budes cist soubory otevreny pro zapis na systemu kterej ti to dovoli, je ti takova zaloha k prdu, protoze mozna prave probiha zapis a ty zazalohujes pulku souboru jeste neulozenou, a druhou uz prepsanou, takze ve finale ziskas soubor, kterej treba vubec nejde otevrit, protoze ma vadnou strukturu.

Kdyz udelas snap, tak za predpokladu, ze se system (a pripadne aplikace) chova jak ma, tak dojde minimalne na nejakej flush a pozastaveni zapisu po dobu vytvareni snapu.

Klidne konkretni priklad, vem si, ze sosas z netu trebas 10GB videa. Vetsina sosacich softu se chova tak, ze ti vytvori 10GB soubor a do nej postupne zapisuje nasosany data. Uplne vpohode muzes to video zacit prehravat kdykoli behem sosani, maximalne narazis na konec, kde ti prehravac vytuhne/vynada/ukonci prehravani ... podle natury/schopnosti tvurce. Ten soubor muzes klidne nekam prekopirovat, ale porad v nem budes mit jen cast toho filmu. Takze z hlediska FS mas v zaloze celkem korektni soubor ... ale z hlediska dat je ti takova zaloha nanic.

DB systémy tohle typicky mají ošetřené, ty zálohy jsou potom docela použitelné....
Databaze se typicky zalohuje uplne stejne jak pisu vejs - pri zalohovani ji nejak musis rict, ze ji hodlas zalohovat, aby dokoncila transakci a pozastavila zapis, jinak mas nekonzistentni data. Abys moh databazi zalohovat "za chodu", tak se zalohujou zvlast data a pripadne zvlast logy.

Re:Jak řešíte integritu záloh?
« Odpověď #14 kdy: 07. 12. 2017, 15:28:52 »
Kdyz udelas snap, tak za predpokladu, ze se system (a pripadne aplikace) chova jak ma, tak dojde minimalne na nejakej flush a pozastaveni zapisu po dobu vytvareni snapu.

Této funkci se říká quiesce a je aplikačně-specifická.
Myslím, že v tomto threadu mlátíme prázdnou slámu, vůbec nevíme, co vlastně tazatel řeší.