Fórum Root.cz

Hlavní témata => Software => Téma založeno: milouš 06. 12. 2017, 14:43:05

Název: Jak řešíte integritu záloh?
Přispěvatel: milouš 06. 12. 2017, 14:43:05
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Tomas2 06. 12. 2017, 19:28:59
záleží zálohy čeho a na čem.

Pokud ti stačí integrita už vytvořených záloh, udělat si hash a ten dát třeba přímo do názvu souboru je ten nejjednodušší způsob. Pokročilejší způsob je použít nějaký distribuovaný storage, který má i možnost autooprav, Riak, Hadoop, S3 atd.

Pokud potřebuješ řešit integritu už při vytváření zálohy, to je jiná káva, tam je potřeba aby buď už samotný zálohovaný soubor (obraz, blok) měl kontrolu integrity, pak ho jen odkopíruješ pryč (zfs snapshot či nějaký layer fs např. u dockeru).

Na konci možností je pak nutnost upravit aplikaci, aby nějaké integritní kontroly dělala a pak její výstup můžeš zálohovat.

Kontrola samotné integrity u záloh ale je jen začátek, musíš také řešit konzistenci (tj. že se ti během zálohování data nezmění) a úplnost (tj. že nevynecháš ze záloh nějaká data). K tomu ještě nastává problém, kdy záloha databáze a třeba záloha nahraných souborů spolu časově neodpovídají a jsou z jiného období (stačí i pár minut a už to bez ztráty neobnovíš).
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Miroslav Šilhavý 06. 12. 2017, 21:29:17
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?

Jedinou rozumnou možností je spustit tar --verify.

Co vlastně rozumíte "integritou" záloh? Pod tím termínem si dokážu přestavit strašně moc výkladů. Např. aby soubory v taru odpovídaly souborům v disku, nebo aby byla zachována koherence (otisk souborů ze stejné chvíle), nebo aby se soubory otevřené pro zápis přeskakovaly (raději, než aby byly zazálohovány chybně), nebo tím můžete myslet jen ověření chyb komprese, ...

Pokud to budete srovnávat s Backup Execem, tak ten v podstatě dělá toto vše, a parametrizujete ho tím, jaký snapshot provider má používat, jestli má používat GRT, jestli se má řídit archive bitem nebo datem poslední změny, nebo ..., ..., pak je jsou tu agenty pro aplikační zálohování (MSSQL, Exchange, SharePoint, ..., ...), ...

(Tedy i u Veritasu je možností mnoho...)

Tar ale není určený k těmto operacím. Ty si musíte ošetřit sám, případně navrhnout schéma zálohování tak, aby bylo spolehlivé.

Zkuste to prosím popsat víc. Je možné, že přesněji položenou otázkou si sám z části odpovíte.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: # 06. 12. 2017, 22:01:08
nastroj jako microsoft je co? hodis si kockou a neco vyjde?
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Miroslav Šilhavý 07. 12. 2017, 09:16:57
nastroj jako microsoft je co? hodis si kockou a neco vyjde?

Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: MMN 07. 12. 2017, 09:27:47
Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?
https://doi.org/10.1038%2F051080a0 (https://doi.org/10.1038%2F051080a0)
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: j 07. 12. 2017, 09:28:37
Když nepoužívám proprietární nástroje jako VERITAS nebo MICROSOFT a jenom TAR + GZ?

Normalne bys mel tu zalohu po odzalohovani nekam obnovit a porovnat to se zdrojem. Zadnej hash ti nepomuze v okamziku, kdy uz sama zaloha je vadna (a klidne muzes mit bez problemu citelnej a rozbalitelnej archiv, ale v nem z nejakyho duvodu poskozeny data). Ten ti pomuze az potom, co udelas prave tohle - pak uz vis, ze zaloha je OK, a tudiz staci hlidat hash.

Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Cek 07. 12. 2017, 10:05:57
nastroj jako microsoft je co? hodis si kockou a neco vyjde?

Správná kočka spadne vždy namazanou stranou na zem. Tak to je, ne?

Nene, to se pouziva jako jedine fungujici perpetuum mobile.....kocce se na zada privaze namazanej krajic chleba maslem nahoru a pak se shodi dolu :-)
Tesne nad zemi se zastavi a zacne rotovat.....
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Miroslav Šilhavý 07. 12. 2017, 10:23:39
Normalne bys mel tu zalohu po odzalohovani nekam obnovit a porovnat to se zdrojem. Zadnej hash ti nepomuze v okamziku, kdy uz sama zaloha je vadna (a klidne muzes mit bez problemu citelnej a rozbalitelnej archiv, ale v nem z nejakyho duvodu poskozeny data). Ten ti pomuze az potom, co udelas prave tohle - pak uz vis, ze zaloha je OK, a tudiz staci hlidat hash.

...což má dvě velké nevýhody: 1) náročnost na prostor a čas, 2) nikdy nesednou soubory, u kterých se změny očekávají - např. logy, databáze, ..., to vše se změní mezi zálohou a verifikací.... Takže pak taková verifikace musí být plná výjimek. => => jsme zpět u toho, že je potřeba si vydefinovat situaci a najít vhodné řešení.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: j 07. 12. 2017, 12:31:49
...
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: JardaP . 07. 12. 2017, 12:50:47
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.

Taky zalezi na tom, co zalohujes a na jakem OS. Kdyz mas nejake kancelarske dokumenty a nedrzi je nejaka debilni MS aplikace exkluzivne otevrene, ze je zalohovacim programem neprectes, tak si zalohu pustis, kdy se ti chce a ze se neco meni ti muze byt jedno. No, kdyz ti tam bezi nejaka databaze, tak to uz je horsi.

A co se zalohuje nam tazatel jeste nerekl.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: andy 07. 12. 2017, 15:06:54
...
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.
DB systémy tohle typicky mají ošetřené, ty zálohy jsou potom docela použitelné....
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Miroslav Šilhavý 07. 12. 2017, 15:14:51
Tj, jestli to spis nebude tim, ze sihavej nevi, ze zalohy se delaj ze snapu, uz jen proto, ze menici se soubory se zalohovat nedaj. Respektive daj, a presne podle toho pak ta zaloha vypada - naprosto knicemu.

Snap by nebylo potřeba procesovat do taru.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: j 07. 12. 2017, 15:25:53
Taky zalezi na tom, co zalohujes a na jakem OS. Kdyz mas nejake kancelarske dokumenty a nedrzi je nejaka debilni MS aplikace exkluzivne otevrene,...
O to ale nejde, je uplne jedno jestli ten soubor prectes, problem je v tom, ze ty nevis a vedet nemuzes, jestli ten soubor je nebo neni konzistentni. Takze i pokud budes cist soubory otevreny pro zapis na systemu kterej ti to dovoli, je ti takova zaloha k prdu, protoze mozna prave probiha zapis a ty zazalohujes pulku souboru jeste neulozenou, a druhou uz prepsanou, takze ve finale ziskas soubor, kterej treba vubec nejde otevrit, protoze ma vadnou strukturu.

Kdyz udelas snap, tak za predpokladu, ze se system (a pripadne aplikace) chova jak ma, tak dojde minimalne na nejakej flush a pozastaveni zapisu po dobu vytvareni snapu.

Klidne konkretni priklad, vem si, ze sosas z netu trebas 10GB videa. Vetsina sosacich softu se chova tak, ze ti vytvori 10GB soubor a do nej postupne zapisuje nasosany data. Uplne vpohode muzes to video zacit prehravat kdykoli behem sosani, maximalne narazis na konec, kde ti prehravac vytuhne/vynada/ukonci prehravani ... podle natury/schopnosti tvurce. Ten soubor muzes klidne nekam prekopirovat, ale porad v nem budes mit jen cast toho filmu. Takze z hlediska FS mas v zaloze celkem korektni soubor ... ale z hlediska dat je ti takova zaloha nanic.

DB systémy tohle typicky mají ošetřené, ty zálohy jsou potom docela použitelné....
Databaze se typicky zalohuje uplne stejne jak pisu vejs - pri zalohovani ji nejak musis rict, ze ji hodlas zalohovat, aby dokoncila transakci a pozastavila zapis, jinak mas nekonzistentni data. Abys moh databazi zalohovat "za chodu", tak se zalohujou zvlast data a pripadne zvlast logy.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: Miroslav Šilhavý 07. 12. 2017, 15:28:52
Kdyz udelas snap, tak za predpokladu, ze se system (a pripadne aplikace) chova jak ma, tak dojde minimalne na nejakej flush a pozastaveni zapisu po dobu vytvareni snapu.

Této funkci se říká quiesce a je aplikačně-specifická.
Myslím, že v tomto threadu mlátíme prázdnou slámu, vůbec nevíme, co vlastně tazatel řeší.
Název: Re:Jak řešíte integritu záloh?
Přispěvatel: JardaP . 07. 12. 2017, 18:00:09
O to ale nejde, je uplne jedno jestli ten soubor prectes, problem je v tom, ze ty nevis a vedet nemuzes, jestli ten soubor je nebo neni konzistentni. Takze i pokud budes cist soubory otevreny pro zapis na systemu kterej ti to dovoli, je ti takova zaloha k prdu, protoze mozna prave probiha zapis a ty zazalohujes pulku souboru jeste neulozenou, a druhou uz prepsanou, takze ve finale ziskas soubor, kterej treba vubec nejde otevrit, protoze ma vadnou strukturu.

Coz je mi u office souboru putna, protoze zadny z nich neni tak dulezity, aby mi jeden nekonzistentni jednou za 100 let zkazil moralku. Krome toho je budu nejspis zalohovat v noci, kdy jeste mene pravdepodobne dojde k tomu, ze ho zrovna nekdo bude zapisovat prave v okamziku, kdy ho zaloha cte. To same treba graficke ci zvukove studio. Zalohuju a na nekonzistenci seru, v noci jsou vsechny soubory konzistentni, pokud tam nejaky mamlas nema skluz a nedela ve tri v noci.

A protoze nevime, jestli tazatel zalohuje soubor receptu na pecivo po babicce v souborech z LO + fotografie ze sjezdu vcelaru nebo spise zive a jedouci databaze, tak nema cenu to rozpatlavat.