Jak správně zálohovat data okolo 20 GiB

datadoclanku

Jak správně zálohovat data okolo 20 GiB
« kdy: 12. 10. 2017, 22:14:15 »
Ahoj

Mate napady, jak bych mel spravne zazalohovat soubor priblizne 20 GiB velky. Velmi dulezite je, jednak aby nedoslo ke ztrate souboru, ale take se v souboru nesmi objevit vubec zadna chyba. I jeden bajt chybne muze byt zcela fatalni. Uniku dat se neni treba obavat, vyreseno sifrovanim. Jde rozhodne o to, aby se nevyskytla v datech vubec zadna chyba. Ztrata dat by byla naprosto znicujici.

Napada me:
-Soubor bude alespon na 4 mistech.
-Data samozrejme musi byt na ruznych pocitacich, geograficky oddelena. Vzdalenost mezi zaloznimi misty min. 10 km, navic bude to alespon ve dvou zemich.
-Soubor zabalim napr. 7z a pak muzu kdykoliv pravidelne archiv kontrolovat, zdali jsou data v poradku. Cas od casu take zkusim archiv rozbalit. Bude to na Unixovem serveru.
-USB disk neni dobry na delsi zalohy, nutne data znova prehravat rekneme jednou za 3 mesice.
-I pevne disky v radu let-desitek let odchazeli, nutne rovnez cas od casu zalohy prepsat.

Asi by bylo mozne pouzit i napr. Google drive nebo MegaUpload, nebo neco podobneho. Otazkou ale je, jak je to spolehlive, jestli jdou napr. stara data vytahnout po letech. Min. ulozto data po case maze. Navic nevim, jestli jde provest kontrolu achivu nebo jinak kontrolni soucty, min. u mega.co.nz to nejspis nepujde. Navic po case muze byt ucet smazan z duvodu neaktivity nebo jinych duvodu. A i kdyz je soubor zasifrovany, tak se mi to uplne cpat do cloudu nechce.

Nic dalsiho me nenapada.
« Poslední změna: 13. 10. 2017, 08:16:41 od Petr Krčmář »


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #1 kdy: 12. 10. 2017, 22:50:10 »
http://www.syylex.com/the_glassmasterdisc.html

Netusim kde se to koupi. Jinak si muzete poridit hafo flash disku ruznych vyrobcu a na to to nahrat. Jeden budete nosit zasity pod kuzi, dalsi zakopete u zdi hrbitova, dalsi si schovate u babicky...... Par let tam ten zaznam vydrzi, pak to musite obnovit a obcas poridit nove flashky, aby ty stare nezacly treba umirat ma oxidaci nebo neco.

K tomu si vytisknete checksumy porizene alespon dvema ruznymi algoritmy. To si nechte nekam vytetovat, dalsi kopii ulozte v bance a dalsi vytesejte nekde do skaly.

Jinak byste mohl pouzit parchive a pridat si k tomu nejaka recovery data https://wiki.archlinux.org/index.php/Parchive, kdyby zadna z vasich kopii nebyla v poradku.

Samozrejme, nic nenahradi koupi rozsahlejsiho zuloveho pohori, kam to nechate hexadecimalne vytesat a obnovu pak provedete pomoci OCR z fotografii.

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #2 kdy: 12. 10. 2017, 22:53:43 »
Nic dalsiho me nenapada.

Jak často zálohujete? Uchovává se jen poslední verze souboru, nebo potřebujete archivovat různé verze v čase?
Asi bych nejprve řešil hardware, aby vše, čím data procházejí, mělo podporu / zapnutý ECC. Nevím do jaké kapacity, ale i flash storage se vyrábějí s interním ECC.
Nespoléhal bych na jediný komprimační program, v něm může být chyba, včetně test funkce.
Doplnil bych před a po kompresi kontrolní součty, minimálně SHA-2, snad i SHA-3 apod. - prostě co bude při ruce.
Pokud by se jednalo o práci přímo pomalém disku (NFS apod.), zvážil bych ještě rozdělení do menších kousků (a poté aplikace všeho výše uvedeného).

Nemohl byste pro zajímavost vysvětlit, o co se jedná? Zní to tak tajuplně.

lobo

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #3 kdy: 12. 10. 2017, 23:10:54 »
Amazon Glacier

datadoclanku

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #4 kdy: 12. 10. 2017, 23:55:45 »
Nic dalsiho me nenapada.

Jak často zálohujete? Uchovává se jen poslední verze souboru, nebo potřebujete archivovat různé verze v čase?
Asi bych nejprve řešil hardware, aby vše, čím data procházejí, mělo podporu / zapnutý ECC. Nevím do jaké kapacity, ale i flash storage se vyrábějí s interním ECC.
Nespoléhal bych na jediný komprimační program, v něm může být chyba, včetně test funkce.
Doplnil bych před a po kompresi kontrolní součty, minimálně SHA-2, snad i SHA-3 apod. - prostě co bude při ruce.
Pokud by se jednalo o práci přímo pomalém disku (NFS apod.), zvážil bych ještě rozdělení do menších kousků (a poté aplikace všeho výše uvedeného).

Nemohl byste pro zajímavost vysvětlit, o co se jedná? Zní to tak tajuplně.

Diky za napady. To ze jeden komprimacni program muze mit chybu, vc. testu, to je take fakt. Aby zkontrolovany 7z nesel rozbalit, kdyz kontrola dopadne dobre, to se mi nestalo, ale muze to nastat. Nebo jakoze se to rozbali i zkontroluje OK, ale rozbaleny soubor uz je o neco jiny, i kdyz jmeno, velikost , cas a dalsi metadata sedi.

Zalohovat staci posledni verzi, zalohuji cca jednou za 2-6 mesicu dukladne na vsechna mista a jednou za 2-3 tydny na 2-3 mista. Ale uchovat si jednou za 1-2 roky verzi k danemu datu, to neni od veci, neni to ale potreba. Naprostou nutnosti je (aspon relativne) posledni verze. Kdyz by se napr. obnovit dala jen predposledni verze, tak se ztrati jen prace po obnovene zaloze.

Samotny soubor, ktery potrebuji zalohovat, je TC kontejner neco malo prez 20 GiB velky. A prave ta m kdyby v urcitych mistech byla chyba, mozna ho nikdy neoevru, tezko pujde opravit. A nektere jednotlive soubory primo v nem musi take byt naprosto bezchybne. Jestli TC ma nejakou kontrolu integrity disku, to si nejsem jisty. Kompresi se velikost souboru v tomto pripade nezmensi, jde ale zkontrolovat integrita-checksum (7z t file.7z).

Pouziti jineho komprimacniho programu, co kontrolu checksumu ma je urcite doby napad. Jaky by se mohl hodit ?

Co je uvnitr, tolik nechci rozvadet. Jedna se ale o urcity projekt, vyzkum vedecky a je tam i neco z informatiky. A vsechno kolem toho. Muze to mit slusne vysledky. Kazdopadne jsou v tom desetitisice, mozna az nad 100 000 hodin prace a i financne to stalo docela dost. Zasifrovane je to proto, aby nejaky potentat data neukradl a neobohatil se z cizi prace.

Jaky hardware na to potreba - servery na ruznych mistech jsou k dispozici a flashdisky, externi disky taky.


Libor

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #5 kdy: 13. 10. 2017, 00:20:05 »
1. taky by mne zajimalo, o jaka data jde
2. z popisu chapu, ze se soubor nemeni, cili je to nejaka jednorazova akce?
3. jeden bajt znicujici - jde o to, jestli je treba spravne detekovat poruchu, nebo porucha  nesmi nastat (coz nikdo nezaruci)
4. kde bude ulozen klic? jeho ztrata bude urcite fatalni

na svou archivaci pouzivam zmineny par2 - extra data a opravu jednoduchych chyb. Jsem paranoidni, takze zalohuji i na pasku.

ja bych na tvem miste:
1. mel ulozeno doma na disku
2. ulozil na pasku a dal treba k babicce na chalupu - je to sifrovane, kradez nezpusobi problem
3. ulozil na dalsi pasku a dal do bezpecnostni schranky, ochrana pred katastrofou - zaplavena/spalena chalupa

vzhledem k 20GB na pasku to muzes nahrat >40x za sebou, to aby byla redundance dat. Jestli je to  jednorazova akce, mechaniku ani nemusis kupovat, nekde si to muzes nechat nahrat. Stale beru, ze jde o jednorazovou akci

Libor

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #6 kdy: 13. 10. 2017, 00:30:32 »
A je nutne porad zalohovat cely kontejner? Jestli neni plny, tak to znamena zalohovat hafo smeti a navic to nejde komprimovat. Komprimovat nejde ani obsazena cast, protoze zvenku to take vypada jak smeti. Nebylo by lepsi kontejner rozsifrovat, obsah nahnat do kompresniho programu a vystup prohnat sifrovacim SW (treba GPG), pricemz klice je mozno skladovat na nekolika bezpecnych mistech a treba i vypalit na CD, ktera jsou spolehlivejsi nez nepouzitelna DVD, i kdyz kvalita CD je dnes take dost upadkova.

Libor

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #7 kdy: 13. 10. 2017, 00:35:28 »
odeslal jsem pozde, takze neco uz je odpovezeno.

pokud se data aktualizuji 1-2 do mesice, tak staci na hdd (flash bych nepouzil). opet na hdd nekolikrat, zazipovat (kontrolni soucet) + md5sum na dalsi soucet. par2 na opravu chyb.

odnest do bezp. schranky a domu.
L.

Jirka1

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #8 kdy: 13. 10. 2017, 00:59:41 »
Já bych jednou za čas udělal kopii na BD-R M-disc, to by mělo něco vydržet.

Milfaus

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #9 kdy: 13. 10. 2017, 01:08:44 »
Já bych jednou za čas udělal kopii na BD-R M-disc, to by mělo něco vydržet.

S BD-R mám dost špatnou zkušenost  :-[
Chtěl jsem to na zálohování, ale ta technologie zdaleka nedozrála tolik, kolik by potřebovala, BOHUŽEL!!!
Měla se dopejkat ještě nejméně dva roky intenzivního vývoje.
Lisované BD-R jsou v pohodě, ale kvalita vypalovaček (HODNĚ DRAHÝCH) prostě není taková, aby to dávalo přesvědčivé výsledky. Vážně bych chtěl médium, na které můžu nahrát 50GB (na BD-R jde) a ono se to tam nahraje, zůstane to tam a taky to přečtu. Jenže...ne, fakt to není ono :-(

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #10 kdy: 13. 10. 2017, 01:32:32 »
pokud se data aktualizuji 1-2 do mesice, tak staci na hdd (flash bych nepouzil).

Proc? Kdyz to zalohuje minimalne kazdych nekolik mesici a zaznam na flash vydrzi nekolik let, tak nevim, kde je problem. Furt lepsi treba 10x flash nez 2 HD, o jednom HD ani nemluve, protoze vyhori jeden tranzistor a je to v kelu.

Jirsákova tchýně

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #11 kdy: 13. 10. 2017, 02:26:27 »
kopii na BD-R M-disc, to by mělo něco vydržet.

To jo, asi tak do švestek, pak s tim můžeš strašit ptáky...

Radovan.

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #12 kdy: 13. 10. 2017, 06:52:17 »
  • Nastuduj si samoopravné kódy. A nelekni se že z dvaceti giga bude třicet. Ani to dneska není žádná velikost, takhle kdybys zálohoval dvacet tera, tam už by se to chtělo víc zamyslet...
  • Záloha znamená minimálně tři kopie, na minimálně třech různých médiích, v minimálně třech od sebe dostatečně vzdálených místech! Čím víc tím lépe. Takže když budeš mít v šuplíku dobře zabalený harddisk, v bance balíček DTD, u babičky flashku, a za oceánem cloud, tak za nějaký rok, až jedna z těch věcí chcípne a druhá se poškodí, budeš mít pořád dvě správné verze, které prostým diff ověříš.
  • Každé médium má omezenou životnost, a jediný způsob zachování dat je jejich neustálé kopírování. Tak jako se kdysi opisovaly knihy. Takže je potřeba čas od času zkontrolovat jestli se něco nepokazilo a udělat další kopii, která ti přidá nějaký čas do katastrofy.

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #13 kdy: 13. 10. 2017, 07:04:29 »
Zalohovat staci posledni verzi, zalohuji cca jednou za 2-6 mesicu dukladne na vsechna mista a jednou za 2-3 tydny na 2-3 mista. Ale uchovat si jednou za 1-2 roky verzi k danemu datu, to neni od veci, neni to ale potreba. Naprostou nutnosti je (aspon relativne) posledni verze. Kdyz by se napr. obnovit dala jen predposledni verze, tak se ztrati jen prace po obnovene zaloze.

Samotny soubor, ktery potrebuji zalohovat, je TC kontejner neco malo prez 20 GiB velky. A prave ta m kdyby v urcitych mistech byla chyba, mozna ho nikdy neoevru, tezko pujde opravit. A nektere jednotlive soubory primo v nem musi take byt naprosto bezchybne. Jestli TC ma nejakou kontrolu integrity disku, to si nejsem jisty. Kompresi se velikost souboru v tomto pripade nezmensi, jde ale zkontrolovat integrita-checksum (7z t file.7z).

Otázka verzí, resp. archivace dat vedla k tomu, jestli by primárním zálohovacím médiem neměly být pásky. 20 GB je prd, a při četnosti, jakou zmiňujete, to nebude ani složité zavést.

Nešlo by zálohovat spíš/nebo i vnitřek kontejneru? S velkými soubory, byť 20 GB není nic nezvladatelného, se vždy pracuje hůř.

No a na konec bych přidal scénář pravidelného obnovení všech dat včetně otestování funkčnosti po obnovení.

Víc paranoindní podle mě není potřeba být.

nocturne.op.15

Re:Jak spravne zalohovat data okolo 20 GiB
« Odpověď #14 kdy: 13. 10. 2017, 07:19:52 »
V první řadě uveďte hodnotu a cenu dat v nějakém srozumitelnejším formátu než " ztráta je fatální". Pod tím si můžu představit naprosto cokoli od "seberou mi osobní ohodnocení" po "vyvraždí celou rodinu". Od toho se odvíjí adekvátní způsob zálohování.

Kopírovat to po všech čertech můžete za dlouhých večerů, ale to není systém.