Jak správně zálohovat data okolo 20 GiB

[Milfaus]

JardaP a Jirsák tu valí bomby? 
Četl to někdo, napište recenzi :-D

[Reklama]

[JardaP .]

Tak to znamená ty flash disky pravidelně někam vozit. Není mnohem jednodušší a snáze automatizovatelné ty soubory poslat někam po drátě?

Je, kdyz mam k dispozici potrebny drat s dostatecne velkym ulozistem na konci. A ono posilat 20 GB pres upload ADSL, je take pekny opruz. Vetsina tehlech poskytovatelu ulozist totiz ani nema na svem konci rsync, nehlede na to, jak dlouho by to trvalo.

[PetrM]

Tak to znamená ty flash disky pravidelně někam vozit. Není mnohem jednodušší a snáze automatizovatelné ty soubory poslat někam po drátě?

Bylo by. V případě, že krabička na konci toho drátu bude končit v něčem inteligentním s veřejnou IP adresou a takovou konektivitou, že nebude tetička půl dne bez seriálů po VoD. Pak není problém mít u příbuzných NASy s filmama, písničkama a fotkama a třeba 10% si po domluvě rezervovat za to, že se jim o to (na dálku) stará.

Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.

[Filip Jirsák]

Bylo by. V případě, že krabička na konci toho drátu bude končit v něčem inteligentním s veřejnou IP adresou a takovou konektivitou, že nebude tetička půl dne bez seriálů po VoD. Pak není problém mít u příbuzných NASy s filmama, písničkama a fotkama a třeba 10% si po domluvě rezervovat za to, že se jim o to (na dálku) stará.

Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.

A ještě nesrovnatelně menší opruz je nahrát to k nějakému poskytovateli služby úložiště. Pak tam jsou i nějaké definované záruky a nezáleží to na tom, že syn tetičky bude potřebovat na NASu uvolnit místo, aby se mu tam vešel nejnovější díl Ovečky Shaun, tak trochu promázne nepotřebné věci (včetně té superdůležité zálohy).

[JardaP .]

Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.

Ano, stary dobry kabelovy prenos, vynalezeny VACUSem, kdy v kabel vozili pasky mezi Prahou a Brnem, protoze pulku casu byly naprsele kabely a po modemu to neslo.

A ještě nesrovnatelně menší opruz je nahrát to k nějakému poskytovateli služby úložiště. Pak tam jsou i nějaké definované záruky a nezáleží to na tom, že syn tetičky bude potřebovat na NASu uvolnit místo, aby se mu tam vešel nejnovější díl Ovečky Shaun, tak trochu promázne nepotřebné věci (včetně té superdůležité zálohy).

Tim sice odpadne problem, ze tete nepujdou pul dne serialy, ale zaloha rychleji asi nepuje. Vetsina lidi ma doma nejake ADSL a to miva dosti trapnou sirku pasma smerem ven. A zrovna na potforu smerem ven je poreba ta data dostat.

[Reklama]

[Filip Jirsák]

Vetsina lidi ma doma nejake ADSL a to miva dosti trapnou sirku pasma smerem ven.

Ovšem většina lidí nepotřebuje z domova zálohovat 20 GiB data na čtyři různá místa minimálně ve dvou státech, protože nezálohují z domova výsledky vědeckého výzkumu, ve kterém jsou desetitisíce hodin práce.

Ostatně, když se to zálohování nedělá ručně, ale automaticky, nijak nevadí, pokud se doba uploadu pohybuje v hodinách – ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.

[JardaP .]

ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.

Jak dlouho by trvalo 20 GB pres ADSL upload se mi nechce pocitat, tak nevim, jestli by se to pres noc stihlo. Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit. A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal. Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky, cimz se to ponekud nafoukne, ale porad lepsi, nez tam pokazde rvat 20 GB a navic nekolikrat do nekolika mist.

[Filip Jirsák]

Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit.

Lokální kopie dat se dá samozřejmě udělat mnohem rychleji a odesílá se potom ta.

A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal.

Tazatel psal o frekvenci zálohování jednou za dva až tři týdny. Pokud byste chtěl na offline média zálohovat častěji, než jednou týdně, opravdu byste nedělal nic jiného, než pořád jen rozvážel média.

Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky

O charakteru dat nic nevíme – zvlášť, když je to šifrovaný disk, klidně je možné, že bude celý soubor pokaždé úplně jiný.

pokazde rvat 20 GB a navic nekolikrat do nekolika mist

Což není nutné dělat přes ten předpokládaný pomalý upload, stačí to dostat ven jednou. Samozřejmě záleží na konkrétní službě, ale je dost možné, že by ani nebylo potřeba mít vlastní zprostředkující server, že by stačilo nahrát to na jednu službu a odsud rozdistribuovat kopie do dalších míst.

[JardaP .]

Což není nutné dělat přes ten předpokládaný pomalý upload, stačí to dostat ven jednou. Samozřejmě záleží na konkrétní službě, ale je dost možné, že by ani nebylo potřeba mít vlastní zprostředkující server, že by stačilo nahrát to na jednu službu a odsud rozdistribuovat kopie do dalších míst.

Ano, dobry napad, ktery trpi jednim zadrhelem. Kdyz pri prenosu teto jedne zalohy vznikne chyba, bud tato nasledne rozkopirovana o vsech dalsich kopii. Zajisti mi to tedy jedine to, ze budu mit X spatnych kopii, a kdyby nektera z nich selhala, vzdy si muzu sva spatna data stahnout od jinud.

Takze to radsi narvudo hubu 6 flashek a budu to rozvazet.

[Filip Jirsák]

Ano, dobry napad, ktery trpi jednim zadrhelem. Kdyz pri prenosu teto jedne zalohy vznikne chyba, bud tato nasledne rozkopirovana o vsech dalsich kopii.

Tento drobný zádrhel byl vyřešen už s vynálezem otisků souborů a jejich ověřování. O tom, jak správně ověřit obsah souboru, se tu vedla debata asi tak na devíti stránkách.

[JardaP .]

Tento drobný zádrhel byl vyřešen už s vynálezem otisků souborů a jejich ověřování. O tom, jak správně ověřit obsah souboru, se tu vedla debata asi tak na devíti stránkách.

Ano, to ovsem zavani nikoliv nejakym lepsim DropBoxem od Amazonu, ale VPS, kam nahraju soubor, pustim vdaleny terminal s Linuxem a necham si spocitat hash. Pokud to tedy nechcete pokazde tahat zpet a overovat lokalne. Otazka za sto bodov: Umi Amazon - jak se to jmenuje - poskytnou terminal anebo jen ten lepsi DropBox?

[Filip Jirsák]

Ano, to ovsem zavani nikoliv nejakym lepsim DropBoxem od Amazonu, ale VPS, kam nahraju soubor, pustim vdaleny terminal s Linuxem a necham si spocitat hash. Pokud to tedy nechcete pokazde tahat zpet a overovat lokalne. Otazka za sto bodov: Umi Amazon - jak se to jmenuje - poskytnou terminal anebo jen ten lepsi DropBox?

Ten hash si nemusíte počítat sám, může ho počítat provozovatel úložiště – je to i v jeho zájmu. Při nahrávání souboru na Amazon Glacier povinně posíláte i hash souboru, podle kterého si Amazon zkontroluje, že mu dorazila ta správná data.  Při stažení souboru vám hash pošle. V OpenStack Object Storage API je při uploadu volitelná hlavička ETag, kde je alespoň MD5.

Když chcete dokázat, že nějaké řešení je nepoužitelné, nedokazujte to na tom, jak byste to udělal co nejhloupěji, ale zkuste si zjistit, jak se to v praxi doopravdy dělá.

[datadoclanku]

1. otevřu originální TC kontejner. Jde přečíst? Ano, jdi na 2. Ne - jdu pro zálohu.

Pro TC kontejner platí to samé, jako pro 7zip archív, pevný disk, DVD nebo soubor v cloudu – to, že jde přečíst, není záruka toho, že se čtou správná data.

O tom, jestli data, jez jdou precist, jsou vzdy spravna tu byla velka debata. V naproste vetsine spravna podle vseho jsou, ale ne vzdy (jak tu byl jeden nazor) a nebo ze jsou spatna casto (druhy nazor). Podle zminenych informaci je to jedna chyba za desitky-stovky TiB.

Pokud by se poskodil nejaky soubor-blok v kontejneru, nebude to tak velka ztrata, jako ztrata celeho kontejneru. I kdyz nektera mista kriticka jsou, nektera naopak temer vubec.

[datadoclanku]

Nikdo tu FW ani HW nehaní, to, že HW může selhat, je normální a počítá se s tím. Banky ani armáda samozřejmě nespoléhají na to, že hardware nemůže selhat. Právě naopak, dělají opatření proto, aby je selhání hardwaru neohrozilo – například tak, že data ukládají v několika kopiích.

No a to samé se tu tazateli taky doporučuje...

To tazatel navrhl jiz na zacatku a tak to take je. Min. 5 kopii, min. na 4 mistech, min. ve dvou zemich, min. 2 typy media, min. 2 verze v case.

Otazkou ale je, jak zalohovat, aby se odhalily chyby v datech pri zalohovani a ta chyba se nesirila dal.

[datadoclanku]

ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.

Jak dlouho by trvalo 20 GB pres ADSL upload se mi nechce pocitat, tak nevim, jestli by se to pres noc stihlo. Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit. A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal. Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky, cimz se to ponekud nafoukne, ale porad lepsi, nez tam pokazde rvat 20 GB a navic nekolikrat do nekolika mist.

Vysoka fregvence zaloh neni uplne nutna. Ztratila by se jen data od posledni zalohy, nikoliv desetitisice hodin prace od uplneho zacatku projektu. i jednou za 2-3 tyndy staci.