Kontrola integrity dat na disku

[jane.d]

Zdravím,

nastíním situaci: Řekněme, že mám na disku důležitá data. Samozřejmě pravidelně zálohuji na externí HDD. Pokud ale dojde ke poškození některých souboru, ke kterým nepřistupuji zrovna denně, nezjistím to. To znamená, že tyto soubory pak ještě mohu zazálohovat a nic nezjistím do té doby než je budu jednou potřebovat.

Šlo pouze o hypotézu. Nic takového se mi nestalo. Je vlastně možné, aby se data poškodila během uskladnění, když k nim zrovna nepřistupuji? O poškození souboru u ostatních uživatelů jsem něco četl - word soubor, který nelze otevřít nebo že v textovém souboru byl obsah nahrazen null znaky. Nemám důvod tomu nevěřit, jen nevím jak se to stalo - jestli při kopírování nebo tak. Něco jsem totiž četl o error correction coding.

Jedním řešením by bylo nasazení btrfs. Jestli jsem to dobře pochopil. Měl by v metadatech ukládat checksum souboru. Nicméně zatím ho nasazovat nechci... takže mě napadá vytvořit hash list a zkontrolovat ho před provedením zálohy. Trochu se to komplikuje tím, že musím zohledňovat soubory u kterých se změní mtime nebo změna jména.

Řešíte u sebe integritu dat - jestli ano, jak? Nebo si tu vymýšlím absolutní hovadiny?

[Reklama]

[rxgu]

Tak o hovadinu rozhodně nejde, za sebe to neřeším nijak. Ale sám jsem zvědavý, co tady ostatní napíšou.

[Jenda]

Je vlastně možné, aby se data poškodila během uskladnění, když k nim zrovna nepřistupuji?

Ano, na disku se vytvoří vadný sektor a prostě jeden blok souboru nepůjde přečíst (disk vrátí chybu, takže o tom alespoň víš). Občas se to stává.

Další možnost poškození je silent data corruption, kdy disk vrátí jiná data a neřekne ti o tom. To se stává extrémně zřídka, ale u některých disků k tomu vlivem nějaké závady prostě dojde.

Další možnost pak je, že jsi zálohoval přes vadnou RAMku (vadná, rowhammer, …) a soubor se poškodil během přečtení z disku, přenosu po síti a zápisu na cílový disk.

Nejlepší je asi spočítat u všech souborů SHA256 a občas zkontrolovat. Další možností by bylo btrfs, ale tam byl minimálně na 4.7 bug, kdy scrub našel chyby v souborech, ale nenašel chyby v metadatech. Dále checksumy umí ZFS, s tím nemám žádné zkušenosti.

[Kit]

Jednou z možností je zálohovat soubory verzováním. Pokud jsou data shodná, šetří se místo na zálohovacím disku. Pokud jsou jiná, zálohují se jako nová verze. Pokud dojde k poškození některého ze souborů, obnoví se z vhodné verze.

Git se na tento způsob zálohování moc nehodí, ale například rdiff-backup by mohl být vhodným kandidátem.

V neposlední řadě tu jsou služby typu Dropbox či Mega.nz. Zálohují automaticky a staré verze souborů si drží asi měsíc, než je smažou. Nehodí se však na často měněné soubory.

Z placených služeb se dá využít např. Amazon S3.

[JardaP .]

Co takle pouzit stary dobry Tripwire s databazi na externim ulozisti ve dvou kopiich?

[Reklama]

[Miroslav Šilhavý]

Řekněme, že mám na disku důležitá data. Samozřejmě pravidelně zálohuji na externí HDD. Pokud ale dojde ke poškození některých souboru, ke kterým nepřistupuji zrovna denně, nezjistím to. To znamená, že tyto soubory pak ještě mohu zazálohovat a nic nezjistím do té doby než je budu jednou potřebovat.

Integritu živých dat může zajišťovat filesystem, např. ZFS má checksumy na každý blok a lze to považovat za plus minus bezpečné řešení.

Ale co si myslím, že Vám chybí je archivace dat. Tedy, ne jen záloha, ale posloupnost záloh v čase. Nejvhodnějším médiem pro archivaci jsou pak pásky (LTO), nebo RDX disky.

[Kit]

Ale co si myslím, že Vám chybí je archivace dat. Tedy, ne jen záloha, ale posloupnost záloh v čase. Nejvhodnějším médiem pro archivaci jsou pak pásky (LTO), nebo RDX disky.

Myslím si, že pro domácí použití je to overkill a že DVD nebo BR poslouží také dobře.

Sada flešek se správným zálohovacím plánem takový úkol může zvládnout také.

[Miroslav Šilhavý]

Myslím si, že pro domácí použití je to overkill a že DVD nebo BR poslouží také dobře.
Sada flešek se správným zálohovacím plánem takový úkol může zvládnout také.

Souhlas.

[JardaP .]

Myslím si, že pro domácí použití je to overkill a že DVD nebo BR poslouží také dobře.

Pokud vam staci write only zalohy, tak ano.

[Kit]

Myslím si, že pro domácí použití je to overkill a že DVD nebo BR poslouží také dobře.

Pokud vam staci write only zalohy, tak ano.

Tvůj návrh domácí archivace je ještě hloupější, takže se nevytahuj.

[JardaP .]

Tvůj návrh domácí archivace je ještě hloupější, takže se nevytahuj.

Ktery navrh presne?

[Kit]

Tvůj návrh domácí archivace je ještě hloupější, takže se nevytahuj.

Ktery navrh presne?

Ten, který jsi napsal v tomhle vlákně.

[JardaP .]

Tvůj návrh domácí archivace je ještě hloupější, takže se nevytahuj.

Ktery navrh presne?

Ten, který jsi napsal v tomhle vlákně.

Aha. Ktery presne?

[Kit]

Tvůj návrh domácí archivace je ještě hloupější, takže se nevytahuj.

Ktery navrh presne?

Ten, který jsi napsal v tomhle vlákně.

Aha. Ktery presne?

Přesně ten, kde nedoporučuješ žádnou archivaci a když už, tak write-only, což je evidentní hloupost.

[JardaP .]

Přesně ten, kde nedoporučuješ žádnou archivaci a když už, tak write-only, což je evidentní hloupost.

Umis cist? Nikde nic takoveho nedoporucuji.