Jak správně zálohovat data okolo 20 GiB

[Milfaus]

Opravdu je Slunce (jeho poloha a odtud i tok vysokoenergetickych castic) jednou z hlavnich pricinou chyb v datech (ram, disky) ?

To nemusí být nutně slunce, taková částice může putovat i hodně daleko.
Obecně nejsem odborník na kosmické záření.
A bavíme se jen o pamětech RAM.

U pevných disků (magnetických) jsou příčiny selhání vesměs jiné, protože tam nejde o to, jestli se nějaký kondenzátor nabije nebo vybije. Tam jde o magnetický zápis, který mimochodem OBSAHUJE ŘADU CHYB!!!
Jinými slovy, pevný disk přečte záznam s určitým odstupem šumu od signálu a dochází k rekonstrukci správného záznamu. Samoopravné mechanismy jsou velmi silné a odolné! Musí být, CHYBA SE NEPŘIPOUŠTÍ.

Výrobci disků se kdysi dohodli, že sektory, které nebude možné přečíst se 100% spolehlivostí, tj. vrátit data, se vyřadí (realokují) a výstup bude zaznamenán do SMART do položky sector realocated count.

Ano, tady se dostáváme do zajímavého místa, kde najdeme výjimku potvrzující pravidlo.
Ve chvíli, kdy disk vyhlásí poruchu, tj. SMART zažloutne, výrobce už nenese za konzistenci dat záruku!!!
Tj. pokud je disk ve SMART zelený, pak vám výrobce ručí za konzistenci dat a můžete se s ním soudit o to, že vám data ztratil. Pokud ovšem disk zareportuje chybu, což pozná velice snadno, protože například u SSD se používá 12-ti bitová ochrana, jinými slovy, pokud dojde k selhání 12-ti bitů, pořád to jde opravit, tak ve chvíli, kdy dojde k situaci, že chyba nastala opravdu v takovém rozsahu, disk začne hlásit selhání.

Řada lidí nemá na počítačích jen porno, jako třeba někteří místní diskutující.
Ale mají tam výkresy letadel, mají tam lékařské záznamy a další věci, které nejsou uloženy na raidu a často jsou pouze v jedné živé kopii. Neexistuje, aby ve výkresu z CATIA došlo ke změně jednoho bitu a letadlo pak spadlo!

Uvedu pár příkladů:
https://pevne-disky.heureka.sk/patriot-lite-64gb-ssd-eee-pc/specifikace/
12-bit ECC (Používá standardní 12bit ECC.)
Což je naprosto běžné, chyba 5 bitů je šum, zbývajících 7 chyb tam ze začátku není, postupně, jak se disk opotřebovává, tak se objevují. Na základě této hodnoty se pak mění ukazatel životnosti disku.

U pevných disků jsou ovšem úplně jiné mechanismy, daleko sofistikovanější.

V USA se můžete s výrobcem disků soudit, pokud vám disk vrátí chybná data a přitom nereportuje chybný stav.

[Reklama]

[Milfaus]

12-bit ECC (Používá standardní 12bit ECC.)
Což je naprosto běžné, chyba 5 bitů je šum, zbývajících 7 chyb tam ze začátku není, postupně, jak se disk opotřebovává, tak se objevují. Na základě této hodnoty se pak mění ukazatel životnosti disku.

Tohle je velmi zajímavé.
Bavíme se o SSD.

Víte, že v paměťových čipech dochází k silnému šumu, elektromagnetickému rušení, které silně ovlivňuje kvalitu přenosu? Chyba na úrovni 5-ti bitů je naprosto běžná a řekněme ZCELA OBVYKLÁ. Tj. v průměru, když přečtete jakýkoliv fyzický blok (schválně neuvádím sektor), je 5 bitů poškozených z důvodu šumu?

Firmware disku nemá problém opravit chybu na úrovni 12ti bitů.
Tj. pokud je z celého bloku 12bitů vadných, pak se blok označí jako problémový a vyřadí se.
Tím klesne ukazatel životnosti disku.
Jinými slovy, lze sledovat, jak se snižuje počet zdravých bloků na disku, resp. jak se zvyšuje počet problematických.
Pokud je chyba od 9-ti do 12 bitů, je sektor vyřazen.
Pokud jde chyba přes 12bitů (systém spolehlivě pozná až 18 vadných bitů), nejde disk do žluté, ale do červené, tj. označí se, jako že selhává a SMART by při startu měl reportovat problémy.

Taková situace totiž není normální.

Enterprise SSD pak mají schopnost pracovat až se selháním >24bitů.

Paradoxně, s použitím levnějších MLC se dostáváme do stanu, kdy chyba na úrovni 10-15 bitů se stává běžnou, blok se vyřazuje při poruše 19-24 bitů a disk skáče do červené při poruše nad 24 bitů.

Ano, disk, který hlásí selhání, skutečně nemusí vracet správná data.

Algoritmy typu BCH-ECC jsou dobré, dá se jim věřit a pokud je člověk paranoik, může si hlídat konzistenci i na úrovni FS.

[Googler]

Opravdu je Slunce (jeho poloha a odtud i tok vysokoenergetickych castic) jednou z hlavnich pricinou chyb v datech (ram, disky) ? To jsem ani nevedel. Spis bych vinu daval mobilum, spotrebicu, tramvajim a pod. Ale asi to opravdu budou ty vysokoenergeticke castice. Jake procento chyb priblizne souvisi se Sluncem a zavisi fregvence chyb i na Slunecnim cyklu ?

Tramvaje a velke spotrebice na dosah serveroven nemame.
Tohle vime jenom tak, ze se stazista pokousel zjistit, co muze za ty velke velke narusty bitflipu (o rad nad minimem), ktere se na servrech objevuji kazdy den. Zjistil, ze kazda servrovna to ma jinak a maximum je vzdy v prave poledne.
Slunecni erupce vidime v monitoringu kdyz k nam prileti nabite castice. Slunecni cykly trvaji dele a nikdo to u nas nestudoval. Mobily se hybou, zjisteni by trvalo dele.
Data jsou chraneny vicenasobnou redundanci, proto se pricinama detailneji nikdo nezapodival.

Vezměte si to obráceně, pokud by ke změnám na disku docházelo, pak by raid 0 nebyl možný!

Vyhrava nekdo loterii? Ja jeste sportku nevyhral, tedy to neni mozne! Kdyby se to delo, tak by majitel sportky krachnul! Nemuzou preci kazdemu vyplatit miliony! Ekonomie by skoncila, penize zadarmo!

[Filip Jirsák]

například u SSD se používá 12-ti bitová ochrana, jinými slovy, pokud dojde k selhání 12-ti bitů, pořád to jde opravit

Zkuste se zamyslet nad tím, co jste napsal. Když načtete jeden bajt, tedy 8 bitů, může tam být 12 bitů chybných? 12 z 8? Nebo je to 12 bitů na celý disk? Takže když máte 512 GB SSD disk, může na něm být chybných 12 bitů, a pořád je možné obsah celého disku obnovit? To by ale znamenalo, že byste při každém čtení musel přečíst úplně celý disk, abyste mohl spočítat kontrolní kód a detekovat chyby, případně je opravit. Už vám je jasné, jaký jste napsal nesmysl? Už víte, že chybovost je nutné vždy uvádět jako podíl, tedy například že řadič ECC dokáže detekovat a opravit jednobitovou chybu v 64bitovém slově, případně dvoubitovou chybu v 64bitovém slově dokáže detekovat?

Ale jinak je fajn, že jste konečně uznal, že úložiště může selhat a vrátit chybná data, takže ukládat kontrolní součet dat není až tak bláhový nápad, jak jste ze začátku tvrdil.

[Milfaus]

Jirsák nerozumí psanému textu, že?
Chyba 12bitů se rozumí na CELÝ BLOK!
Pokud má SSD interně 640b bloky (spíš by se slušelo říct stránky), tak se bavíme o to, že se dá opravit chyba až 12 bitů KDEKOLIV v tom bloku a rozpoznat chyba až 18b!!!

To nemá cenu, hele, Jirsáku, máš nějakou školu, kurz nebo alespoň minimum?

Přiznej se, že ty to děláš schválně 
TY MĚ TROLÍŠ!!! TY MĚ TROLÍŠ A JÁ TI TO ŽERU 

[Reklama]

[JardaP .]

Ty WOE!!!!

To je jak přehlídka retardů!!!

Data na disku JSOU chráněna ...... OCHRANA NA ÚROVNI SOUBOROVÉHO SYSTÉMU!!! ........
 OCHRANA NA ÚROVNI ARCHIVU!!!

Pak je jeste mozne na disk navleknout externi ochranu Primeros. Doporucuje 9 Milfausu z deseti.

[/quote]
Bože! Jak u retadů na na půdě!!!
[/quote]

Vsichni jsou debilove, jen Milfaus je genius. Doufejme, ze se brzo rozcili tak, az ho rani mrtvice, abychom mu nemuseli zavidet.

[Miroslav Šilhavý]

...

Kolega Milfausi,
věc se má tak, že v praxi se opravdu setkáte s disky, které dávají data poškozená, ačkoliv se tváří, že je vše OK. Řadiče, které stejné bloky pošlou stejně pokažené - a veškeré ostatní I/O operace už se počítají nad poškozenými daty.

Z toho důvodu existují metody zvyšování redundance dat, ECC atd. Paměti se kromě ECC režimu v takových případech i mirrorují - protože i přes ECC může dojít k systematické chybě.

Bohužel nevíme, o jaká data jde. Já sám bych určitě doporučil mít dobře nastavenou retenci záloh a pravidelné testování na úrovni aplikace. Bohužel, od tazatele ani nevíme, jestli aplikace poškozený bajt pozná, či ne. Strašně smutné, ale nikoliv vyloučené pak je, když se rok ukládají zálohy, ve kterých vlastně nejsou správná data, protože je poškodil už řadič, či driver OS. Pak nemáte nic.

Zde bych asi nechal na tazateli, aby upřesnil, nebo aby si vybral z toho, co tu zaznělo.
Můj dojem je, že tazatel zveličuje rizika a zároveň podceňuje technologie. Vlastně ani nevíme, na jakém serveru to běží, jaké ECC jsou zapnuté, v jaké jakosti (entry-level, enterprise, ...)... Třeba zjistíme, že to celé běží na Inter Rapid Storage a na běžných RAM, a na WD Red , a my tu mezitím vymýšlíme pitomosti.

[milous]

Ahoj

Mate napady, jak bych mel spravne zazalohovat soubor priblizne 20 GiB velky. Velmi dulezite je, jednak aby nedoslo ke ztrate souboru, ale take se v souboru nesmi objevit vubec zadna chyba. I jeden bajt chybne muze byt zcela fatalni. Uniku dat se neni treba obavat, vyreseno sifrovanim. Jde rozhodne o to, aby se nevyskytla v datech vubec zadna chyba. Ztrata dat by byla naprosto znicujici.

Napada me:
-Soubor bude alespon na 4 mistech.
-Data samozrejme musi byt na ruznych pocitacich, geograficky oddelena. Vzdalenost mezi zaloznimi misty min. 10 km, navic bude to alespon ve dvou zemich.
-Soubor zabalim napr. 7z a pak muzu kdykoliv pravidelne archiv kontrolovat, zdali jsou data v poradku. Cas od casu take zkusim archiv rozbalit. Bude to na Unixovem serveru.
-USB disk neni dobry na delsi zalohy, nutne data znova prehravat rekneme jednou za 3 mesice.
-I pevne disky v radu let-desitek let odchazeli, nutne rovnez cas od casu zalohy prepsat.

Asi by bylo mozne pouzit i napr. Google drive nebo MegaUpload, nebo neco podobneho. Otazkou ale je, jak je to spolehlive, jestli jdou napr. stara data vytahnout po letech. Min. ulozto data po case maze. Navic nevim, jestli jde provest kontrolu achivu nebo jinak kontrolni soucty, min. u mega.co.nz to nejspis nepujde. Navic po case muze byt ucet smazan z duvodu neaktivity nebo jinych duvodu. A i kdyz je soubor zasifrovany, tak se mi to uplne cpat do cloudu nechce.

Nic dalsiho me nenapada.

co to dat na FreeNAS s ECC na ZFS a replikovat pripadne na dalsi FreeNASy, nic spolehlivejsiho nez ZFS, tedy pokud tam mas slusny enterprise hdd a ECC ramky, neznam

[Filip Jirsák]

Jirsák nerozumí psanému textu, že?
Chyba 12bitů se rozumí na CELÝ BLOK!
Pokud má SSD interně 640b bloky (spíš by se slušelo říct stránky), tak se bavíme o to, že se dá opravit chyba až 12 bitů KDEKOLIV v tom bloku a rozpoznat chyba až 18b!!!

Pěkně prosím, kde v tom vašem textu bylo napsané, že je to 12 bitů na blok? Aby mohl někdo rozumět psanému textu, musí nejprve existovat ten psaný text. A také bývá vhodné, když ten text je psaný v nějakém všeobecně uznávaném jazyce, což lze jen stěží říct o shluku slov „Chyba dvanáctibitů se rozumí na celý blok!“ „Rozpoznat chyba až osmnáctibitový“ je také zajímavá češtin. Jestli on spíš nebude problém v tom, že Milfaus neumí psát.

Ten váš SSD s 80bajtovými stránkami taky musí být zajímavý kousek. Zaměňovat bloky a stránky taky není to pravé, protože je to každé něco jiného – bloky SSD disků se skládají ze stránek (které mají obvykle 4 KiB, ale mohou mít třeba i 8, 16 nebo jen 2 KiB).

Přiznej se, že ty to děláš schválně 

Ano, ty vaše nesmysly opravuju schválně. Zajímavé spíš je, proč vy ty nesmysly píšete.

[krallinuxu1]

Na zálohování dat jsou nejlepší CD-R média. Vejde se na ně hromada dat jakou nikdo nemá a přečtu je i za tisíc let.

[Milfaus]

Pokud má řadič chybu, tak se chyba dá rozpoznat.
Disky vracet chybná data nemohou a nesmí.
Od toho to je pevný disk, kdyby vracel občas správná data a občas špatná, byla by to magická krabička.

Mimochodem, snad všechny archivy mají detekci poškození, alespoň na úrovni CRC32.
Kdy jste naposledy uložil na ZDRAVÝ disk archiv a pak nešel rozbalit?
V tomhle nemáte pravdu, popravdě si schovávám trumfové eso ;-)

Samozřejmě se shodneme na tom, že vážně poškozený disk nebo disk se špatným firmwarem, může vracet špatná data.
Ale to je výjímka.
Tady jsou jistá individua, která v zásadě tvrdí, že ZDRAVÝ DISK OBČAS VRACÍ ZÁVADNÁ DATA.
No a to je zkrátka nesmysl.

Já se přiznám, že už se ani nenamáhám to číst.
Myslete si co chcete.

[Milfaus]

Ne Járo, nejsem letadlo, jen ty mně nekecej do počítačů a já ti nebudu kecat do pokládání koberců.

[ToJsemJa]

Vážení, jen kroutím hlavou.
Zdravý disk vrací zdravá data, tedy to, co jste na něj uložili.
Nepřichází v úvahu ani změna jediného bajtu, mělo by to katastrofické scénáře.
Děkuji a už se nehádejte.

[krallinuxu1]

Zdravý disk vrací zdravá data ...

... a nemocný disk vrací nemocná data.

[Milfaus]

nemocný disk vrací nemocná data.

To bych řekl, že nikdo nezpochybňuje.