Jak správně zálohovat data okolo 20 GiB

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #120 kdy: 16. 10. 2017, 13:31:53 »
Pane Šilhavý, já si myslím, že to nikdo nezpochybňoval.
V tom případě jste asi přehlédl všechny příspěvky Milfause.


Qwerty

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #121 kdy: 16. 10. 2017, 13:42:40 »
Pane Jirsáku, nepřehlédl jsem nic.

lupen

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #122 kdy: 16. 10. 2017, 13:50:52 »
Souhlas s qwerty i milhausem!

Milfaus

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #123 kdy: 16. 10. 2017, 15:20:17 »
Ano, většina vadných disků se projeví tak, že budou rovnou vracet tvrdé chyby, ale to neznamená, že k vrácení chybných dat nemůže dojít.

Já od začátku tvrdím jen tolik, že zdravý disk VŽDY VRACÍ ZDRAVÁ DATA.
Pokud má chybu ve firmware, pak se nejedná o zdravý disk.
Pokud je poškozený, pak se nejedná o zdravý disk.

Kdybych měl pocit, že jde jen o nedorozumění, nabídl bych ruku ke smíru, ale myslím, věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.


Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #124 kdy: 16. 10. 2017, 15:36:16 »
Kdybych měl pocit, že jde jen o nedorozumění, nabídl bych ruku ke smíru, ale myslím, věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.

Tak si můžeme podat ruku na tom, že mohou nastat případy, kdy se disk jeví jako zdravý, a přitom není. Já k tomu dodával, že tomu se dá předejít tím, že se data pravidelně obnovují a na aplikační úrovni se otestují, že jsou v pořádku.


Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #125 kdy: 16. 10. 2017, 16:02:07 »
Já od začátku tvrdím jen tolik, že zdravý disk VŽDY VRACÍ ZDRAVÁ DATA.
Pokud má chybu ve firmware, pak se nejedná o zdravý disk.
Pokud je poškozený, pak se nejedná o zdravý disk.
Vy si pouze myslíte, že od začátku tvrdíte něco o zdravém disku. Ve skutečnosti jste od začátku nepsal o zdravých discích, psal jste o discích obecně, jako by se to týkalo všech disků. Teprve po několika kolech diskuse jste naznal, že je váš postoj neudržitelný, a „nenápadně“ jste doplnil, že vlastně myslíte jen zdravé disky.

A pokud tedy od začátku píšete pouze o zdravých discích, jak se nám snažíte namluvit, pak je otázka, proč jste vůbec vstupoval do této diskuse s nesouvisejícím tématem. Tady totiž nikdy nebyla řeč o tom, že má někdo zaručeně jen zdravé disky. Naopak od začátku se diskutuje o tom, jak detekovat chybná data.

věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.
Za prvé, já nemám pocit, že by bylo pravděpodobné setkat se s tím, že zdravý disk vrátí špatná data. Nikdy jsem nic takového nenapsal – už jenom proto, že bych byl blázen, abych psal jen o zdravých discích, když o disku nikdy dopředu nevím, zda bude zdravý nebo zda u něj dojde k nějaké chybě.

Za druhé, teoreticky se může stát, že i zdravý disk vrátí špatná data. Podobně jako se teoreticky může stát, že ECC řadič vrátí špatná data z ECC paměti. Všechny ty samoopravné kódy jsou totiž založené jenom na pravděpodobnosti. To nejsou žádné magické formule, které by zajistily, že data nemohou být špatná. Samoopravné kódy umí jen zmenšit pravděpodobnost chyby – zvolením dostatečně dlouhého samoopravného kódu lze zvolit libovolně nízkou pravděpodobnost chyby. Přičemž v praxi je to pro paměti nebo disky, které se běžně používají (v serverech, datacentrech apod.), nastavené tak, že se s přečtením chybných dat opravdu nejspíš nikdy nepotkáte, což ale neznamená, že nenastává vůbec nikdy.

Milfaus

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #126 kdy: 16. 10. 2017, 16:34:01 »
Tak si můžeme podat ruku na tom, že mohou nastat případy, kdy se disk jeví jako zdravý, a přitom není. Já k tomu dodával, že tomu se dá předejít tím, že se data pravidelně obnovují a na aplikační úrovni se otestují, že jsou v pořádku.

Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
Ovšem při poruše firmware disku může dojít k neočekávaným stavům.

Pokud se dohodneme na tom, že zdravý disk vrací originální data, pak nemám důvod se přít dál.

Ale jestli zase někdo řekne, že i ze zdravého disku čas od času lezou náhodná data, že se soubory mění a žijí si svým životem, tak mu nechám uříznout pravou kouli ;D

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #127 kdy: 16. 10. 2017, 17:15:55 »
Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
Ovšem při poruše firmware disku může dojít k neočekávaným stavům.

Škoda, že ty disky likviduju (nebo reklamuju), ale mohl bych Vám za život ukázat dost disků, které nemají SMART threshold překročený, a přesto byly v háji. I řadič, který se tváří naprosto OK, včetně spuštění a projití kontroly konzistence, který vracel tu a tam špatná data jsem už viděl. Všechno jsou to noční můry, protože přesně jak píšete, to člověk ani neočekává, že by nastat mělo / smělo / mohlo (vynechal jsem některé příhodné modální sloveso?).

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #128 kdy: 16. 10. 2017, 21:15:28 »
Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
To se krásně hodí do sbírky epitafů.

  • Na té křižovatce mi měl dát přednost.
  • Ta puška neměla být nabitá.
  • Ten obvod měl být okamžitě přerušen.
  • Ta chyba měla být okamžitě reportována a disk měl zčervenat.

datadoclanku

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #129 kdy: 16. 10. 2017, 23:40:16 »
O cem se vlastne dohadujete, moc jsem tu debatu nepochopil.

Jestli disk diky kontrole neprosto vzdy vrati zdrava data, nebo kdyz zdrava data nemuze vratit, zdy hodi chybu, ze to nejde precist VS nekdy se muze stat, ze kontroly probehnou OK ale data, ktera disk vrati, budou jina ?

Je to uz vymena nazoru na par stranek, ale o co konkretne. Jestli kontroly zabrani zcela vzdy vydani chybnych dat, nebo ne ?

Podle toho, co jsem cetl, je jeden chybny bit jednou za desitky-stovky TB, cemuz by se dalo uverit. (disk se bude tvarit ze vse OK a jeden bit bude jiny. Zadnou tvrdou chybou to nekonci).

Pri prenosu po siti nejspis ale zadne takoveto kontroly nejsou. A uz parkrtat se kontrolni soucet lisil, dobehlo to jako, ze vse OK pritom.

datadoclanku

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #130 kdy: 16. 10. 2017, 23:52:39 »
Na zálohování dat jsou nejlepší CD-R média. Vejde se na ně hromada dat jakou nikdo nemá a přečtu je i za tisíc let.

Precetl jsi si alespon zadani, nebo nadpis ? Spolehlivost CD neni kdovi-jaka, stejne tak DVD a BD. Kdyz se dat kontrola dat, pomale paleni, udelaji se checksumy, je sance na dobra data vysoka.

Soubor velky 20 GB (presne 21.34 GiB) by se na dost CD o kapacite 700 MiB musel rozdelit, pravdepodobnost, ze jeno bude vadne, je nakonec vyssi, nez v pripade 5 DVD nebo nejlepe jedno lepsi BD. Ale i tak je spolehlivejsi disk, paska.

Trvandlivost kvalitnich CD desitky let mozna, pri dobrem skladovani. Otazkou je taky, na cem si je prectem. Kdo ma jeste dnes k dispozici disketovku ?

datadoclanku

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #131 kdy: 17. 10. 2017, 00:10:59 »

Bohužel nevíme, o jaká data jde. Já sám bych určitě doporučil mít dobře nastavenou retenci záloh a pravidelné testování na úrovni aplikace. Bohužel, od tazatele ani nevíme, jestli aplikace poškozený bajt pozná, či ne. Strašně smutné, ale nikoliv vyloučené pak je, když se rok ukládají zálohy, ve kterých vlastně nejsou správná data, protože je poškodil už řadič, či driver OS. Pak nemáte nic.


Pozkozeny bajt by spravne byt zaznamenan mel, s vysokou pravdepodobnosti.
Puvodni data jsou pouzivana - TC kontejner je oteviran jednou za nekolik dni. Pokud by doslo k pozkozeni vstupni brany, ze TC soubor nepujde otevrit, tak bych to poznal. Dale jsou zkouseny aplikaci dulezite soubory, jestli jdou otevrit, netvari se divne. Navic jsou kontrolovany soubory podle kontextu v nove a stare verzi kontejneru.Slozitejsi je odfiltrovat chyby kvuli novejsi verzi nekterych souboru.

Nekktere soubory jsou zapisovany - aktualizovany jednou za nekolik  dni, nektere v kontejneru lezi roky. Cely kontejner je roky pouzivany. Kontrola kontextu se soubory v starsi verzi kontejneru - pokud jsou u jednoho souboru datumy modifikace stejne a kontrolni soucet jiny, to je problem a je detekovana chyba.

Nejvic se bojim, aby nedoslo k zablokovani celeho TC kontejneru tim, ze se pozkodi jeden bajt na "vstupni brane" To by byl nejhorsi scenar a ztrata vsech dat. Je neco takoveho mozneho ?

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #132 kdy: 17. 10. 2017, 00:18:53 »
Nejvic se bojim, aby nedoslo k zablokovani celeho TC kontejneru tim, ze se pozkodi jeden bajt na "vstupni brane" To by byl nejhorsi scenar a ztrata vsech dat. Je neco takoveho mozneho ?

To nevim, viz predchozi nekonecna diskuse o spolehlivosti disku. Ale mel byste se postarat o to, aby vas takova eventualita nerozhodila: https://www.neowin.net/forum/topic/984006-guide-backup-truecrypt-disk-header/ Mozna si vygooglujte novejsi verzi, jestli se nahodou neco nezmenilo.

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #133 kdy: 17. 10. 2017, 07:01:16 »
Pri prenosu po siti nejspis ale zadne takoveto kontroly nejsou. A uz parkrtat se kontrolni soucet lisil, dobehlo to jako, ze vse OK pritom.
Při přenosu po síti takové kontroly jsou, každý TCP paket má svůj kontrolní součet a kontrolní součty mívají i linkové vrstvy (třeba ethernet). Ale ty kontrolní součty jsou docela slabé, takže u důležitých dat je dobré to kontrolovat ještě kontrolním součtem celého souboru. Jak ostatně sám píšete.

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #134 kdy: 17. 10. 2017, 07:06:57 »
Jestli disk diky kontrole neprosto vzdy vrati zdrava data, nebo kdyz zdrava data nemuze vratit, zdy hodi chybu, ze to nejde precist VS nekdy se muze stat, ze kontroly probehnou OK ale data, ktera disk vrati, budou jina ?

Ano, to se může stát, a nejen u disku, ale i u řadiče. A co je nejhorší, mohou být pokaždé stejná, ale vadná. Jedinou obranou je mít dostatečně dlouhá archiv záloh (řešívá se to tím, že směrem do minulosti řídne četnost uchovávaných záloh), a tím, že se zálohy pravidelně preventivně načítají a data kontrolují (v takovém případě je ideální, když data umí zkontrolovat aplikace, která s nimi pracuje).

Stačí jako shrnutí?