Fórum Root.cz

Ostatní => Odkladiště => Téma založeno: datadoclanku 12. 10. 2017, 22:14:15

Název: Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 12. 10. 2017, 22:14:15
Ahoj

Mate napady, jak bych mel spravne zazalohovat soubor priblizne 20 GiB velky. Velmi dulezite je, jednak aby nedoslo ke ztrate souboru, ale take se v souboru nesmi objevit vubec zadna chyba. I jeden bajt chybne muze byt zcela fatalni. Uniku dat se neni treba obavat, vyreseno sifrovanim. Jde rozhodne o to, aby se nevyskytla v datech vubec zadna chyba. Ztrata dat by byla naprosto znicujici.

Napada me:
-Soubor bude alespon na 4 mistech.
-Data samozrejme musi byt na ruznych pocitacich, geograficky oddelena. Vzdalenost mezi zaloznimi misty min. 10 km, navic bude to alespon ve dvou zemich.
-Soubor zabalim napr. 7z a pak muzu kdykoliv pravidelne archiv kontrolovat, zdali jsou data v poradku. Cas od casu take zkusim archiv rozbalit. Bude to na Unixovem serveru.
-USB disk neni dobry na delsi zalohy, nutne data znova prehravat rekneme jednou za 3 mesice.
-I pevne disky v radu let-desitek let odchazeli, nutne rovnez cas od casu zalohy prepsat.

Asi by bylo mozne pouzit i napr. Google drive nebo MegaUpload, nebo neco podobneho. Otazkou ale je, jak je to spolehlive, jestli jdou napr. stara data vytahnout po letech. Min. ulozto data po case maze. Navic nevim, jestli jde provest kontrolu achivu nebo jinak kontrolni soucty, min. u mega.co.nz to nejspis nepujde. Navic po case muze byt ucet smazan z duvodu neaktivity nebo jinych duvodu. A i kdyz je soubor zasifrovany, tak se mi to uplne cpat do cloudu nechce.

Nic dalsiho me nenapada.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: JardaP . 12. 10. 2017, 22:50:10
http://www.syylex.com/the_glassmasterdisc.html

Netusim kde se to koupi. Jinak si muzete poridit hafo flash disku ruznych vyrobcu a na to to nahrat. Jeden budete nosit zasity pod kuzi, dalsi zakopete u zdi hrbitova, dalsi si schovate u babicky...... Par let tam ten zaznam vydrzi, pak to musite obnovit a obcas poridit nove flashky, aby ty stare nezacly treba umirat ma oxidaci nebo neco.

K tomu si vytisknete checksumy porizene alespon dvema ruznymi algoritmy. To si nechte nekam vytetovat, dalsi kopii ulozte v bance a dalsi vytesejte nekde do skaly.

Jinak byste mohl pouzit parchive a pridat si k tomu nejaka recovery data https://wiki.archlinux.org/index.php/Parchive, kdyby zadna z vasich kopii nebyla v poradku.

Samozrejme, nic nenahradi koupi rozsahlejsiho zuloveho pohori, kam to nechate hexadecimalne vytesat a obnovu pak provedete pomoci OCR z fotografii.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 12. 10. 2017, 22:53:43
Nic dalsiho me nenapada.

Jak často zálohujete? Uchovává se jen poslední verze souboru, nebo potřebujete archivovat různé verze v čase?
Asi bych nejprve řešil hardware, aby vše, čím data procházejí, mělo podporu / zapnutý ECC. Nevím do jaké kapacity, ale i flash storage se vyrábějí s interním ECC.
Nespoléhal bych na jediný komprimační program, v něm může být chyba, včetně test funkce.
Doplnil bych před a po kompresi kontrolní součty, minimálně SHA-2, snad i SHA-3 apod. - prostě co bude při ruce.
Pokud by se jednalo o práci přímo pomalém disku (NFS apod.), zvážil bych ještě rozdělení do menších kousků (a poté aplikace všeho výše uvedeného).

Nemohl byste pro zajímavost vysvětlit, o co se jedná? Zní to tak tajuplně.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: lobo 12. 10. 2017, 23:10:54
Amazon Glacier
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: datadoclanku 12. 10. 2017, 23:55:45
Nic dalsiho me nenapada.

Jak často zálohujete? Uchovává se jen poslední verze souboru, nebo potřebujete archivovat různé verze v čase?
Asi bych nejprve řešil hardware, aby vše, čím data procházejí, mělo podporu / zapnutý ECC. Nevím do jaké kapacity, ale i flash storage se vyrábějí s interním ECC.
Nespoléhal bych na jediný komprimační program, v něm může být chyba, včetně test funkce.
Doplnil bych před a po kompresi kontrolní součty, minimálně SHA-2, snad i SHA-3 apod. - prostě co bude při ruce.
Pokud by se jednalo o práci přímo pomalém disku (NFS apod.), zvážil bych ještě rozdělení do menších kousků (a poté aplikace všeho výše uvedeného).

Nemohl byste pro zajímavost vysvětlit, o co se jedná? Zní to tak tajuplně.

Diky za napady. To ze jeden komprimacni program muze mit chybu, vc. testu, to je take fakt. Aby zkontrolovany 7z nesel rozbalit, kdyz kontrola dopadne dobre, to se mi nestalo, ale muze to nastat. Nebo jakoze se to rozbali i zkontroluje OK, ale rozbaleny soubor uz je o neco jiny, i kdyz jmeno, velikost , cas a dalsi metadata sedi.

Zalohovat staci posledni verzi, zalohuji cca jednou za 2-6 mesicu dukladne na vsechna mista a jednou za 2-3 tydny na 2-3 mista. Ale uchovat si jednou za 1-2 roky verzi k danemu datu, to neni od veci, neni to ale potreba. Naprostou nutnosti je (aspon relativne) posledni verze. Kdyz by se napr. obnovit dala jen predposledni verze, tak se ztrati jen prace po obnovene zaloze.

Samotny soubor, ktery potrebuji zalohovat, je TC kontejner neco malo prez 20 GiB velky. A prave ta m kdyby v urcitych mistech byla chyba, mozna ho nikdy neoevru, tezko pujde opravit. A nektere jednotlive soubory primo v nem musi take byt naprosto bezchybne. Jestli TC ma nejakou kontrolu integrity disku, to si nejsem jisty. Kompresi se velikost souboru v tomto pripade nezmensi, jde ale zkontrolovat integrita-checksum (7z t file.7z).

Pouziti jineho komprimacniho programu, co kontrolu checksumu ma je urcite doby napad. Jaky by se mohl hodit ?

Co je uvnitr, tolik nechci rozvadet. Jedna se ale o urcity projekt, vyzkum vedecky a je tam i neco z informatiky. A vsechno kolem toho. Muze to mit slusne vysledky. Kazdopadne jsou v tom desetitisice, mozna az nad 100 000 hodin prace a i financne to stalo docela dost. Zasifrovane je to proto, aby nejaky potentat data neukradl a neobohatil se z cizi prace.

Jaky hardware na to potreba - servery na ruznych mistech jsou k dispozici a flashdisky, externi disky taky.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Libor 13. 10. 2017, 00:20:05
1. taky by mne zajimalo, o jaka data jde
2. z popisu chapu, ze se soubor nemeni, cili je to nejaka jednorazova akce?
3. jeden bajt znicujici - jde o to, jestli je treba spravne detekovat poruchu, nebo porucha  nesmi nastat (coz nikdo nezaruci)
4. kde bude ulozen klic? jeho ztrata bude urcite fatalni

na svou archivaci pouzivam zmineny par2 - extra data a opravu jednoduchych chyb. Jsem paranoidni, takze zalohuji i na pasku.

ja bych na tvem miste:
1. mel ulozeno doma na disku
2. ulozil na pasku a dal treba k babicce na chalupu - je to sifrovane, kradez nezpusobi problem
3. ulozil na dalsi pasku a dal do bezpecnostni schranky, ochrana pred katastrofou - zaplavena/spalena chalupa

vzhledem k 20GB na pasku to muzes nahrat >40x za sebou, to aby byla redundance dat. Jestli je to  jednorazova akce, mechaniku ani nemusis kupovat, nekde si to muzes nechat nahrat. Stale beru, ze jde o jednorazovou akci

Libor
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: JardaP . 13. 10. 2017, 00:30:32
A je nutne porad zalohovat cely kontejner? Jestli neni plny, tak to znamena zalohovat hafo smeti a navic to nejde komprimovat. Komprimovat nejde ani obsazena cast, protoze zvenku to take vypada jak smeti. Nebylo by lepsi kontejner rozsifrovat, obsah nahnat do kompresniho programu a vystup prohnat sifrovacim SW (treba GPG), pricemz klice je mozno skladovat na nekolika bezpecnych mistech a treba i vypalit na CD, ktera jsou spolehlivejsi nez nepouzitelna DVD, i kdyz kvalita CD je dnes take dost upadkova.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Libor 13. 10. 2017, 00:35:28
odeslal jsem pozde, takze neco uz je odpovezeno.

pokud se data aktualizuji 1-2 do mesice, tak staci na hdd (flash bych nepouzil). opet na hdd nekolikrat, zazipovat (kontrolni soucet) + md5sum na dalsi soucet. par2 na opravu chyb.

odnest do bezp. schranky a domu.
L.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Jirka1 13. 10. 2017, 00:59:41
Já bych jednou za čas udělal kopii na BD-R M-disc, to by mělo něco vydržet.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 01:08:44
Já bych jednou za čas udělal kopii na BD-R M-disc, to by mělo něco vydržet.

S BD-R mám dost špatnou zkušenost  :-[
Chtěl jsem to na zálohování, ale ta technologie zdaleka nedozrála tolik, kolik by potřebovala, BOHUŽEL!!!
Měla se dopejkat ještě nejméně dva roky intenzivního vývoje.
Lisované BD-R jsou v pohodě, ale kvalita vypalovaček (HODNĚ DRAHÝCH) prostě není taková, aby to dávalo přesvědčivé výsledky. Vážně bych chtěl médium, na které můžu nahrát 50GB (na BD-R jde) a ono se to tam nahraje, zůstane to tam a taky to přečtu. Jenže...ne, fakt to není ono :-(
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: JardaP . 13. 10. 2017, 01:32:32
pokud se data aktualizuji 1-2 do mesice, tak staci na hdd (flash bych nepouzil).

Proc? Kdyz to zalohuje minimalne kazdych nekolik mesici a zaznam na flash vydrzi nekolik let, tak nevim, kde je problem. Furt lepsi treba 10x flash nez 2 HD, o jednom HD ani nemluve, protoze vyhori jeden tranzistor a je to v kelu.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Jirsákova tchýně 13. 10. 2017, 02:26:27
kopii na BD-R M-disc, to by mělo něco vydržet.

To jo, asi tak do švestek, pak s tim můžeš strašit ptáky...
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Radovan. 13. 10. 2017, 06:52:17
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 13. 10. 2017, 07:04:29
Zalohovat staci posledni verzi, zalohuji cca jednou za 2-6 mesicu dukladne na vsechna mista a jednou za 2-3 tydny na 2-3 mista. Ale uchovat si jednou za 1-2 roky verzi k danemu datu, to neni od veci, neni to ale potreba. Naprostou nutnosti je (aspon relativne) posledni verze. Kdyz by se napr. obnovit dala jen predposledni verze, tak se ztrati jen prace po obnovene zaloze.

Samotny soubor, ktery potrebuji zalohovat, je TC kontejner neco malo prez 20 GiB velky. A prave ta m kdyby v urcitych mistech byla chyba, mozna ho nikdy neoevru, tezko pujde opravit. A nektere jednotlive soubory primo v nem musi take byt naprosto bezchybne. Jestli TC ma nejakou kontrolu integrity disku, to si nejsem jisty. Kompresi se velikost souboru v tomto pripade nezmensi, jde ale zkontrolovat integrita-checksum (7z t file.7z).

Otázka verzí, resp. archivace dat vedla k tomu, jestli by primárním zálohovacím médiem neměly být pásky. 20 GB je prd, a při četnosti, jakou zmiňujete, to nebude ani složité zavést.

Nešlo by zálohovat spíš/nebo i vnitřek kontejneru? S velkými soubory, byť 20 GB není nic nezvladatelného, se vždy pracuje hůř.

No a na konec bych přidal scénář pravidelného obnovení všech dat včetně otestování funkčnosti po obnovení.

Víc paranoindní podle mě není potřeba být.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: nocturne.op.15 13. 10. 2017, 07:19:52
V první řadě uveďte hodnotu a cenu dat v nějakém srozumitelnejším formátu než " ztráta je fatální". Pod tím si můžu představit naprosto cokoli od "seberou mi osobní ohodnocení" po "vyvraždí celou rodinu". Od toho se odvíjí adekvátní způsob zálohování.

Kopírovat to po všech čertech můžete za dlouhých večerů, ale to není systém.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Medo 13. 10. 2017, 07:26:33
He, pri citani od hora dolu som cakal, ci niekto spomenie aj pasky :-)
Google na tom frci a neboji sa ..

Alternativa by bolo nieco na sposob torrentu - rozhadzane data po sukromnych pc ...
(resilio sync atd).
(cize kvazi cloud, ale privatnejsi)
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: kimec 13. 10. 2017, 07:49:13
Hlavne kriterium je cas - ako dlho potrebujete aby vase data bolo mozne vydolovat naspat. Pokial sa bavime o horizonte roka, tak vas postup je uplne v pohode. Redundancia je zkladny nastroj na zvysovanie pravdepodobnosti uspesnej recovery dat.
Pokial sa bavime o zalohach, ktore maju prezit viac ako 3 roky a ciel je povedzme 6 az 10 rokov, tak sa dostavame do domeny s nazvom LTP a tu vas uz budu trapit veci ako cold storage, typy medii, filesystem, bit rot, otvorenost formatu dat, drivery,  dostupnost citacich zariadeni.
Pri LTP napr. z principu nekomprimujete obsah z dovodu, ze bude pravdepodobne vacsi problem medium precitat ako sa trapit s ekonomickym ulozenim alebo sifrovanim. Taktiez chcete mat otvorene dvierka, keby bolo data nutne dolovat z media ad hoc sposobom atd. Redundancia a checksumy su samozrejme alfa a omega.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 09:32:58
Pásky mají vysokou TCO!
Souvislý soubor 20GB bych raději hodil na dva disky, klidně IDE připojené přes redukci, najít se dají na smeťáku.
Pásky jsou jednoznačné řešení od objemu dat, který 10x převyšuje kapacitu pásky.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 13. 10. 2017, 09:44:51
Pásky mají vysokou TCO!
Souvislý soubor 20GB bych raději hodil na dva disky, klidně IDE připojené přes redukci, najít se dají na smeťáku.
Pásky jsou jednoznačné řešení od objemu dat, který 10x převyšuje kapacitu pásky.

Bavíme se zde ale o (bez urážky) až paranoidním strachu o data. A pořídit LTO mechaniku a pár kazet je taky věc několika korun. Upřímně, i stará LTO-2 na toto poslouží, a po verifikaci zápisu bych strach neměl. TCO bude v takové chvíli nízké. Tazatel stejně vynakládá spoustu práce tím, že data ručně online kopíruje několikrát do roka.

V takovém případě bych se skoro přiklonil, čistě jako terapii na paranoiu, prostě vzít i starou LTO, a poslat to tam tarem (viz vedlejší thread, kde jsem takové řešení označoval za pitomé :), a ejhle, júzkejs je na světě).
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 09:59:06
čistě jako terapii na paranoiu, prostě vzít i starou LTO

To zase jo, LTO2 stojí dnes minimum, celý set včetně řadiče a pásek, se dá pořídit za litr.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: rdr 13. 10. 2017, 10:05:45
Jak už tu psal někdo nahoře - Amazon Glacier.
Jakékoliv vlastní řešení bude vždycky horší, ale chápu, že někdo má čas na znovuvymejšlení kola :-)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: franci 13. 10. 2017, 11:45:12
A co jakékoliv dva (tři) disky a par2 jako ochrana proti bitrottingu? Řádově rychlejší než cloud a dlouhodobě i levnější.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 11:59:32
Amazon Glacier

Jo, až na to, že tohle si hromada lidí myslela o Megauploadu, než to FBI zavřela.
Známý přišel o data na GoogleDrive, protože tam nahrál lechtivé fotky své manželky, nějaká AI to oznámila a napráskala, takže přišel o všechno, prostě porušil smluvní podmínky, důležité je číst všechny i ty malým písmem.
Servery Amazonu byly nedávno hacknuty ...několikrát:

https://www.hackread.com/amazon-suffers-security-breach/
https://krize15.cz/zpravy/clanek/hackeri-se-nabourali-do-amazon-cloudu-a-tezili-na-nem-bitcoin

Atd...

Já bych jako cenově dostupnou variantu volil ty dva disky.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Jirsákova tchýně 13. 10. 2017, 12:01:48
Jak už tu psal někdo nahoře - Amazon Glacier.

Jojo, není nad data v čoudu.  ;D
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: lobo 13. 10. 2017, 13:01:20
predtym ako zacnete krakat na Glacier, tak si skuste pozriet co to je...
to nie je Mega ani ani free google drive ani pocitac u Frantiska v garazi. Glacier je enterprise riesenie.

Amazon Glacier is designed to provide average annual durability of 99.999999999% for an archive. The service redundantly stores data in multiple facilities and on multiple devices within each facility. To increase durability, Amazon Glacier synchronously stores your data across multiple facilities before returning SUCCESS on uploading archives. Glacier performs regular, systematic data integrity checks and is built to be automatically self-healing.

cize robi za tea vsetko co ste tu popisali ohladom checksumov a bitrottingu. a ked si ku tomu zakopes jednu kopiu na zahrade, tak budes uplne vvpohode
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: j 13. 10. 2017, 14:39:55
...Glacier je enterprise riesenie....
Tj ... tihle (https://www.lupa.cz/clanky/casablanca-int-ma-problemy-nektere-sluzby-nejsou-dostupne/) taky poskytujou too 100% garantovany geogrraficky zalohovane enterprajs reseni ...
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 13. 10. 2017, 16:03:23
predtym ako zacnete krakat na Glacier, tak si skuste pozriet co to je...
to nie je Mega ani ani free google drive ani pocitac u Frantiska v garazi. Glacier je enterprise riesenie.

Amazon Glacier is designed to provide average annual durability of 99.999999999% for an archive. The service redundantly stores data in multiple facilities and on multiple devices within each facility. To increase durability, Amazon Glacier synchronously stores your data across multiple facilities before returning SUCCESS on uploading archives. Glacier performs regular, systematic data integrity checks and is built to be automatically self-healing.

cize robi za tea vsetko co ste tu popisali ohladom checksumov a bitrottingu. a ked si ku tomu zakopes jednu kopiu na zahrade, tak budes uplne vvpohode

Obchodně-právní problémy cloudových služeb by vydaly na stovky stránek textů. Velké firmy se snaží vysvětlit zákazníkům, že se jedná o enterprise služby a že jsou nejspolehlivější. Reálně však smluvně Vám odmítnou zaručit cokoliv, dokonce mnohdy ani ne to, v jaké zemi budou data a pod jakou jurisdikcí se máte s nimi případně soudit. Je pak hezká představa, že malá česká firma najímá právníky na soud za hranicemi, v nejlepším případě v Německu či Irsku.

Microsoft a další pak umožňují do smluv vkládat individuální přípisy, ale teprve to je enterprise řešení :), protože pod 1M Kč takovou úpravu kontraktu neprovedou.

Ve výsledku se to má s odpovědností takto: pokud dojde k průšvihu, a s daty se opravdu něco stane (nebo služba nebude dostupná), získáte maximálně omluvu, a slevu z měsíčního plnění (případně ten problematický měsíc zdarma, pokud jste dost velcí a vyjednáte si to). Zatímco velký dodavatel přijde o pár stovek, tisícovek, Vás takový problém může stát mnohonásobky této částky. Smluvní podmínky tedy nejsou vůbec příznivé.

Bohužel, takto na to málokdo chce nahlížet.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Jirka1 13. 10. 2017, 16:32:01
S BD-R mám dost špatnou zkušenost  :-[
Chtěl jsem to na zálohování, ale ta technologie zdaleka nedozrála tolik, kolik by potřebovala, BOHUŽEL!!!
Měla se dopejkat ještě nejméně dva roky intenzivního vývoje.
Lisované BD-R jsou v pohodě, ale kvalita vypalovaček (HODNĚ DRAHÝCH) prostě není taková, aby to dávalo přesvědčivé výsledky. Vážně bych chtěl médium, na které můžu nahrát 50GB (na BD-R jde) a ono se to tam nahraje, zůstane to tam a taky to přečtu. Jenže...ne, fakt to není ono :-(
Zvláštní. Pálím BD už víc let a nikdy jsem na problém nenarazil. Disk po vypálení kontroluji. Vytvořené zálohy jsou na BD (nikoliv M-disc) i po 5 letech bez problémů čitelné, neselhala ani jedna. Skladováno v běžné kancelářské skříni v tmavší místnosti. Ale pálím jen na 25GB média, ne LTH. Mechanika běžná LG.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: m 13. 10. 2017, 16:39:21
S BD-R mám dost špatnou zkušenost  :-[
Chtěl jsem to na zálohování, ale ta technologie zdaleka nedozrála tolik, kolik by potřebovala, BOHUŽEL!!!
Měla se dopejkat ještě nejméně dva roky intenzivního vývoje.
Lisované BD-R jsou v pohodě, ale kvalita vypalovaček (HODNĚ DRAHÝCH) prostě není taková, aby to dávalo přesvědčivé výsledky. Vážně bych chtěl médium, na které můžu nahrát 50GB (na BD-R jde) a ono se to tam nahraje, zůstane to tam a taky to přečtu. Jenže...ne, fakt to není ono :-(
Zvláštní. Pálím BD už víc let a nikdy jsem na problém nenarazil. Disk po vypálení kontroluji. Vytvořené zálohy jsou na BD (nikoliv M-disc) i po 5 letech bez problémů čitelné, neselhala ani jedna. Skladováno v běžné kancelářské skříni v tmavší místnosti. Ale pálím jen na 25GB média, ne LTH. Mechanika běžná LG.

JJ, BD je na rozdil od DVD celkem spolehliva vec, a pokud clovek jednou za cas data znovu vypali na nove medium je celkem dobra sance na jejich dlouhodobe udrzeni
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 19:39:35
Ale pálím jen na 25GB média, ne LTH.

Je možné, že ty 25GB média jsou spolehlivější.

Microsoft a další pak umožňují do smluv vkládat individuální přípisy... protože pod 1M Kč takovou úpravu kontraktu neprovedou.

Myslím, že stačí obrat nad 100 tisíc EURO ročně.
Mega měsíčně za storage by byl velký zákazník i v rámci MS.
Každopádně to náš malý archiválista asi nebude :-D  ;D

poskytujou to 100% garantovany reseni
No a když se jim to nepoooo.... tak v tom bývají háčky.

AMAZON:
(https://cdn-images-1.medium.com/max/1400/1*_90Ofd35m6ik_XdAlNmK1Q.png)
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 13. 10. 2017, 20:02:32
Microsoft a další pak umožňují do smluv vkládat individuální přípisy... protože pod 1M Kč takovou úpravu kontraktu neprovedou.

Myslím, že stačí obrat nad 100 tisíc EURO ročně.
Mega měsíčně za storage by byl velký zákazník i v rámci MS.
Každopádně to náš malý archiválista asi nebude :-D  ;D

Kdepak, ten cca 1M je jednorázový poplatek za individuální přípis do smlouvy. Jinými slovy, za to, že MS bude ve svých smlouvách evidovat a hlídat výjimku.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 20:18:18
Kdepak, ten cca 1M je jednorázový poplatek za individuální přípis do smlouvy. Jinými slovy, za to, že MS bude ve svých smlouvách evidovat a hlídat výjimku.

Aha, tak o tom jsem nevěděl.
Já mluvil o situaci, kdy dostanete VIP obchodníka z US a individuální smlouvu.
To jde, ale tuším to vyžaduje ještě nějaké další podmínky, jako mít závod ve víc regionech, ale tím si nejsem už tak úplně jistý. Pak ovšem můžete pro ČR nakupovat software za Indické ceny a to už se vyplatí.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 13. 10. 2017, 20:29:30
Kdepak, ten cca 1M je jednorázový poplatek za individuální přípis do smlouvy. Jinými slovy, za to, že MS bude ve svých smlouvách evidovat a hlídat výjimku.

Aha, tak o tom jsem nevěděl.
Já mluvil o situaci, kdy dostanete VIP obchodníka z US a individuální smlouvu.
To jde, ale tuším to vyžaduje ještě nějaké další podmínky, jako mít závod ve víc regionech, ale tím si nejsem už tak úplně jistý. Pak ovšem můžete pro ČR nakupovat software za Indické ceny a to už se vyplatí.

No, ale teprve pak, co si s takovou velkou společností vyjednáte vůbec možnost individuálních úprav smlouvy, pak přijde ještě nacenění toho, co požadujete. Např. podmínky umístění dat, nebo podmínky jejich vydávání, nebo sankce - které v případě cloudových služeb bývají de facto nulové.

Otázka umístění dat je docela důležitá např. pro advokáty. Standardně má totiž provider povinnost vydat data na základě soudního příkazu. Ale podle práva té země, kde se data nacházejí! U advokátů do hry vstupuje ještě Zákon o advokacii, kdy vydání dat musí být přítomná Advokátní komora, která musí vydání schválit a pohlídat, že nejsou vydávána data, která jsou součástí spisu advokáta. V případě cloudového úložiště jsou uložena data dokonce více klientů advokáta na jednom místě, takže je to problematické.

Neexistuje žádný cloudový provider, který by byl s to zaručit, když klient upozorní na to, že cloud obsahuje data advokáta, že je vydá pouze podle pravidel Zákona o advokacii.

A podobných příkladů najdete spoustu.

Snad jediné, co je vyřešeno dobře je GDPR compliance, kterou mají provideři auditovanou velkou čtyřkou, takže když se data ztratí (zneužijí) i přes správné nastavení zákazníkem, mělo by to být dostatečné pro liberaci. V tomto ohledu má celoevropská GDPR pro cloud opravdu výhodu.

Cokoliv lokálního (místní zákony) jsou průšvih.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 20:43:12

Souhlas.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 13. 10. 2017, 22:03:07
Tak koukam ze se k tomu dicela rozjela diskuze, jak kdyzbych zalozil flame.

Hlavne posledni prispevky ohledne cloudu. Jak jsem rikal, do cloudu se mi to tolik davat nechce. Moc cloudu neverim. Amazon Glacier jsem neznal, ale ja uz bylo zmineno, free verze je stejne nanic. A v tvorbe smluv zrovna Amazon bude sikovnej. Takze i v pripade placene verze, kdyz bude v datech chyba, tezko neco na nich vymuzes. Zkontrolovat to muzes az po obnove porovnanim kontrolnich souctu nebo test archivu.

Kontrola ulozenych dat nejsis nemozna v prubehu. A kdyz tam bude chyba, stejne s tim nic neudelas. To uz jsou levnejsi a spolehlivejsi flash disky nebo HDD.

Pak tady take byla diskuze o vydani dat, jestli cloud musi vydat data treti strane. To je fakt, ze nemas tuseni, kde data jsou a pod jake zakony spada vydavani. Ale co uvidi na sifrovanem souboru ? Leda rozsifrovani nezakonnou cestou.

U cloudu uloz.to mega.co.nz nebo Google drive nemas jistotu zadnou,pravdepodobobnost, ze se neco podela je vyssi nez u flashky ci HDD. Data vubec nemusi jit obnovit. A chybu v datech uz neohlidaz vubec. Moznost kontroly zaloh nemozna vzdalene, jen pokusem stahnout soubor. A co se tyce zruseni uctu, ci zavereni serveru, opet mas nulovou jistotu.

Muzu zkusit obnovit par desitek MB dat zazalohovanych na Gmailu starych 3-5 let.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 13. 10. 2017, 22:21:17
1. taky by mne zajimalo, o jaka data jde
2. z popisu chapu, ze se soubor nemeni, cili je to nejaka jednorazova akce?
3. jeden bajt znicujici - jde o to, jestli je treba spravne detekovat poruchu, nebo porucha  nesmi nastat (coz nikdo nezaruci)
4. kde bude ulozen klic? jeho ztrata bude urcite fatalni

na svou archivaci pouzivam zmineny par2 - extra data a opravu jednoduchych chyb. Jsem paranoidni, takze zalohuji i na pasku.

ja bych na tvem miste:
1. mel ulozeno doma na disku
2. ulozil na pasku a dal treba k babicce na chalupu - je to sifrovane, kradez nezpusobi problem
3. ulozil na dalsi pasku a dal do bezpecnostni schranky, ochrana pred katastrofou - zaplavena/spalena chalupa

vzhledem k 20GB na pasku to muzes nahrat >40x za sebou, to aby byla redundance dat. Jestli je to  jednorazova akce, mechaniku ani nemusis kupovat, nekde si to muzes nechat nahrat. Stale beru, ze jde o jednorazovou akci

Libor

Radovan, Libor

To ze data budou na vice mistech (5) a dostatecne vzdalenych, to uz jsem zminoval na zacatku. To je samozrejmosti. Tim se zamezi ztrate dat na zaklade pozaru, povodne, vloupani, tornada a pod. Kontejner je sifrovany, takze pokud nekde na chate nekdo ukradne flashku, data neukradne.

Soubor se meni. Ten soubor je TC kontejner a pouzivam ho jako disk, ktery namontuji a pracuji s daty. Ale pri obnoveni staci posledni verze. Pokud by se obnovila verze jina, nez posledni, prisel bych jen o nova data. Kompletne zabranit poruse nejde, ale poruchu je treba nejak detekovat. Treba tim, ze soubor bude zabalen jako 7z archiv a bude pravidelne testovan.
Ztrata klice by samozrejme fatalni byla. Je to ale na heslo, ktere si pamatuji, je velmi silne. Ale fatalni by byla nejaka chyba u nekterejch souboru vevnitr, nebo kdyby se poskodil kontejner tak, ze nepujde otevrit.

Vicenasobna zaloha na pasku + redutance dat muze pravit chybu, kdera by nastala v jednom zaznamu. Stejne tak by melo chybu odlalit testovani achivu a provadeni kontrolnich souctu. Pak bych videl, ze na jednom miste zalohy napr. odchazi disk.

Ma zaloha na pasky nejake vyhody jine, napr. dlouha trvandlivost oproti HDD a DVD ?
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: datadoclanku 13. 10. 2017, 22:28:16
V první řadě uveďte hodnotu a cenu dat v nějakém srozumitelnejším formátu než " ztráta je fatální". Pod tím si můžu představit naprosto cokoli od "seberou mi osobní ohodnocení" po "vyvraždí celou rodinu". Od toho se odvíjí adekvátní způsob zálohování.

Kopírovat to po všech čertech můžete za dlouhých večerů, ale to není systém.

Cena dat, resp. fatalni ztrata celeho archivu je neco mezi temito mezy. Horsi nez prijit o osobni hodnoceni, horsi nez prijit o praci (pokud teda nemas super lukrativni pozici). Ztrata souboru (ne ze by se nekdo dostal k datum) by znamenala ztratu obrovskeho mnozstvi prace (rekneme 100 000 hod) a rovnez by to znamenalo ztratu velkeho mnozsti penez (rekneme hodnoty lepsiho auta) v pripade kompletni ztratu celeho kontejneru at uz z jakekoliv chyby.
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: datadoclanku 13. 10. 2017, 22:35:09
A je nutne porad zalohovat cely kontejner? Jestli neni plny, tak to znamena zalohovat hafo smeti a navic to nejde komprimovat. Komprimovat nejde ani obsazena cast, protoze zvenku to take vypada jak smeti. Nebylo by lepsi kontejner rozsifrovat, obsah nahnat do kompresniho programu a vystup prohnat sifrovacim SW (treba GPG), pricemz klice je mozno skladovat na nekolika bezpecnych mistech a treba i vypalit na CD, ktera jsou spolehlivejsi nez nepouzitelna DVD, i kdyz kvalita CD je dnes take dost upadkova.

NEBYLO

Jednak snizujes nekolikanasobne bezpecnost, data muze nekdo ukract primo a pak se obohatit z cizi prace, a schrabnout odmeny za dokonceni projektu. Navic data budou jednou zapsana na disk mimo kontejner nezasifrovana. Pokud data zkomprimujes, pak zasifrujes, tak uz nemuzes davat kontrolu spravnosti archivu. A ten sifrovac muze za behu udelat chybu taky. Aby se klice valely na CD, to je blby napad.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 23:14:04
Ma zaloha na pasky nejake vyhody jine, napr. dlouha trvandlivost oproti HDD a DVD ?

Má.
DVD používající organická barviva poměrně rychle ztrácí data, DataTresorDisk to řeší dobře, ale má nízkou kapacitu.
https://www.alza.cz/data-tresor-disc-dvd-r-10ks-cakebox-d186384.htm

BlueRay často používá podobně pochybné barvivu u lacinějších disků (organické), u dražších je pak nespolehlivý zápis u dvouvrstvých BD. Jednovrstvé tu někdo chválil, ale nemám srovnání.

FlashDisky mají poměrně krátkou dobu životnosti, podle nějakých dokumentů musí data udržet dva roky.
Realita je lepší, ale zrovna u 20GB bych se bál.

Hard Disky trpěly na sednutí ložisek, jsou různé druhy ložisek jako kuličková, kapalinová, magnetická, keramická atd.
Neřeknu ti přesně která ložiska, ale nejméně dva druhy trpí na to, že si ložiska sednou a disk už se nemusí roztočit.
Jinak magnetický záznam na plotně vydrží stejně jako na pásce, což je ale jedno, když se to neroztočí.
Jak rychle si ložiska sednou? Kdo ví, někdy nikdy a když máš smůlu, tak za tři roky už disk nerozjedeš.

Pásky mají oproti tomu životnost 20 let, velkou kapacitu a minimální cenu za pásku.
https://www.mironet.cz/hp-ultrium-625-tb-lto6-data-tape+dp227704 (https://www.mironet.cz/hp-ultrium-625-tb-lto6-data-tape+dp227704)
Jde to o hodně levnější než jeden HardDisk!!!

Pásky mají tu nevýhodu, že musíš mít mechaniku a je s tím trochu víc práce.
TCO může být u pásky hrozně vysoká, až nepřijatelně vysoká, pokud jich máš málo.
Nebo taky hrozně nízká, pokud zálohuješ hodně TB dat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 13. 10. 2017, 23:16:34
Být na místě původního tazatele, udělám tohle:

- nechám si to vypálit na jednovrstvé BD (nějaké velmi kvalitní)
- koupím obyčejnou LÍNOU flashku od ADATA (Čína...lepší Čína)
No a to dám na jedno místo, třeba k babiče  ;D

Vezmu dva HardDisky, klidně 80GB a nahraju to na ně.
No a dám to na úplně jiné místo.

Taková data se dost těžko ztratí.
Spíš ztratíš klíč k rozšifrování.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: nobody(ten pravej) 14. 10. 2017, 00:08:48
S BD-R mám dost špatnou zkušenost  :-[
rec byla o M-Disk

Souvislý soubor 20GB bych raději hodil na dva disky, klidně IDE připojené přes redukci, najít se dají na smeťáku.
nahravat dulezita data na IDE HDD ze smetaku pres redukci? to je zrale na chocholouska...

DataTresorDisk to řeší dobře, ale má nízkou kapacitu.
DataTresorDisk je alternativa k M-Disk, na kterej si neznale reagoval ze to je nedozrala technologie

- nechám si to vypálit na jednovrstvé BD (nějaké velmi kvalitní)
- koupím obyčejnou LÍNOU flashku od ADATA (Čína...lepší Čína)
takze na M-Disk
LINOU flashku lepsi Cina? ano volejte chocholouska ;)

aneb Milfaus opet nezklamal, vyjadruje se jak pri pocatku puberty a ignoruje zakladni parametry dotazu :)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 14. 10. 2017, 00:33:40
Být na místě původního tazatele, udělám tohle:

- nechám si to vypálit na jednovrstvé BD (nějaké velmi kvalitní)
- koupím obyčejnou LÍNOU flashku od ADATA (Čína...lepší Čína)
No a to dám na jedno místo, třeba k babiče  ;D

Vezmu dva HardDisky, klidně 80GB a nahraju to na ně.
No a dám to na úplně jiné místo.

Taková data se dost těžko ztratí.
Spíš ztratíš klíč k rozšifrování.

Já myslím, že pan kolega neměl tolik starostí o to KAM ukládat data, ale JAK, aby měl jistotu, že se nepoškodí ani bit, a že se nebude jednat o Write-Only zálohu. My odpovídáme už na něco jiného.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 00:41:25

Ty a ta tvoje obsese mojí osobou  ;D
To by bylo, aby ses nesnažil o mojí pozornost ::)
Opakuju ti, že jsem striktně heteráč!
Huš, ztrať se!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 00:45:15

Tož to jó  ;)
Název: Re:Jak spravne zalohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 01:54:36
NEBYLO
Jednak snizujes nekolikanasobne bezpecnost, data muze nekdo ukract primo a pak se obohatit z cizi prace, a schrabnout odmeny za dokonceni projektu. Navic data budou jednou zapsana na disk mimo kontejner nezasifrovana. Pokud data zkomprimujes, pak zasifrujes, tak uz nemuzes davat kontrolu spravnosti archivu. A ten sifrovac muze za behu udelat chybu taky. Aby se klice valely na CD, to je blby napad.

Vazne? Cim je bezpecnost GPG sifrovaneho archivu nizsi, nez bezpecnost TC kontajneru? Nehlede a to, ze bych i mohl 7z mit sifrovany silnym heslem a to cele sifrovane GPG s klicem s jinym heslem, coz prida heslo navic.

Klic na CD je v pohode, pokud k nemu mam silnou passphrazi. Slabinou GPG klice je nedostatecna passphrase, stejne jako slabinou TC je nedostatecne heslo. Ostatne to CD muze byt v bance v sejfu, eventualne ve vice kopiich a take ve vice bankach, kdyby lehl disk a ty jsi prisel o klic, jinak to CD nepotrebujes. Dovolim si tvrdit, ze kdyz ti nekdo ukradne TC kontajner se silnym heslem, je to vetsi riziko, nez kdyz ukradne GPG soubor, ke kteremu nema klic. Samozrejme, opravdu silne heslo tezko dnes rozlouskne, ale teoreticky snaze nez GPG soubor bez klice.

Nevim, jak by data nekdo mohl ukrast primo. Mohl bys to trochu rozvest? Ja bych pustil tar na obah kontajneru, narouroval do 7z -p a to narouroval do gpg. Data se v clear textu objevi jen v pameti a tomu zabranis jen tak, ze s nimi nebudes nikdy pracovat. V prubehu sifrovaci/kompresni operace si zaroven pres tee muzes nechat spocitat checksumy taru podle nekolika algoritmu a to si pak vytisknes, aby sis to mohl kdykoliv zkontrolovat.

Take by se dal vypustit ten tar a pustit na to rovnou 7z, ale rekl bych, ze algoritmus taru je za ta leta mnohem vice provereny nez algoritmus 7z a tak je checksum taru spolehlivejsim indikatorem poskozeni.

Tez neni pravda, ze nemuzu pustit kontrolu archivu. Kdykoliv muzu pusti gpg s vystupem na stdout, narourovat do 7z a nechat si otestovat archiv. Nebo dokonce muzu nechat 7z rozbalit vystup na stdout a nechat si spocitat checksumy taru a zkontrolovat, ze porad sedi.

Ostatne nic ti nebrani mit treba jednu zalohu celeho tveho TC kontejneru na velkem disku a k tomu nekolik zaloh na mensich flashkach/SD kartach podle meho postupu - velikost zalezi na typu dat a stupni komprimovatelnosti. Nebo by clovek mohl na disku zarove skladovat vice zaloh ruzneho stari, protoze diky kompresi se jich tam vejde vice.

A mozna by se nechal i presvedcir rar, aby spolupracoval s GPG. Rar normalne stdout nejak neumi, ale snad by to slo pomoci pojmenovane roury. To by byl opruz, ale zase rar umi sifrovat jmena souboru, takze kdyby omylem nekdo rozsifroval GPG vrstvu, tak se bez rozsifrovani raru ani nepodiva na jmena souboru. To by melo smysl, kdyby ses rozhodl nepouzit tar, protoze pri jeho pouziti jmena souboru nebudou nikde videt.

Rekl bych, ze si se nad problemem poradne nezamyslel.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: romanz 14. 10. 2017, 11:07:25
Já myslím, že pan kolega neměl tolik starostí o to KAM ukládat data, ale JAK, aby měl jistotu, že se nepoškodí ani bit, a že se nebude jednat o Write-Only zálohu. My odpovídáme už na něco jiného.

pan kolega psal "I jeden bajt " takze ztratu na urovni jednoto bitu zrejme neni potreba resit... :)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 14. 10. 2017, 12:09:46
Kompletne zabranit poruse nejde, ale poruchu je treba nejak detekovat. Treba tim, ze soubor bude zabalen jako 7z archiv a bude pravidelne testovan.
Přestaňte trvat na tomhle nesmyslu, už vám tu psali jiní, že tohle je k ničemu a navíc zbytečně komplikované. Komprese souborů do archivu slouží ke zmenšení objemu dat, ne k zajištění neporušitelnosti. Když se ten archiv poškodí, klidně ho rozbalíte, akorát získáte jiná data. Což je přesně to, čemu chcete zabránit. Jediný případ, kdy byste poškození poznal, by byly některé typy poškození metadat.

Pro kontrolu toho, že nedošlo ke změně souboru, se používají otisky souborů, nebo-li hashe. Spočítejte si SHA-512 hash toho ukládaného souboru a hash si někam uložte. (Soubor máte na více místech, hash uložte také na více míst – ideálně ke každému uloženému souboru uložte i jeho hash. Tím máte ošetřené neúmyslné poškození souboru. Pokud se chcete bránit i před úmyslným poškozením, tj. útočník by změnil soubor a také přepočítal hash, uložte si hash ještě někde jinde, offline do trezoru, aby se k němu útočník nedostal.) Až budete chtít zkontrolovat, že se obsah souboru nezměnil, spočítáte znovu jeho hash a porovnáte s tím, co máte uložené. Pokud v tom souboru máte uložený recept na výrobu elixíru mládí, mapu Atlantidy a Peroutkův článek „Hitler je gentleman“, mlžete těch hashů spočítat i víc různými algoritmy, třeba SHA-3,  SHA-512 a třeba ještě BLAKE2.

Ale hlavně, pokud je to opravdu tak důležité, jak tvrdíte, nechte ten proces ukládání, kontroly a obnovy navrhnout někoho, kdo bezpečnosti rozumí. Ta vaše validace pomocí 7z je zásadní chyba, je tudíž dost pravděpodobné, že podobné kiksy máte i v jiných částech procesu, které jste tu nepopsal – třeba práce s tím TC archivem nebo s klíči.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 15:24:50
Komprese souborů do archivu slouží ke zmenšení objemu dat, ne k zajištění neporušitelnosti.

Jirsák zase šíří FUD a bludy  ::) od toho jsem tu já!!!  ;D

Řada archivátorů (snad skoro každý) přidává do souboru kontrolní i opravné součty.
Proto Vám ZIP řekne, že je archiv porušený, protože detekoval chybu, to je sice hodně primitivní kontrola někde úrovni MD5, ale dostatečně odolná, aby se zjistilo poškození byť jen jediného bitu.

Například placená verze RARu v sobě měla i možnost přibalení kontrolních součtů pro sebeopravu.
https://leurproject.co/winrar-powerful-rar-zip-file-utility-261/

Tyto věci se schovávají pod:

Změna jednoho bajtu je pravděpodobnější na úrovni RAM!
V průměru jednou za tři měsíce dojde v ram ke změně hodnoty jednoho bajtu tím, že se změní jeden bit.
Ostatně původní hodnota 0000 0000 je dost rozdílná od 1000 0000.
(Nabitá částice z vesmíru si to prcne do RAMky a tam něco provede.)
Od toho jsou ECC paměti, aby se tohle nestávalo.

Ale zpět k Archivaci, kontrolní součty dobrý archivátor ohlídá velmi dobře.
Skvělý archivátor má při kompresi možnost nastavit velikost kontrolních součtů a pak sám umí soubor opravit.

Mimo to, jak CD/DVD/BD, Pásky i HardDisky disky používají vlastní kontrolní součty!

Jde to až tak daleko, že kontrolní součty jsou nasazené dokonce i na rozhraní disku!!!
https://obrazki.elektroda.pl/9046355500_1374763623.jpg (https://obrazki.elektroda.pl/9046355500_1374763623.jpg)

ZFS roky používá ZFS end-to-end data integrity!!!
CD mělo CIRC: https://en.wikipedia.org/wiki/Cross-interleaved_Reed%E2%80%93Solomon_coding
Každý formát má svoje opravné mechanismy, aby se bity neztrácely!
Takže další kontrolní součty na úrovni souborového systému!!!

Tak bych poprosil Jirsáka A vypatlané debílky, aby tu neFUDovali kraviny o tom, jak je složité zachovat integritu!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 14. 10. 2017, 16:48:47
Řada archivátorů (snad skoro každý) přidává do souboru kontrolní i opravné součty.
Proto Vám ZIP řekne, že je archiv porušený, protože detekoval chybu, to je sice hodně primitivní kontrola někde úrovni MD5, ale dostatečně odolná, aby se zjistilo poškození byť jen jediného bitu.
Problém je právě v tom „někde na úrovni“. Kdyby byla někde na úrovni MD5, je to fajn, protože by to změnu v jediném bitu opravdu zaznamenalo. Ale co když je ta kontrola někde na úrovni CRC32? To už by bylo velmi nedostatečné, vzhledem k tomu, o jak důležitá data má jít. Takže byste musel zjistit, jaký kontrolní součet se v kterém archivačním formátu používá (a vůbec bych se nedivil, kdyby jich pro některé formáty bylo víc a záleželo na tom, který program použijete pro kompresi). Dále byste musel zjistit, že program, který použijete na dekompresi, opravdu provádí tu validaci kontrolních součtů.

Proč to celé, proč takové komplikace, proč používat program k něčemu, na co není určen, když tu máme programy, které jsou na výpočet kontrolních součtů určené, dělají to správně a spolehlivě a jejich použití je mnohem jednodušší, než ta anabáze s kompresí?

Mimo to, jak CD/DVD/BD, Pásky i HardDisky disky používají vlastní kontrolní součty!
Každý formát má svoje opravné mechanismy, aby se bity neztrácely!
Takže další kontrolní součty na úrovni souborového systému!!!
To všichni vědí. Jenže tohle všechno je určené pro běžný provoz, ne k nějakému super jištění. Vzhledem k tomu, že tazatel chce uložit data asi na pět nebo kolik míst, určitě chce mít svou vlastní možnost ověřit si, že data v jednotlivé kopii nejsou poškozená. Ono je to jednodušší, než stahovat všech pět kopií k sobě a pak porovnávat, které z nich jsou stejné a které se liší (což by se dělalo opět přes hashe…).

Mimochodem, třeba při použití Amazon Glacier je použití hashe při uploadu povinné, protože i Amazon chce být chráněný a zkontrolovat si, že k němu po síti doputovalo skutečně to, co klient odeslal. A při downloadu vám (v závislosti na podmínkách) opět pošlou hash stahovaných dat. A to mají TCP segmenty také své kontrolní součty, a linkové protokoly obvykle také.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 14. 10. 2017, 17:21:02
Jak už se tu psalo, nic dalšího než prosté šoupnutí na archivační médium bych na TC kontejner nepoužíval.
- ke každé kopii si uložit její hash, opětovným přečtením z archivního média hash ověřit
- po vytvoření "x" kopií porovnat jejich hashe navzájem (pro jistotu paranoika)
Tím mám jistotu, že mám "x" správných archivních kopií.
Pokud použiji různá média (BD, flashdisk, HDD, páska, něco z toho třeba vícekrát) a umístím je na různá místa, je bezpečnosti učiněno zadost.
A tento postup pravidelně (po změně obsahu TC kontejneru) opakovat.

Všechny další procedury jsou redundantní a zbytečné, jelikož TC kontejner je již ze svého principu dostatečně bezpečný (při správné složitosti klíče). Jen se zvětšuje riziko potencionální chyby při zpracování dalším sw.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 14. 10. 2017, 17:24:32
Zapomněl jsem dodat, že bych na archivační médium spolu s kontejnerem nasypal i instalačku pro čtení toho kontejneru...
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 17:32:11
Řada archivátorů (snad skoro každý) přidává do souboru kontrolní i opravné součty.
Proto Vám ZIP řekne, že je archiv porušený, protože detekoval chybu, to je sice hodně primitivní kontrola někde úrovni MD5, ale dostatečně odolná, aby se zjistilo poškození byť jen jediného bitu.

A to se vyplati. Pouziju ZIP, ktery je primarne urceny na neco jineho, nez kontrola checksumu. A pritom ani nevim, jak moc splehlive a jakym algoritmem to kontroluje. A pritom do nej jeste budu krmit nekomprimovatelna data, takze doporucuji nastavit co nejvyssi pozadovanou kompresi, aby to trvalo co nejdele. A kdyz budu mit stesti, bude vysledny soubor aspon o kousek vetsi, nez original.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 17:44:16
Z těch obyčejných RAR umí BLAKE2, stačí mu to říct parametrem.

Protože opice netuší, co to je BLAKE2: https://blake2.net/ (https://blake2.net/)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 14. 10. 2017, 18:10:14
Z těch obyčejných RAR umí BLAKE2, stačí mu to říct parametrem.
Jenže aby to k něčemu bylo, je potřeba si ověřit, že konkrétní program, který se použije pro rozbalování, ten kontrolní součet opravdu ověřuje. Zejména když použijete nějaký opensource klon, který někdo napsal hlavně pro to, aby dokázal běžné archivy vůbec rozbalit, nemáte vůbec jistotu, že nějaké ověřování kontrolních součtů bude dělat. Vždyť to pro rozbalení není potřeba, a když se ten kontrolní součet neověří, nikdo to nepozná.

Pro pomaleji chápající – použití komprimačního programu v tomto případě nepřinese vůbec žádné výhody, za to má několik nevýhod:

Nemusíte stále dokazovat, že použít tímhle způsobem archiv je možné – to tu nikdo nerozporuje. Důležité je to, že to nedává žádný smysl, protože je to komplikovanější a riskantnější.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Aaa 14. 10. 2017, 18:32:39
Mimo to, jak CD/DVD/BD, Pásky i HardDisky disky používají vlastní kontrolní součty!
To nestaci. U HDD sa bezne uvadza pravdepodobnost neopravitelneho bitflipu 10^-14. To be v bitoch, takze sa da ocakavat chyba kazdych cca 12TB.

Kompresiu samotnu na zalohy nebrat: zmena jedneho bitu so sebou moze zobrat cely archiv. Oznamenie chybneho checksumu na zalohy nestaci. Treba to kombinovat so samoopravnymi kodami:
https://github.com/Backblaze/JavaReedSolomon

A len tak mimochodom, CRC lahko zachyti chyby v jednom bite, to be vidiet na prvy pohlad z navrhu (x^i nebude nikdy delitelne CRC polynomom). U inych hashov to take zrejme nie je.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 20:15:39
Kompresiu samotnu na zalohy nebrat: zmena jedneho bitu so sebou moze zobrat cely archiv.

To je uplne jedno, kdyz rika, ze zmena jedineho bajtu znamena, ze je to cele na hovno. Takze jestli to ma poskozene a rozbalene nebo poskozene a nerozbalene, vyjde uplne na stejno.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 14. 10. 2017, 21:05:00
Jarda P

Taky mas pravdu, ze to jde takhle cele prepajpovat, pak se nesifrovana data na HDD nezapisuji. Ale je to uz slozitejsi prikaz a to se pak bojim nekde neudelat chybu.

Jinak jak tady bylo zmineno, "kompresi" (tady spis ekvivalent tarovani) delat pro moznost testovani kontrolnich souctu asi moc smysl nema. Je tam riziko chyby a u sifrovanych dat spis velikost mirne naroste (a komprese ultra dlouho trva). Ja teda pro tyhle ucely jsem vzdy pouzival nulovou kompresi v 7z (storage). Takze data v archivu jsou videmene stejna. Rychlost komprese je v tomto pripade limitovana diskem a u storage komprese je mensi riziko chyby nez u napr. ultra. Kompresi (storage, tedy nulovou) jsem pouzival jednak pro snadne testovani a jednak pro moznost rozdeleni archivu (napr. pro vypaleni na DVD).
Maximum dilu, na ktery archiv muzes rozdelit timto prikazem je 999.

Nulova Storage komprese s rozdelenim souboru na 4 G casti:
7z a -t7z -mx=0 -v4000m -mmt=off file.7z

Test
7z t file.7z.001 (musis zacinat prvnim, otestuje vsechny dily)

Rozbaleni
7z x 7z.001 (musis zacinat prvnim,rozbali vsechny dily)

Ale asi i by bylo lepsi miksto komrese jen udelat checksumy i s vice algoritmy.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 14. 10. 2017, 21:12:44
Já myslím, že pan kolega neměl tolik starostí o to KAM ukládat data, ale JAK, aby měl jistotu, že se nepoškodí ani bit, a že se nebude jednat o Write-Only zálohu. My odpovídáme už na něco jiného.

pan kolega psal "I jeden bajt " takze ztratu na urovni jednoto bitu zrejme neni potreba resit... :)

Kdyz to bude jeden bit, tak se zmeni celej bajt ne ? Nebo jak to myslis.

Ano otazka byla, jak ty data ulozit spravne, ne tolik kam. Ale kam (ktera media jsou kratko a dlouho dobe spolehliva). S BD zkusenosti nemam, DVD jak kdy. Ale spis je to udelat si DVD nebo BD zalohu jako jednu dalsi, ne jako kritickou. Na Read only media zalohovat jde, ale na kazdou zalohu nove medium treba. DVD RW co vim, tak nic moc. Pasky a HDD vypadaji dobre pro opetovne zalohovani, stejne tak flashdisky jsou dobre v pripade prubezneho prepisovani novejsi verzi.

Ale spis ta otazka byla, jak overit, zdali je zaloha spravna.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 21:22:24
Taky mas pravdu, ze to jde takhle cele prepajpovat, pak se nesifrovana data na HDD nezapisuji. Ale je to uz slozitejsi prikaz a to se pak bojim nekde neudelat chybu.

No, to si to clovek vymysli, otestuje a narve do skriptu. Ten da na ten TC, ze ktereho to bude spoustet. A prida tam xtrlock, kdyby se priplizila KGB, zatimco jsem na hajzlu.

A protoze jsem liny, tak bych si poridil zalohovaci disky, ty olabeloval treba bflm01 az bflm99. Vecer bych jich par napichal do hubu a pustil zalohovaci skript. Ten by zjistil pripojene disky a ty, ktere maji label bflmXX by namontoval a na vsechny zaroven rval tu zalohu v ramci jednoho pruchodu taru, gpg atd. Snad by se to pres noc stihlo, USB neni moc rychle a kdyz se pasmo rozdeli na vic disku.....

Citace
Kompresi (storage, tedy nulovou) jsem pouzival jednak pro snadne testovani a jednak pro moznost rozdeleni archivu (napr. pro vypaleni na DVD).

man split.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 14. 10. 2017, 21:30:35
Jak už se tu psalo, nic dalšího než prosté šoupnutí na archivační médium bych na TC kontejner nepoužíval.
- ke každé kopii si uložit její hash, opětovným přečtením z archivního média hash ověřit
- po vytvoření "x" kopií porovnat jejich hashe navzájem (pro jistotu paranoika)
Tím mám jistotu, že mám "x" správných archivních kopií.
Pokud použiji různá média (BD, flashdisk, HDD, páska, něco z toho třeba vícekrát) a umístím je na různá místa, je bezpečnosti učiněno zadost.
A tento postup pravidelně (po změně obsahu TC kontejneru) opakovat.

Všechny další procedury jsou redundantní a zbytečné, jelikož TC kontejner je již ze svého principu dostatečně bezpečný (při správné složitosti klíče). Jen se zvětšuje riziko potencionální chyby při zpracování dalším sw.

Asi nejlepsi reseni. Jakakoliv manipulace (vc. storage komprese 7zip)  zvysuje riziko chyby. Muzu samozrejme soubor zalohovat soucasne zabaleny i rozbaleny. A TC soubor ma dobre heslo-klic, kradez dat nehrozi, kdyz neni kontejner otevren. Nic lepsiho asi ani neni. VeraCrypt nema zatim tradici.

Misto delani 7z archivu dam kontrolni soucty, vice funkci.

Na BD muzu zalohovat prubezne kazdou verzi (i kdyz kde stare BD pa recyklovat ?)a na flashdisky a vzdalene hdd na serverech vzdy prepisu kontejner novou verzi. A udelam kontrolni soucty. Vzdy mit min. 5-7 ruznejch verzi, na 3-4 odlisnych vzdalenych mistech, min. ve dvou zemich a zaroven mit min. 2-3 ruzne verze v case zazalohovane. A delat, porovnavat, kontrolni soucty min. 2-3 programy, funkcemi. To by melo byt naprosto spolehlive. Nejvic se bojim, aby se soubor neposkodil na vychozim miste a nsiril se postupne do vsech zaloh. Takze prubezne vypalovat na BD nebo zalohovat na pasky.

Takhle to odola pozaru, povodni, ! ramsonware !, zemetreseni, sopce, tsunami,  vloupani, sabotazi a zrade spolupracovniku, slunecni erupci a do urcite miry i padu ne prilis velkeho meteoritu.

U archivu muze chyba jednoho bitu odrovnat cely soubor (?) Veril bych tomu, hlavne u velke komprese. Jak je to s TC kontejnerem ? Muze zmena jednoho nebo par bajtu v kontejneru odrovnat cely kontejner (tj. nedostanu se dovnitr) ? Navic nektere datove soubory musi zustat rovnez zcela nepozkozene tak jako tak.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 14. 10. 2017, 21:39:46
Jinak mimochodem nostalgicka vzpominka na diskety a jejich spolehlivost. Kapacita 1.44 MB do jiste miry na nektere veci se pouzit dala.

Stacilo mit blizko disket mobil a disketa byla v haji. A dokonce casto ani nesla formatovat. A tramvaji diskety jezdili neradi. Magneticke pole od motoru vedlo casto k likvidaci dat. Pri prevozu seminarky z domova do skoly k vytiskuti byl clovek rad, ze se prevoz podaril.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 14. 10. 2017, 21:42:19
Jak už se tu psalo, nic dalšího než prosté šoupnutí na archivační médium bych na TC kontejner nepoužíval.
- ke každé kopii si uložit její hash, opětovným přečtením z archivního média hash ověřit
- po vytvoření "x" kopií porovnat jejich hashe navzájem (pro jistotu paranoika)
Tím mám jistotu, že mám "x" správných archivních kopií.
Pokud použiji různá média (BD, flashdisk, HDD, páska, něco z toho třeba vícekrát) a umístím je na různá místa, je bezpečnosti učiněno zadost.
A tento postup pravidelně (po změně obsahu TC kontejneru) opakovat.

Všechny další procedury jsou redundantní a zbytečné, jelikož TC kontejner je již ze svého principu dostatečně bezpečný (při správné složitosti klíče). Jen se zvětšuje riziko potencionální chyby při zpracování dalším sw.

Asi nejlepsi reseni. Jakakoliv manipulace (vc. storage komprese 7zip)  zvysuje riziko chyby. Muzu samozrejme soubor zalohovat soucasne zabaleny i rozbaleny. A TC soubor ma dobre heslo-klic, kradez dat nehrozi, kdyz neni kontejner otevren. Nic lepsiho asi ani neni. VeraCrypt nema zatim tradici.

Misto delani 7z archivu dam kontrolni soucty, vice funkci.

Na BD muzu zalohovat prubezne kazdou verzi (i kdyz kde stare BD pa recyklovat ?)a na flashdisky a vzdalene hdd na serverech vzdy prepisu kontejner novou verzi. A udelam kontrolni soucty. Vzdy mit min. 5-7 ruznejch verzi, na 3-4 odlisnych vzdalenych mistech, min. ve dvou zemich a zaroven mit min. 2-3 ruzne verze v case zazalohovane. A delat, porovnavat, kontrolni soucty min. 2-3 programy, funkcemi. To by melo byt naprosto spolehlive. Nejvic se bojim, aby se soubor neposkodil na vychozim miste a nsiril se postupne do vsech zaloh. Takze prubezne vypalovat na BD nebo zalohovat na pasky.

Takhle to odola pozaru, povodni, ! ramsonware !, zemetreseni, sopce, tsunami,  vloupani, sabotazi a zrade spolupracovniku, slunecni erupci a do urcite miry i padu ne prilis velkeho meteoritu.

U archivu muze chyba jednoho bitu odrovnat cely soubor (?) Veril bych tomu, hlavne u velke komprese. Jak je to s TC kontejnerem ? Muze zmena jednoho nebo par bajtu v kontejneru odrovnat cely kontejner (tj. nedostanu se dovnitr) ? Navic nektere datove soubory musi zustat rovnez zcela nepozkozene tak jako tak.
Když se data poškodí ve výchozím místě, zjistíš to hned při kontrolním ověření (čtení) první zálohy z těch "x". Snížit riziko lze zvýšením četnosti tvorby záloh... :-)
Takhle to používám několik let. Teda ne úplně - nemám tolik lokalit a tolik médií, data jsou spíš rodinného, osobního, pracovního charakteru. Používám stále TrueCrypt, bo tomu jedinému (zatím) věřím.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 14. 10. 2017, 21:55:05
Ale s tou odolností proti ransomware pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát. 
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 14. 10. 2017, 21:57:12
Pánové, já to tady čtu, a pořád diskuse odbíhá od toho hlavního. Jak zajistit, aby soubor nebyl poškozený - a to jsme se dobrali k tomu, že je potřeba udělat hash (SHA-x) a ten srovnávat. Osobně bych použil více hashovacích algoritmů, pravděpodobnost, že všechny v kombinaci budou mít stejnou chybu (kolizi) je prakticky nulová. Užít k hashování 7z je taky možnost, ale není to primární účel toho programu.

Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná). Takže bych začal tím, aby vše, co se dat dotkne, mělo striktně ECC. Uložení dat může být na řadiči, který se o to sám postará, nebo na filesystému, který udělá tu samou práci (ZFS) - v obou případech je potřeba dobře vyzkoušet implementaci, případně se podívat na certifikace

Jakmile bude soubor bezpečně ohashovaný, pak už se s daty dá pracovat jakkoliv, a dají se kdykoliv kontrolovat.

I já jsem z dotazu tazatele nabyl dojmu, že možná slabých míst ve své úvaze (zpracování) může mít víc, ale tak dotaz položený nebyl.

Lépe za sebe odpovědět nedokážu, úplně se neumím vžít do situace, kdy změna jednoho bajtu úplně zničí (sta)tisíce člověkohodin práce. Patrně, u takové hodnoty, by se o situaci měl postarat někdo, kdo problematice opravdu rozumí, protože naše rady zde jsou neúplné.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 22:23:15
Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná).

To by se asi poznalo podle toho, ze by mi pri vicero pruchodech vychazely ruzne hashe.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 22:25:21
Ale s tou odolností proti ransomware pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát.

Proto dnes uz i Widle maji uzivatelske ucty a ACL. Jak si to kdo osefuje, tak blbe to ma. Nejspis to tam mastili pod adminem a UAC bez cteni odklepavali.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 14. 10. 2017, 22:31:01
Osobně bych použil více hashovacích algoritmů, pravděpodobnost, že všechny v kombinaci budou mít stejnou chybu (kolizi) je prakticky nulová.
Prakticky nulová je pravděpodobnost kolize i u jediného hashovacího algoritmu, pokud se použije nějaký rozumný (třeba SHA-2 nebo SHA-3). Použití dvou hashovacích algoritmů by bylo dobré akorát tak pro dobrý pocit a pro to, že je pořád extrémně jednoduché to použít (zejména v porovnání se zjišťováním, jestli a jaké používá 7zip kontrolní součty).

Užít k hashování 7z je taky možnost
Pak tedy asi víte, jaký hashovací algoritmus 7zip používá, co hashuje a jakým způsobem hashe ověřuje. Mohl byste to nám ostatním prozradit, ať to nemusíme hledat?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 14. 10. 2017, 22:35:33
Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná).

To by se asi poznalo podle toho, ze by mi pri vicero pruchodech vychazely ruzne hashe.

Pokud zdrojová data načtu pokaždé se stejným bajtem změněným proti skutečnosti, tak všechny hashe budou sedět, a všechny budou špatně.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 14. 10. 2017, 22:38:35
Pak tedy asi víte, jaký hashovací algoritmus 7zip používá, co hashuje a jakým způsobem hashe ověřuje. Mohl byste to nám ostatním prozradit, ať to nemusíme hledat?

Někdy jsem to hledal, myslím, že je to SHA-256, ale opravdu už si nepamatuju, jestli je to po souborech, nebo na celý archiv. Myslím, že na celý archiv. Jak jsem psal, muselo by se to ověřit.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 23:10:38
Pokud zdrojová data načtu pokaždé se stejným bajtem změněným proti skutečnosti, tak všechny hashe budou sedět, a všechny budou špatně.

Tak kdyz se tu ted mluvi o tech pravdepodobnostech, tak take nadhodim tezi: Pravdepodobnost, ze pri dvou pruchodech souboru 20 GB pameti, se data nactou do uplne stejnych bloku pameti, se limitne blizi nule.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 14. 10. 2017, 23:12:37
Ale s tou odolností proti ransomware
pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát.

Proto dnes uz i Widle maji uzivatelske ucty a ACL. Jak si to kdo osefuje, tak blbe to ma. Nejspis to tam mastili pod adminem a UAC bez cteni odklepavali.
Nemastili... a bez čtení neodklepávali...
User1 byl administrátorský účet, který měl v danou chvíli otevřený TC kontejner. User2 účet na serveru nebyl administrátor. User2 nebyl na serveru přihlášený. Při kompromitaci jeho PC se zašifrovala jeho uživatelská složka (RW) na serveru, SMB sdílení, která byla RO samozřejmě zůstala v pořádku.
Malware se nějak dostal k obsahu otevřeného kontejneru na serveru přihlášeného User1. Tohle nechápu.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 14. 10. 2017, 23:33:13
Malware se nějak dostal k obsahu otevřeného kontejneru na serveru přihlášeného User1. Tohle nechápu.

Toz jak rikam, jak si to kdo osefuje, tak to ma. Tak blbe chyby snad uz ani ve Widlich  nejsou, aby se to dalo shodit na ne.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 23:42:07
Ty WOE!!!!

To je jak přehlídka retardů!!!

Data na disku JSOU chráněna na HW úrovni proti poškození.
DISK VRACÍ DATA OPRAVENÁ A SPRÁVNÁ, PROTO MŮŽEME MÍT DISKY I NĚKOLIK TERA!!
KDYŽ VEZMU JEDEN A TEN STEJNÝ SOUBOR 5GB, 100X HO PŘEKOPÍRUJU, POŘÁD BUDU MÍT TEN STEJNÝ SOUBOR.

Pokud správně zvolíme souborový systém, je ještě OCHRANA NA ÚROVNI SOUBOROVÉHO SYSTÉMU!!!

Následuje OCHRANA NA ÚROVNI ARCHIVU!!!

Bože! Jak u retadů na na půdě!!!
Kdyby si soubory na souborovém systému žily vlastním životem, TrueCrypt by vůbec nebyl použitelný!!!
Data uložená na discích se NEMĚNÍ!!!
Stará se o to jak disk na úrovni čtení, tak souborový systém!!!

Dokonce i TrueCrypt sám je samozřejmě částečně odolný proti chybám!!!
Jen se nesmí poškodit header a proto tma je možnost si ho zazálohovat!
https://www.sevenforums.com/tutorials/242003-truecrypt-recover-corrupt-container.html

Normálně jsem fakt v klidu, ale tady se možná řeší požadavek někoho, kdo si chce zazálohovat 20GB porna, jak si natočil sestru s jejím přítelem. A přitom je ZCELA NORMÁLNÍ POŽADAVEK, ABY NEDOŠLO KE ZMĚNĚ DAT.

Debilové, jak jsem měl většinu za normální (Mimo Jirsáka, ten je obvykle mimo. A mimo JardyP, který je mimo furt.), tak teď o tom všem mám dost vážné pochyby!

Vaše znalosti jsou evidentně velmi povrchní a povšechné.

Uznávám jednu věc, v Linuxu je řada toolů, které jsou historicky už ZASTARALÉ, SHNILÉ A ŠPATNÉ. Uznávám, že CRC32 je prostě out. Ale tyto zastaralé a třicet let staré utility lze nahradit.

RAR lze nakonfigurovat pro použití s BLAKE2, který je srovnatelný se SHA3-256!!!
Není potřeba použít deset utilit, protože umíte pracovat nanejvýš s TARem, který samoopravu ani kontrolní součty nijak zvlášť neumí. JSOU MODERNÍ A SPOLEHLIVÉ UTILITY, KTERÉ ZVLÁDNOU CELOU PRÁCI.

Znovu zopakuji, DATA NA DISKU SE NEMĚNÍ!!!
Data se s největší pravděpodobností poškodí, když se uloží do paměti počítače, ale ani to není tak časté, aby došlo ke ztrátě dat.

...to snad není možný!!!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 14. 10. 2017, 23:55:10
Ještě jedna věc.
Zvídavého člověka napadne, proč má běžný Archiv i TrueCrypt vlastní samoopravné kódy, když je souborový systém a disk tak spolehlivý.

Předně, jsou souborové systémy, které nejsou samoopravné a neumí detekovat chybu.
Dále, data nemusí být přenášena na discích, ale mohou být přenášena na FLASH, které ČASTO NEMAJÍ ECC!!!
Úplně každý Hard Disk a fakticky každý SSD disk používá alespoň ECC, nikoliv však paměťové karty a ne všechny FlashDisky mají ECC. Hlavně u paměťových karet spíš získáte kartu bez ECC.

Můžete mít paměťovou kartu, která nemá žádný ECC mechanismus a obvykle se souborovým systémem, který taky nemá žádný ECC mechanismus. Proto se ochrana na úrovni datového kontejneru hodí. Dále pak data přenášená po sítí mohou být poškozená, to je další argument.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 15. 10. 2017, 00:12:23
Lépe za sebe odpovědět nedokážu, úplně se neumím vžít do situace, kdy změna jednoho bajtu úplně zničí (sta)tisíce člověkohodin práce. Patrně, u takové hodnoty, by se o situaci měl postarat někdo, kdo problematice opravdu rozumí, protože naše rady zde jsou neúplné.

Takovych moznosti me napada nekolik
-Jednak ze kvuli chybe v urcitych mistech nepujde vubec ten TC kontejner otevrit.
-Dojde ke zmene v klici k jinemu sifrovanemu disku, nebo jine sluzbe.
-Dojde kde zmene v rozsahlem kodu programu a chyba nepujde najit.
-Dojde ke zmene souboru s pristupovymi udaji jinam, pristupove udaje nejdou obnovit, kdyz se ztrati (par takovych prikladu znam).

Otazkou je, jestli pri zmene jednoho bajtu v TC kontejneru (nebo nekolik malo bajtu) se muze stat, ze kontejner nepujde otevrit.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 00:14:45
Disk vrací data opravená. To, jestli jsou ta data taky správná, si zjišťují vyšší úrovně systému – např. souborové systémy pomocí svých kontrolních součtů, aplikace zase pomocí svých kontrolních součtů (které jsou třeba ještě nad těmi kontrolními součty souborových systémů). Podle vás jsou ti autoři souborových systémů a aplikací používajících kontrolní součty blázni, kteří dělají zcela zbytečné věci. Dotyční autoři se ovšem řídí heslem „důvěřuj ale prověřuj“, protože vědí, že existují nejen bezvadné disky, ale také vadné disky. A vědí, že k takovým chybám sice nedochází tak často, aby se s nimi Milfaus už potkal, ale zase na druhou stranu nejsou tak výjimečné, aby se nad nimi dalo mávnout rukou.

A mimochodem, u dnešních disků se ty kontrolní součty nepoužívají proto, aby se opravily případné chyby, ale proto, aby se z toho šumu, který se z disku přečte, podařilo zrekonstruovat původní data s nějakou aspoň trochu slušnou pravděpodobností.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 15. 10. 2017, 00:22:33
Ty WOE!!!!

Normálně jsem fakt v klidu, ale tady se možná řeší požadavek někoho, kdo si chce zazálohovat 20GB porna, jak si natočil sestru s jejím přítelem. A přitom je ZCELA NORMÁLNÍ POŽADAVEK, ABY NEDOŠLO KE ZMĚNĚ DAT.


Zrovna u filmu asi moc neplati, ze jeden bajt v haji muze odrovnat cely soubor.
A navrzena vec jiste bude obsahovat 100 000 clovekohodin prace. To bych musel rucne slepovat jednotlive framesy a kazdy frames upravovat ve fotoshopu hodinu.
Ztrata velkeho mnozstvi penez by se v tomto pripade dala pochopit.

Aby nedoslo ke zmene dat, to je pozadaek normalni. To je fakt.
Stejne tak jako precist si vlakno, min. uvodni dotaz.
Jsi to dneska v hospode prehnal ?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 02:35:20

Jsi blbej nebo tě navedl Jirsák???

Běžně, ale naprosto běžně máme databázové systémy, kde změna jednoho bitu je hodně velký problém.
Já chápu, že tohle ty pochopit nedokážeš, proto se ti ani nebudu snažit vysvětlit, že ZMĚNA ANI JEDNOHO BITU NEPŘICHÁZÍ V ÚVAHU.

DATA NA DISKU SE NEMĚNÍ AŤ UŽ JDE O MEGA, GIGA NEBO TERA!!!

Pokud by se měnila, byl by to zatraceně velký problém.
Běžně mám databázové servery, kde jsou jednotlivé databáze velké od 80 do cca 1T a přirůstají v řáde gigabajty za den.
Databáze jsou o řád citlivější na poškozené soubory a nikdy se jejich obsah nemění samovolně!!!

Tvůj počítač si možná dělá co chce, ostatní počítače pracují podle předem určeného schéma. Proto mají standardní disky ECC i na rozhraní SATA a na vnitřní straně daleko chytřejší a citlivější mechanismy. Jinak by se disk vůbec nedal použít pro databázové systémy atd.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 08:26:47
Databáze jsou o řád citlivější na poškozené soubory a nikdy se jejich obsah nemění samovolně!!!
Popisujete, co se děje, ale já jsem vám k tomu vysvětloval i to, proč se to děje. Ty databázové soubory máte uložené na nějakém RAIDu, RAID má uložené kontrolní součty bloků a při čtení je ověřuje. Pokud mu nějaký kontrolní součet nesedí, přečte data z jiného disku, kde jsou také uložená, a ten původní disk, který vrátil chybná data, označí za chybný a správce jej vymění.

Mimochodem, na skrytou změnu bitů nejsou databáze citlivější. spíš právě naopak. Většina toho, co máte v databázi uložené, jsou uživatelská data. Pokud by se v databázi změnila hodnota 55 731 na 53 683, nebo se „Praha“ změní na „PrAha“, databázi by to opravdu nijak nesložilo, protože ty hodnoty tam klidně mohl zadat i uživatel.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: filcek Jirák 15. 10. 2017, 10:07:10
A nebo by se změnil bit v registru vozidel v  tabulce vlastníci aut u foreign key nějakého auta a najednou by to ukazovalo že vlastník jsi ty a začli by ti chodit složenky.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 11:01:33

Jirsák! Bože!
Ty si myslíš, že všechny ty e-shopy bydlí na RAID polích?
Vyvedu tě z omylu, ne každá databáze ukládá data v plaintextu a databáze jsou na změnu jednoho bitu poměrně dost citlivé! Ono se to zvládne vesměs opravit, ale jak databáze zjistí nekonzistenci, musí se provést oprava.
Nebo že by nevadilo, kdyby docházelo k chybám a měnil by se datový kontejner virtuálního počítače?
Takové kontejnery mají běžně 60 GB obsazeného místa!

Zapomeň na to!
Data na disku se nemění!


Na HW úrovni to hlídá disk, dokonce i data přenášená z disku ven jsou hlídána ECC!
Může to hlídat i souborový systém.
A dobrý archivační program ti zajistí jak integritu tak se dokáže sám opravit!

To se snažíš kvalifikovat pro nominaci na Řád Michala Kolesy? ::)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 15. 10. 2017, 11:35:47
Zapomeň na to!
Data na disku se nemění!


To jste asi ještě neměl v ruce řadič s dírou v cache, nebo třeba s blbou implementací R6.
Je sice pravda, že data na disku se nemění, ale v okamžiku načítání dat kvůli záloze se mohou načíst vždy se stejnou chybou - která se ovšem nemění.

Naopak je dost běžné, že lidé, kteří mají svůj archiv jen na živých discích a roky je přelévají mezi disky, tak v praxi zjistí, že tu a tam něco chybí, nebo je něco poškozené. Ano, asi to nevzniklo úplně samovolně nebo třeba bez signalizace problému - ale jde o tu praxi, ve které musíte najít způsob, který bude bezpečný.

Pro Vás je to asi samozřejmost, že těmto problémům umíte předejít. U tazatele, podle toho, jak to napsal, si tím tolik jistý nejsem.

Abychom se hnuli dál a dokázali si říct, jestli jaká je pravděpodobnost chyby čtení z disku, museli bychom vědět, jak často celých 20 GB dat načítá a zapisuje - což je informace, kterou nemáme.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: RDa 15. 10. 2017, 12:03:37
Data na discich se meni, neco jako 100% spolehlivost neni.

Mam server s ECC a 4x SAS 15k disky v Raid5, BER pro disky je specifikovano 10^15 bitu, coz je 113 TB. Disky maji dle smartu precteno cca 300TB kazdy a nedavno se takova bitova chyba objevila v knihovne ktera je soucasti PHP - takze tam nesel web a v logu hromada segfaultu z webserveru.

MD5 souboru na serveru bylo jine nez v zaloze, takze postacilo soubor obnovit ze zalohy (nastesti se ta neprepsala byt jedu rsync, ale v rezimu ze kontroluje nejprve modify time souboru a ten se nemenil). Pri kontrole obsahu jsem videl v hexdumpu jasnou modifikace jedineho bitu. Verim ze se to stane casteji a jiste mene napadne - tohle sebou neslo velice jasne a neprehlednutelne chovani.

Reseni na tohle je jedine pouzivat FS ktery ma kontrolni soucty ve sve rezii, napr. ZFS. Pak by to nejspis zkusil precist z disku jeste jednou a nenastala tato chyba.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Kalup 15. 10. 2017, 13:11:07
Data na discich se meni, neco jako 100% spolehlivost neni.

Jenze milfaus ma pravdu a ty si zkontroluj disky a ovladac radice!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 15. 10. 2017, 13:58:01

Jsi blbej nebo tě navedl Jirsák???


Ohledne ceho ? Ja jsem reagoval na tvuj nepovedeny vtip v predchozim prispevku. Ze u FILMU zmena jednoho bitu snad neodrovna cely soubor. Film NENI databaze.Je to sekvence obrazku komprimovana kodekem.

Jinak jak bylo navrzeno, ze si nejde predstavit aby chyba v jednom bitu odrovnala 100 000 cloveko-hodin prace, psal jsem, ze takovych veci jsi naopak dokazu predstavit vic. - Sifrovaci klice, databaze, rozsahle projekty v tvorbe kodu, komprimovane archivy, databaze pristupovych udaju, databaze hashu, technicke vykresy. A pak samozrejme ze se to podela v nejakem miste a TC soubor nepujde otevrit.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 14:17:35
Vyvedu tě z omylu, ne každá databáze ukládá data v plaintextu
Proč by měla databáze ukládat data v plaintextu? Já jsem uváděl konkrétní příklad s celým číslem uloženým normálně ve dvojkové soustavě – obě dvě ta čísla jsou platné hodnoty, takže jenom z těch samotných hodnota databáze samozřejmě nepozná, že je něco špatně.

databáze jsou na změnu jednoho bitu poměrně dost citlivé!
To už jste jednou psal, a já jsem vám to vyvracel, že většina dat uložených databází jsou uživatelská data, a pokud by došlo k překlopení bitu v nich, databázi to nijak vadit nebude.

Ono se to zvládne vesměs opravit
Aha, takže ty chyby, ke kterým podle vás nedochází, se vlastně vyskytují, ale magicky se to samo opravuje.

ale jak databáze zjistí nekonzistenci, musí se provést oprava.
Opět, jaká nekonzistence, když k tomu podle vás nedochází?

Nebo že by nevadilo, kdyby docházelo k chybám a měnil by se datový kontejner virtuálního počítače?
Takové kontejnery mají běžně 60 GB obsazeného místa!
To, že vy jste se s nějakou chybou nesetkal, neznamená, že vůbec neexistují. Zřejmě taky nezálohujete, protože vám nikdy žádný disk neodešel a budete tvrdit, že k selhání disků nedochází. Víte, jiní lidé se ale neřídí jen svou vlastní zkušeností, takže když mají informace o tom, že disk může selhat, zálohují data, i když jim disk zatím neselhal.

Data na disku se nemění!
Stopy na disku jsou dnes tak blízko u sebe, že zápis do jedné stopy ovlivňuje i vedlejší stopy. Dnešní disky fungují spíš tak, že čtecí hlava přečte nějaký spíš šum než data, a na základě samoopravných kódů se z toho zrekonstruuje, co tam asi mělo být uloženo. Ta data se nemění v tom smyslu, jak si to představujete vy, že by na tom disku někde byla vyražená jednička a sama se změnila na nulu. Ne, ta data se mohou změnit tak, že tam toho šumu může být už příliš mnoho, víc, než kolik zvládnou opravit dané samoopravné kódy.

Může to hlídat i souborový systém.
Aha, takže souborový systém hlídá chyby, které nemohou nikdy nastat. Proč pak to asi dělá?

A dobrý archivační program ti zajistí jak integritu tak se dokáže sám opravit!
A dokonce i dobrý archivační program hlídá chyby, které nemohou nikdy nastat. Zdá se, že v oblasti ukládání dat panuje obsese v ukládání zbytečných kontrolních součtů. Tak proč se k tomu nepřidat a neuložit si je taky?

Mimochodem, bavili jsme se tu o 7zipu a raru, což nejsou archivační programy, ale komprimační. A dobrý komprimační program rozhodně data nebude opravovat, protože pro možnost opravy dat potřebujete jejich redundanci, nebo-li by se tím velikost komprimovaného souboru zvětšovala. Přičemž komprimační soubory se používají proto, aby byl zkomprimovaný soubor co nejmenší, ne proto, aby byl ještě větší, než originál. Podobné je to i s těmi kontrolními součty, i ty zabírají místo navíc.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 14:26:06
Data na discich se meni, neco jako 100% spolehlivost neni.
Jenze milfaus ma pravdu a ty si zkontroluj disky a ovladac radice!
Kdyby měl Milfaus pravdu, tak by přece kontrola disků a řadičů byla zbytečná. Pokud by nemohla nastat chyba disku nebo řadiče, která by znamenala přečtení špatných dat, co byste na tom chtěl kontrolovat? Takže sám potvrzujete, že není možné se spolehnout na to, že disk 100% vždy vrátí správná data. Ano, pokud disk vrátí špatná data, je to ve většině případů způsobené závadou na disku nebo na řadiči. Ale proto se ty kontrolní součty používají, aby se takové závady odhalily.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Googler 15. 10. 2017, 14:31:35
Běžně, ale naprosto běžně máme databázové systémy, kde změna jednoho bitu je hodně velký problém.
Já chápu, že tohle ty pochopit nedokážeš, proto se ti ani nebudu snažit vysvětlit, že ZMĚNA ANI JEDNOHO BITU NEPŘICHÁZÍ V ÚVAHU.

DATA NA DISKU SE NEMĚNÍ AŤ UŽ JDE O MEGA, GIGA NEBO TERA!!!

Pokud by se měnila, byl by to zatraceně velký problém.
Běžně mám databázové servery, kde jsou jednotlivé databáze velké od 80 do cca 1T a přirůstají v řáde gigabajty za den.
Dobry den pane Milfhausi,
v Googlu nas stoji redundance na detekci a opravu poskozenych dat opravdu hodne. Zmeny bitu nastavaji v CPU, RAM i na disku. V zavislosti na frekvenci bitflipu a poloze zasazenych servru lehce urcime polohu slunce nad datacentrem, coz napovida, ze nejde o softverovou chybu.

Budou-li vase znalosti uzitecne k znizeni nasi redundance bez zvyseni rizika, bohata odmena vas nemine. Zanechejte zde kontakt.
Dekuji
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 15. 10. 2017, 14:50:24
Dobry den pane Milfhausi,
v Googlu nas stoji redundance na detekci a opravu poskozenych dat opravdu hodne. Zmeny bitu nastavaji v CPU, RAM i na disku. V zavislosti na frekvenci bitflipu a poloze zasazenych servru lehce urcime polohu slunce nad datacentrem, coz napovida, ze nejde o softverovou chybu.

Opravdu je Slunce (jeho poloha a odtud i tok vysokoenergetickych castic) jednou z hlavnich pricinou chyb v datech (ram, disky) ? To jsem ani nevedel. Spis bych vinu daval mobilum, spotrebicu, tramvajim a pod. Ale asi to opravdu budou ty vysokoenergeticke castice. Jake procento chyb priblizne souvisi se Sluncem a zavisi fregvence chyb i na Slunecnim cyklu ?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 14:51:00
Kdyby měl Milfaus pravdu, tak by přece kontrola disků a řadičů byla zbytečná.

Cache řadiče má ECC, propojovací kabely jsou chráněny na úrovni protokolu ECC i disky mají různé způsoby opravy.

A teď, proč tam ta kontrola je.
V prvé řadě jde o to, jestli se data zapsala správně, jestli například nevypadl proud v průběhu zápisu.
To je primární důvod kontroly konzistence dat.

Disk vrací správná data (pokud není poškozený nebo nemá poškozený firmware), ale pokud v průběhu zápisu dojde k chybě z důvodu selhání napájení nebo třeba selhání ovladače, pak se taková chyba objeví.

Já chápu, že tomu třeba nerozumíte, ale je to tak.
Vezměte si to obráceně, pokud by ke změnám na disku docházelo, pak by raid 0 nebyl možný!

Prosím, zkuste si pustit takovýto skript:
Jde to udělat i bez restartu, ale chce to mít systém s dostatně malou pamětí, aby se neuplaťnoval vliv cache a data se skutečně četla.

Uvidíte, že ani po 10 000 zkopírováních nedojde k chybě.
No, pokud by došlo, máte jednoduše vadnou ram.

Chápu, že to pro člověka s výučákem může být těžko uchopitelné, ale člověk s maturitou by s pochopením neměl mít problém.


Jak bylo zmíněno výše, zkontroluj si řadič, SMART hodnoty disků a aktualizace firmware.
Toto není standardní stav.

Lidi, kdyby se soubory poškozovaly, VŮBEC BY NEFUNGOVAL BITTORENT!!!
Každý by měl jinou verzi souboru a hash by bylo zbytečné provádět, protože by se musel provést třeba 100x
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 15:09:52
Opravdu je Slunce (jeho poloha a odtud i tok vysokoenergetickych castic) jednou z hlavnich pricinou chyb v datech (ram, disky) ?

To nemusí být nutně slunce, taková částice může putovat i hodně daleko.
Obecně nejsem odborník na kosmické záření.
A bavíme se jen o pamětech RAM.

U pevných disků (magnetických) jsou příčiny selhání vesměs jiné, protože tam nejde o to, jestli se nějaký kondenzátor nabije nebo vybije. Tam jde o magnetický zápis, který mimochodem OBSAHUJE ŘADU CHYB!!!
Jinými slovy, pevný disk přečte záznam s určitým odstupem šumu od signálu a dochází k rekonstrukci správného záznamu. Samoopravné mechanismy jsou velmi silné a odolné! Musí být, CHYBA SE NEPŘIPOUŠTÍ.

Výrobci disků se kdysi dohodli, že sektory, které nebude možné přečíst se 100% spolehlivostí, tj. vrátit data, se vyřadí (realokují) a výstup bude zaznamenán do SMART do položky sector realocated count.

Ano, tady se dostáváme do zajímavého místa, kde najdeme výjimku potvrzující pravidlo.
Ve chvíli, kdy disk vyhlásí poruchu, tj. SMART zažloutne, výrobce už nenese za konzistenci dat záruku!!!
Tj. pokud je disk ve SMART zelený, pak vám výrobce ručí za konzistenci dat a můžete se s ním soudit o to, že vám data ztratil. Pokud ovšem disk zareportuje chybu, což pozná velice snadno, protože například u SSD se používá 12-ti bitová ochrana, jinými slovy, pokud dojde k selhání 12-ti bitů, pořád to jde opravit, tak ve chvíli, kdy dojde k situaci, že chyba nastala opravdu v takovém rozsahu, disk začne hlásit selhání.

Řada lidí nemá na počítačích jen porno, jako třeba někteří místní diskutující.
Ale mají tam výkresy letadel, mají tam lékařské záznamy a další věci, které nejsou uloženy na raidu a často jsou pouze v jedné živé kopii. Neexistuje, aby ve výkresu z CATIA došlo ke změně jednoho bitu a letadlo pak spadlo!

Uvedu pár příkladů:
https://pevne-disky.heureka.sk/patriot-lite-64gb-ssd-eee-pc/specifikace/
12-bit ECC (Používá standardní 12bit ECC.)
Což je naprosto běžné, chyba 5 bitů je šum, zbývajících 7 chyb tam ze začátku není, postupně, jak se disk opotřebovává, tak se objevují. Na základě této hodnoty se pak mění ukazatel životnosti disku.

U pevných disků jsou ovšem úplně jiné mechanismy, daleko sofistikovanější.

V USA se můžete s výrobcem disků soudit, pokud vám disk vrátí chybná data a přitom nereportuje chybný stav.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 15:20:16
12-bit ECC (Používá standardní 12bit ECC.)
Což je naprosto běžné, chyba 5 bitů je šum, zbývajících 7 chyb tam ze začátku není, postupně, jak se disk opotřebovává, tak se objevují. Na základě této hodnoty se pak mění ukazatel životnosti disku.

Tohle je velmi zajímavé.
Bavíme se o SSD.

Víte, že v paměťových čipech dochází k silnému šumu, elektromagnetickému rušení, které silně ovlivňuje kvalitu přenosu? Chyba na úrovni 5-ti bitů je naprosto běžná a řekněme ZCELA OBVYKLÁ. Tj. v průměru, když přečtete jakýkoliv fyzický blok (schválně neuvádím sektor), je 5 bitů poškozených z důvodu šumu?

Firmware disku nemá problém opravit chybu na úrovni 12ti bitů.
Tj. pokud je z celého bloku 12bitů vadných, pak se blok označí jako problémový a vyřadí se.
Tím klesne ukazatel životnosti disku.
Jinými slovy, lze sledovat, jak se snižuje počet zdravých bloků na disku, resp. jak se zvyšuje počet problematických.
Pokud je chyba od 9-ti do 12 bitů, je sektor vyřazen.
Pokud jde chyba přes 12bitů (systém spolehlivě pozná až 18 vadných bitů), nejde disk do žluté, ale do červené, tj. označí se, jako že selhává a SMART by při startu měl reportovat problémy.

Taková situace totiž není normální.

Enterprise SSD pak mají schopnost pracovat až se selháním >24bitů.

Paradoxně, s použitím levnějších MLC se dostáváme do stanu, kdy chyba na úrovni 10-15 bitů se stává běžnou, blok se vyřazuje při poruše 19-24 bitů a disk skáče do červené při poruše nad 24 bitů.

Ano, disk, který hlásí selhání, skutečně nemusí vracet správná data.

Algoritmy typu BCH-ECC jsou dobré, dá se jim věřit a pokud je člověk paranoik, může si hlídat konzistenci i na úrovni FS.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Googler 15. 10. 2017, 15:26:22
Opravdu je Slunce (jeho poloha a odtud i tok vysokoenergetickych castic) jednou z hlavnich pricinou chyb v datech (ram, disky) ? To jsem ani nevedel. Spis bych vinu daval mobilum, spotrebicu, tramvajim a pod. Ale asi to opravdu budou ty vysokoenergeticke castice. Jake procento chyb priblizne souvisi se Sluncem a zavisi fregvence chyb i na Slunecnim cyklu ?
Tramvaje a velke spotrebice na dosah serveroven nemame.
Tohle vime jenom tak, ze se stazista pokousel zjistit, co muze za ty velke velke narusty bitflipu (o rad nad minimem), ktere se na servrech objevuji kazdy den. Zjistil, ze kazda servrovna to ma jinak a maximum je vzdy v prave poledne.
Slunecni erupce vidime v monitoringu kdyz k nam prileti nabite castice. Slunecni cykly trvaji dele a nikdo to u nas nestudoval. Mobily se hybou, zjisteni by trvalo dele.
Data jsou chraneny vicenasobnou redundanci, proto se pricinama detailneji nikdo nezapodival.

Vezměte si to obráceně, pokud by ke změnám na disku docházelo, pak by raid 0 nebyl možný!
Vyhrava nekdo loterii? Ja jeste sportku nevyhral, tedy to neni mozne! Kdyby se to delo, tak by majitel sportky krachnul! Nemuzou preci kazdemu vyplatit miliony! Ekonomie by skoncila, penize zadarmo!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 15:51:48
například u SSD se používá 12-ti bitová ochrana, jinými slovy, pokud dojde k selhání 12-ti bitů, pořád to jde opravit
Zkuste se zamyslet nad tím, co jste napsal. Když načtete jeden bajt, tedy 8 bitů, může tam být 12 bitů chybných? 12 z 8? Nebo je to 12 bitů na celý disk? Takže když máte 512 GB SSD disk, může na něm být chybných 12 bitů, a pořád je možné obsah celého disku obnovit? To by ale znamenalo, že byste při každém čtení musel přečíst úplně celý disk, abyste mohl spočítat kontrolní kód a detekovat chyby, případně je opravit. Už vám je jasné, jaký jste napsal nesmysl? Už víte, že chybovost je nutné vždy uvádět jako podíl, tedy například že řadič ECC dokáže detekovat a opravit jednobitovou chybu v 64bitovém slově, případně dvoubitovou chybu v 64bitovém slově dokáže detekovat?

Ale jinak je fajn, že jste konečně uznal, že úložiště může selhat a vrátit chybná data, takže ukládat kontrolní součet dat není až tak bláhový nápad, jak jste ze začátku tvrdil.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 17:41:53

Jirsák nerozumí psanému textu, že?
Chyba 12bitů se rozumí na CELÝ BLOK!
Pokud má SSD interně 640b bloky (spíš by se slušelo říct stránky), tak se bavíme o to, že se dá opravit chyba až 12 bitů KDEKOLIV v tom bloku a rozpoznat chyba až 18b!!!

To nemá cenu, hele, Jirsáku, máš nějakou školu, kurz nebo alespoň minimum?

Přiznej se, že ty to děláš schválně  ;D
TY MĚ TROLÍŠ!!! TY MĚ TROLÍŠ A JÁ TI TO ŽERU  ;D ;D ;D
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 15. 10. 2017, 18:25:07
Ty WOE!!!!

To je jak přehlídka retardů!!!

Data na disku JSOU chráněna ...... OCHRANA NA ÚROVNI SOUBOROVÉHO SYSTÉMU!!! ........
 OCHRANA NA ÚROVNI ARCHIVU!!!

Pak je jeste mozne na disk navleknout externi ochranu Primeros. Doporucuje 9 Milfausu z deseti.

[/quote]
Bože! Jak u retadů na na půdě!!!
[/quote]

Vsichni jsou debilove, jen Milfaus je genius. Doufejme, ze se brzo rozcili tak, az ho rani mrtvice, abychom mu nemuseli zavidet.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 15. 10. 2017, 20:23:39
...

Kolega Milfausi,
věc se má tak, že v praxi se opravdu setkáte s disky, které dávají data poškozená, ačkoliv se tváří, že je vše OK. Řadiče, které stejné bloky pošlou stejně pokažené - a veškeré ostatní I/O operace už se počítají nad poškozenými daty.

Z toho důvodu existují metody zvyšování redundance dat, ECC atd. Paměti se kromě ECC režimu v takových případech i mirrorují - protože i přes ECC může dojít k systematické chybě.

Bohužel nevíme, o jaká data jde. Já sám bych určitě doporučil mít dobře nastavenou retenci záloh a pravidelné testování na úrovni aplikace. Bohužel, od tazatele ani nevíme, jestli aplikace poškozený bajt pozná, či ne. Strašně smutné, ale nikoliv vyloučené pak je, když se rok ukládají zálohy, ve kterých vlastně nejsou správná data, protože je poškodil už řadič, či driver OS. Pak nemáte nic.

Zde bych asi nechal na tazateli, aby upřesnil, nebo aby si vybral z toho, co tu zaznělo.
Můj dojem je, že tazatel zveličuje rizika a zároveň podceňuje technologie. Vlastně ani nevíme, na jakém serveru to běží, jaké ECC jsou zapnuté, v jaké jakosti (entry-level, enterprise, ...)... Třeba zjistíme, že to celé běží na Inter Rapid Storage a na běžných RAM, a na WD Red :), a my tu mezitím vymýšlíme pitomosti.


Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: milous 15. 10. 2017, 20:28:59
Ahoj

Mate napady, jak bych mel spravne zazalohovat soubor priblizne 20 GiB velky. Velmi dulezite je, jednak aby nedoslo ke ztrate souboru, ale take se v souboru nesmi objevit vubec zadna chyba. I jeden bajt chybne muze byt zcela fatalni. Uniku dat se neni treba obavat, vyreseno sifrovanim. Jde rozhodne o to, aby se nevyskytla v datech vubec zadna chyba. Ztrata dat by byla naprosto znicujici.

Napada me:
-Soubor bude alespon na 4 mistech.
-Data samozrejme musi byt na ruznych pocitacich, geograficky oddelena. Vzdalenost mezi zaloznimi misty min. 10 km, navic bude to alespon ve dvou zemich.
-Soubor zabalim napr. 7z a pak muzu kdykoliv pravidelne archiv kontrolovat, zdali jsou data v poradku. Cas od casu take zkusim archiv rozbalit. Bude to na Unixovem serveru.
-USB disk neni dobry na delsi zalohy, nutne data znova prehravat rekneme jednou za 3 mesice.
-I pevne disky v radu let-desitek let odchazeli, nutne rovnez cas od casu zalohy prepsat.

Asi by bylo mozne pouzit i napr. Google drive nebo MegaUpload, nebo neco podobneho. Otazkou ale je, jak je to spolehlive, jestli jdou napr. stara data vytahnout po letech. Min. ulozto data po case maze. Navic nevim, jestli jde provest kontrolu achivu nebo jinak kontrolni soucty, min. u mega.co.nz to nejspis nepujde. Navic po case muze byt ucet smazan z duvodu neaktivity nebo jinych duvodu. A i kdyz je soubor zasifrovany, tak se mi to uplne cpat do cloudu nechce.

Nic dalsiho me nenapada.

co to dat na FreeNAS s ECC na ZFS a replikovat pripadne na dalsi FreeNASy, nic spolehlivejsiho nez ZFS, tedy pokud tam mas slusny enterprise hdd a ECC ramky, neznam
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 15. 10. 2017, 21:19:49
Jirsák nerozumí psanému textu, že?
Chyba 12bitů se rozumí na CELÝ BLOK!
Pokud má SSD interně 640b bloky (spíš by se slušelo říct stránky), tak se bavíme o to, že se dá opravit chyba až 12 bitů KDEKOLIV v tom bloku a rozpoznat chyba až 18b!!!
Pěkně prosím, kde v tom vašem textu bylo napsané, že je to 12 bitů na blok? Aby mohl někdo rozumět psanému textu, musí nejprve existovat ten psaný text. A také bývá vhodné, když ten text je psaný v nějakém všeobecně uznávaném jazyce, což lze jen stěží říct o shluku slov „Chyba dvanáctibitů se rozumí na celý blok!“ „Rozpoznat chyba až osmnáctibitový“ je také zajímavá češtin. Jestli on spíš nebude problém v tom, že Milfaus neumí psát.

Ten váš SSD s 80bajtovými stránkami taky musí být zajímavý kousek. Zaměňovat bloky a stránky taky není to pravé, protože je to každé něco jiného – bloky SSD disků se skládají ze stránek (které mají obvykle 4 KiB, ale mohou mít třeba i 8, 16 nebo jen 2 KiB).

Přiznej se, že ty to děláš schválně  ;D
Ano, ty vaše nesmysly opravuju schválně. Zajímavé spíš je, proč vy ty nesmysly píšete.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: krallinuxu1 15. 10. 2017, 21:53:37
Na zálohování dat jsou nejlepší CD-R média. Vejde se na ně hromada dat jakou nikdo nemá a přečtu je i za tisíc let.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 22:40:24

Pokud má řadič chybu, tak se chyba dá rozpoznat.
Disky vracet chybná data nemohou a nesmí.
Od toho to je pevný disk, kdyby vracel občas správná data a občas špatná, byla by to magická krabička.

Mimochodem, snad všechny archivy mají detekci poškození, alespoň na úrovni CRC32.
Kdy jste naposledy uložil na ZDRAVÝ disk archiv a pak nešel rozbalit?
V tomhle nemáte pravdu, popravdě si schovávám trumfové eso ;-)

Samozřejmě se shodneme na tom, že vážně poškozený disk nebo disk se špatným firmwarem, může vracet špatná data.
Ale to je výjímka.
Tady jsou jistá individua, která v zásadě tvrdí, že ZDRAVÝ DISK OBČAS VRACÍ ZÁVADNÁ DATA.
No a to je zkrátka nesmysl.

Já se přiznám, že už se ani nenamáhám to číst.
Myslete si co chcete.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 22:42:05

Ne Járo, nejsem letadlo, jen ty mně nekecej do počítačů a já ti nebudu kecat do pokládání koberců.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: ToJsemJa 15. 10. 2017, 22:54:02
Vážení, jen kroutím hlavou.
Zdravý disk vrací zdravá data, tedy to, co jste na něj uložili.
Nepřichází v úvahu ani změna jediného bajtu, mělo by to katastrofické scénáře.
Děkuji a už se nehádejte.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: krallinuxu1 15. 10. 2017, 22:57:11
Zdravý disk vrací zdravá data ...
... a nemocný disk vrací nemocná data.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 23:13:42
nemocný disk vrací nemocná data.

To bych řekl, že nikdo nezpochybňuje.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 15. 10. 2017, 23:46:11
Pokud má řadič chybu, tak se chyba dá rozpoznat.
Disky vracet chybná data nemohou a nesmí.
Od toho to je pevný disk, kdyby vracel občas správná data a občas špatná, byla by to magická krabička.

V tom všem se s Vámi nikdo nepře. Jde jen o to, jestli tu chybu zjistíte dřív, než Vám uteče retence dat v archivu záloh. Jen připomínám, že zde řešíme poměrně dramaticky vylíčený požadavek, aby se nezměnil ani bajt v datech, protože by to mělo obrovské dopady. Víme, že tazatel zálohuje do X míst, ale netušíme, kolik záloh zpětně dělá, a jestli někdy zkouší ze zálohy obnovit.

I já se v běžném životě na disky a řadiče spoléhám, přesto mám nastaveno zálohování a archivaci dat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 15. 10. 2017, 23:54:44
V tom všem se s Vámi nikdo nepře.

No evidentně přou.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 16. 10. 2017, 00:17:04
V tom všem se s Vámi nikdo nepře.

No evidentně přou.

Holt jste vepri.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 16. 10. 2017, 00:19:01

Sám jsi vepř  ;)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 16. 10. 2017, 00:31:43
Data na discich se meni, neco jako 100% spolehlivost neni.

Já tvrdím, že to byla závada/selhání.

To, že vy jste se s nějakou chybou nesetkal, neznamená, že vůbec neexistují.

Stopy na disku jsou dnes tak blízko u sebe, že zápis do jedné stopy ovlivňuje i vedlejší stopy. Dnešní disky fungují spíš tak, že čtecí hlava přečte nějaký spíš šum než data, a na základě samoopravných kódů se z toho zrekonstruuje, co tam asi mělo být uloženo.

Jirsák zase, že to jsou prostě jen jakási odhadnutá data.

v Googlu nas stoji redundance na detekci a opravu poskozenych dat opravdu hodne. Zmeny bitu nastavaji v CPU, RAM i na disku.

Tohle je vyloženě směšné.

A bláboly od JardaP.  ::)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: nobody(ten pravej) 16. 10. 2017, 03:57:43
Ty a ta tvoje obsese mojí osobou  ;D
To by bylo, aby ses nesnažil o mojí pozornost ::)
Opakuju ti, že jsem striktně heteráč!
Chlapce nefandi si, reaguju na hovadiny co pises... to je cele ;) a to ze ocividne nejsi heterac me opravdu nezajima, to ze to popiras bys mel resit ale s psychologem, ventilace na foru ti nepomuzou ;)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 16. 10. 2017, 06:56:11
nemocný disk vrací nemocná data.

To bych řekl, že nikdo nezpochybňuje.
O čem tedy celou dobu píšete? Na začátku bylo tvrzení, že je vhodné mít u souboru kontrolní součet, aby bylo možné rozpoznat, že disk je nemocný a vrátil špatná data. Vy to celou dobu zpochybňujete a tvrdíte, že disk nikdy za žádných okolností špatná data vrátit nemůže.

Já se přiznám, že už se ani nenamáhám to číst.
To je váš problém, že chcete setrvávat v bludu. Tak ty bludy aspoň dál nešiřte.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 16. 10. 2017, 09:37:28
za žádných okolností špatná data vrátit nemůže.

Pokud není vadný, tak ne!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 16. 10. 2017, 10:38:02
Pokud není vadný, tak ne!

Ale v praxi vadné kusy potkáte. A taky v praxi můžete závadu zjistit až po dlouhé době (neprojevuje se zrovna na datech / v oblastech, kde byste si toho všiml hned). V tu chvíli už můžete mít všechny zálohy cinknuté tou vadou.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: snuff1987 16. 10. 2017, 10:40:18
No preto sa disky kupuju minimalne z inej serie. Najlepsie nie vsetky od jedneho vyrobcu.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Qwerty 16. 10. 2017, 11:51:16
Nechci se Milhause zastávat, ale opravdu tu někteří tvrdí, že disk vrací data podle nálady, což není pravda.
Proto se přidám na stranu Milahuse.

Miroslav Šilhavý
To je typický příklad WD!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 16. 10. 2017, 11:59:30
Pokud není vadný, tak ne!
To je opravdu výborná informace. Vy to víte dopředu, že ten disk je vadný? Kupujete disky „dejte mi pět bezvadných a tři vadné“? Asi těžko. Ve skutečnosti máte disky, u kterých nevíte, zda jsou vadné nebo bezvadné. Dokonce i dříve bezvadný disk se může změnit ve vadný. A to, že je disk vadný, se dozvíte buď tak, že rovnou začne hlásit tvrdé chyby a data vůbec nepřečte, a nebo právě tak, že vám vrátí špatná data, což zjistíte právě z kontrolního součtu. Ano, většina vadných disků se projeví tak, že budou rovnou vracet tvrdé chyby, ale to neznamená, že k vrácení chybných dat nemůže dojít.

Nechci se Milhause zastávat, ale opravdu tu někteří tvrdí, že disk vrací data podle nálady, což není pravda.
Já jsme nikoho takového nezaznamenal. Naopak jsem si všiml, že Milhaus pořád předpokládá, že vadné disky nemohou existovat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Qwerty 16. 10. 2017, 12:21:17
Pane Jirsák, naopak! To z vašich postů jsem nabyl přesvědčení, že disky vrací vadná data zcela běžně.
Asi jste způsobil zábavné nedorozumění.


Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 16. 10. 2017, 12:40:41
Pane Jirsák, naopak! To z vašich postů jsem nabyl přesvědčení, že disky vrací vadná data zcela běžně.
Asi jste způsobil zábavné nedorozumění.

Pokud tvoříte strategii zálohování a archivace, musíte si jako předpoklad položit veškeré možné havárie a předpokládat, že se vyskytnou. To není jen o vadných discích či řadičích, ale i o riziku průrazu blesku, požáru, ... Proto se pak volí strategie, která rizika mitiguje.

Kdybychom předpokládali, že elektřina je v pořádku, servery v pořádku, disky v pořádku, řadiče v pořádku, pak bychom ani nemuseli řešit zálohování.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Qwerty 16. 10. 2017, 13:09:25
Pane Šilhavý, já si myslím, že to nikdo nezpochybňoval.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 16. 10. 2017, 13:31:53
Pane Šilhavý, já si myslím, že to nikdo nezpochybňoval.
V tom případě jste asi přehlédl všechny příspěvky Milfause.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Qwerty 16. 10. 2017, 13:42:40
Pane Jirsáku, nepřehlédl jsem nic.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: lupen 16. 10. 2017, 13:50:52
Souhlas s qwerty i milhausem!
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 16. 10. 2017, 15:20:17
Ano, většina vadných disků se projeví tak, že budou rovnou vracet tvrdé chyby, ale to neznamená, že k vrácení chybných dat nemůže dojít.

Já od začátku tvrdím jen tolik, že zdravý disk VŽDY VRACÍ ZDRAVÁ DATA.
Pokud má chybu ve firmware, pak se nejedná o zdravý disk.
Pokud je poškozený, pak se nejedná o zdravý disk.

Kdybych měl pocit, že jde jen o nedorozumění, nabídl bych ruku ke smíru, ale myslím, věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.

Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 16. 10. 2017, 15:36:16
Kdybych měl pocit, že jde jen o nedorozumění, nabídl bych ruku ke smíru, ale myslím, věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.

Tak si můžeme podat ruku na tom, že mohou nastat případy, kdy se disk jeví jako zdravý, a přitom není. Já k tomu dodával, že tomu se dá předejít tím, že se data pravidelně obnovují a na aplikační úrovni se otestují, že jsou v pořádku.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 16. 10. 2017, 16:02:07
Já od začátku tvrdím jen tolik, že zdravý disk VŽDY VRACÍ ZDRAVÁ DATA.
Pokud má chybu ve firmware, pak se nejedná o zdravý disk.
Pokud je poškozený, pak se nejedná o zdravý disk.
Vy si pouze myslíte, že od začátku tvrdíte něco o zdravém disku. Ve skutečnosti jste od začátku nepsal o zdravých discích, psal jste o discích obecně, jako by se to týkalo všech disků. Teprve po několika kolech diskuse jste naznal, že je váš postoj neudržitelný, a „nenápadně“ jste doplnil, že vlastně myslíte jen zdravé disky.

A pokud tedy od začátku píšete pouze o zdravých discích, jak se nám snažíte namluvit, pak je otázka, proč jste vůbec vstupoval do této diskuse s nesouvisejícím tématem. Tady totiž nikdy nebyla řeč o tom, že má někdo zaručeně jen zdravé disky. Naopak od začátku se diskutuje o tom, jak detekovat chybná data.

věřím, že pořád máte pocit, že i zdravý disk může vracet špatná data, což není pravda.
Za prvé, já nemám pocit, že by bylo pravděpodobné setkat se s tím, že zdravý disk vrátí špatná data. Nikdy jsem nic takového nenapsal – už jenom proto, že bych byl blázen, abych psal jen o zdravých discích, když o disku nikdy dopředu nevím, zda bude zdravý nebo zda u něj dojde k nějaké chybě.

Za druhé, teoreticky se může stát, že i zdravý disk vrátí špatná data. Podobně jako se teoreticky může stát, že ECC řadič vrátí špatná data z ECC paměti. Všechny ty samoopravné kódy jsou totiž založené jenom na pravděpodobnosti. To nejsou žádné magické formule, které by zajistily, že data nemohou být špatná. Samoopravné kódy umí jen zmenšit pravděpodobnost chyby – zvolením dostatečně dlouhého samoopravného kódu lze zvolit libovolně nízkou pravděpodobnost chyby. Přičemž v praxi je to pro paměti nebo disky, které se běžně používají (v serverech, datacentrech apod.), nastavené tak, že se s přečtením chybných dat opravdu nejspíš nikdy nepotkáte, což ale neznamená, že nenastává vůbec nikdy.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 16. 10. 2017, 16:34:01
Tak si můžeme podat ruku na tom, že mohou nastat případy, kdy se disk jeví jako zdravý, a přitom není. Já k tomu dodával, že tomu se dá předejít tím, že se data pravidelně obnovují a na aplikační úrovni se otestují, že jsou v pořádku.

Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
Ovšem při poruše firmware disku může dojít k neočekávaným stavům.

Pokud se dohodneme na tom, že zdravý disk vrací originální data, pak nemám důvod se přít dál.

Ale jestli zase někdo řekne, že i ze zdravého disku čas od času lezou náhodná data, že se soubory mění a žijí si svým životem, tak mu nechám uříznout pravou kouli ;D
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 16. 10. 2017, 17:15:55
Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
Ovšem při poruše firmware disku může dojít k neočekávaným stavům.

Škoda, že ty disky likviduju (nebo reklamuju), ale mohl bych Vám za život ukázat dost disků, které nemají SMART threshold překročený, a přesto byly v háji. I řadič, který se tváří naprosto OK, včetně spuštění a projití kontroly konzistence, který vracel tu a tam špatná data jsem už viděl. Všechno jsou to noční můry, protože přesně jak píšete, to člověk ani neočekává, že by nastat mělo / smělo / mohlo (vynechal jsem některé příhodné modální sloveso?).
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 16. 10. 2017, 21:15:28
Ano, chyby při čtení typu "poškozený sektor" mají být okamžitě reportovány SMART a disk má zčervenat.
To se krásně hodí do sbírky epitafů.

Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 16. 10. 2017, 23:40:16
O cem se vlastne dohadujete, moc jsem tu debatu nepochopil.

Jestli disk diky kontrole neprosto vzdy vrati zdrava data, nebo kdyz zdrava data nemuze vratit, zdy hodi chybu, ze to nejde precist VS nekdy se muze stat, ze kontroly probehnou OK ale data, ktera disk vrati, budou jina ?

Je to uz vymena nazoru na par stranek, ale o co konkretne. Jestli kontroly zabrani zcela vzdy vydani chybnych dat, nebo ne ?

Podle toho, co jsem cetl, je jeden chybny bit jednou za desitky-stovky TB, cemuz by se dalo uverit. (disk se bude tvarit ze vse OK a jeden bit bude jiny. Zadnou tvrdou chybou to nekonci).

Pri prenosu po siti nejspis ale zadne takoveto kontroly nejsou. A uz parkrtat se kontrolni soucet lisil, dobehlo to jako, ze vse OK pritom.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 16. 10. 2017, 23:52:39
Na zálohování dat jsou nejlepší CD-R média. Vejde se na ně hromada dat jakou nikdo nemá a přečtu je i za tisíc let.

Precetl jsi si alespon zadani, nebo nadpis ? Spolehlivost CD neni kdovi-jaka, stejne tak DVD a BD. Kdyz se dat kontrola dat, pomale paleni, udelaji se checksumy, je sance na dobra data vysoka.

Soubor velky 20 GB (presne 21.34 GiB) by se na dost CD o kapacite 700 MiB musel rozdelit, pravdepodobnost, ze jeno bude vadne, je nakonec vyssi, nez v pripade 5 DVD nebo nejlepe jedno lepsi BD. Ale i tak je spolehlivejsi disk, paska.

Trvandlivost kvalitnich CD desitky let mozna, pri dobrem skladovani. Otazkou je taky, na cem si je prectem. Kdo ma jeste dnes k dispozici disketovku ?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 17. 10. 2017, 00:10:59

Bohužel nevíme, o jaká data jde. Já sám bych určitě doporučil mít dobře nastavenou retenci záloh a pravidelné testování na úrovni aplikace. Bohužel, od tazatele ani nevíme, jestli aplikace poškozený bajt pozná, či ne. Strašně smutné, ale nikoliv vyloučené pak je, když se rok ukládají zálohy, ve kterých vlastně nejsou správná data, protože je poškodil už řadič, či driver OS. Pak nemáte nic.


Pozkozeny bajt by spravne byt zaznamenan mel, s vysokou pravdepodobnosti.
Puvodni data jsou pouzivana - TC kontejner je oteviran jednou za nekolik dni. Pokud by doslo k pozkozeni vstupni brany, ze TC soubor nepujde otevrit, tak bych to poznal. Dale jsou zkouseny aplikaci dulezite soubory, jestli jdou otevrit, netvari se divne. Navic jsou kontrolovany soubory podle kontextu v nove a stare verzi kontejneru.Slozitejsi je odfiltrovat chyby kvuli novejsi verzi nekterych souboru.

Nekktere soubory jsou zapisovany - aktualizovany jednou za nekolik  dni, nektere v kontejneru lezi roky. Cely kontejner je roky pouzivany. Kontrola kontextu se soubory v starsi verzi kontejneru - pokud jsou u jednoho souboru datumy modifikace stejne a kontrolni soucet jiny, to je problem a je detekovana chyba.

Nejvic se bojim, aby nedoslo k zablokovani celeho TC kontejneru tim, ze se pozkodi jeden bajt na "vstupni brane" To by byl nejhorsi scenar a ztrata vsech dat. Je neco takoveho mozneho ?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 17. 10. 2017, 00:18:53
Nejvic se bojim, aby nedoslo k zablokovani celeho TC kontejneru tim, ze se pozkodi jeden bajt na "vstupni brane" To by byl nejhorsi scenar a ztrata vsech dat. Je neco takoveho mozneho ?

To nevim, viz predchozi nekonecna diskuse o spolehlivosti disku. Ale mel byste se postarat o to, aby vas takova eventualita nerozhodila: https://www.neowin.net/forum/topic/984006-guide-backup-truecrypt-disk-header/ Mozna si vygooglujte novejsi verzi, jestli se nahodou neco nezmenilo.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 17. 10. 2017, 07:01:16
Pri prenosu po siti nejspis ale zadne takoveto kontroly nejsou. A uz parkrtat se kontrolni soucet lisil, dobehlo to jako, ze vse OK pritom.
Při přenosu po síti takové kontroly jsou, každý TCP paket má svůj kontrolní součet a kontrolní součty mívají i linkové vrstvy (třeba ethernet). Ale ty kontrolní součty jsou docela slabé, takže u důležitých dat je dobré to kontrolovat ještě kontrolním součtem celého souboru. Jak ostatně sám píšete.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 17. 10. 2017, 07:06:57
Jestli disk diky kontrole neprosto vzdy vrati zdrava data, nebo kdyz zdrava data nemuze vratit, zdy hodi chybu, ze to nejde precist VS nekdy se muze stat, ze kontroly probehnou OK ale data, ktera disk vrati, budou jina ?

Ano, to se může stát, a nejen u disku, ale i u řadiče. A co je nejhorší, mohou být pokaždé stejná, ale vadná. Jedinou obranou je mít dostatečně dlouhá archiv záloh (řešívá se to tím, že směrem do minulosti řídne četnost uchovávaných záloh), a tím, že se zálohy pravidelně preventivně načítají a data kontrolují (v takovém případě je ideální, když data umí zkontrolovat aplikace, která s nimi pracuje).

Stačí jako shrnutí?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: snuff1987 17. 10. 2017, 08:16:38
https://www.wdc.com/content/dam/wdc/website/downloadable_assets/eng/spec_data_sheet/2879-800044.pdf

Nechcem vam skakat do debaty, ale technicka specifikacia WD, uvadza parameter "Non recoverable reads error per bit" cize teoreticky (a zrejme aj prekticky) moze nastat, ze zdravy disk vrati chybne data.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 17. 10. 2017, 21:24:23
Nejvic se bojim, aby nedoslo k zablokovani celeho TC kontejneru tim, ze se pozkodi jeden bajt na "vstupni brane" To by byl nejhorsi scenar a ztrata vsech dat. Je neco takoveho mozneho ?

To nevim, viz predchozi nekonecna diskuse o spolehlivosti disku. Ale mel byste se postarat o to, aby vas takova eventualita nerozhodila: https://www.neowin.net/forum/topic/984006-guide-backup-truecrypt-disk-header/ Mozna si vygooglujte novejsi verzi, jestli se nahodou neco nezmenilo.

To je diskuze o spolehlivosti HDD a cteni dat na nich, jak moc je chyba pravdepodobna. Ale jak moc by musel byt poskozen TC kontejner, aby nesel otevrit vubec (jestli staci jeden bit), tot otazka a nejhorsi scenar ztraty vsech dat.

Kdyz bude chyba v nejakym souboru, dost zalezi kde, a odtud rozsah skod. Nejhorsi je  to u klicu, nebo archivu s kody, databazemi.

Neni od veci mitvic verzi dozadu a pak je moznost porovnat checksum u souboru se stejnou datumovkou v ruznych verzich kontejneru.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Miroslav Šilhavý 17. 10. 2017, 21:35:26
To je diskuze o spolehlivosti HDD a cteni dat na nich, jak moc je chyba pravdepodobna. Ale jak moc by musel byt poskozen TC kontejner, aby nesel otevrit vubec (jestli staci jeden bit), tot otazka a nejhorsi scenar ztraty vsech dat.

Čistě teoreticky by nemělo dojít k větší ztrátě dat, než konkrétního poškozeného bloku kontejneru. Pokud se v něm poškodí filesystém, pak na odšifrovaném containeru musejí proběhnout stejné záchranné operace, jako kdyby se jednalo o běžný disk. V tom se už rizika TC neliší. Jinou otázkou však je, jestli si s takovým poškozením dokážete poradit sám, nebo se budete muset obrátit na specializovanou firmu. Ale to je opět oddělená otázka pro samotné recovery TC containeru a oddělená pro filesystem.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 17. 10. 2017, 22:00:44
Nějak přestávám rozumět, co furt řešíte.
1. otevřu originální TC kontejner. Jde přečíst? Ano, jdi na 2. Ne - jdu pro zálohu.
2. vezmu médium, uložím na něj ten tvůj TC kontejner. Vygeneruju jeho hash.
3. z čerstvě vytvořené kopie na médiu přečtu TC kontejner. Vygeneruju jeho hash.
4. porovnám oba hashe. Sedí? Ano, jdi na 5. Ne poprvé - jdi na 3. Ne po více než poprvé, jdi na 2.
5. Cvičně otevřu přečtený TC kontejner. Jde otevřít? Ano - vezmi další médium a jdi na 2. Ne - hashe ale sedí, něco tu smrdí...
Opakuj tolikrát, kolik chceš mít záložních/archivních kopií. Proč řešíte stupidity na úrovni fw různého hw, které nemáte šanci ovlivnit (vyjma co možná nejvíce ECC článků v řetězu...)?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 17. 10. 2017, 22:17:34
1. otevřu originální TC kontejner. Jde přečíst? Ano, jdi na 2. Ne - jdu pro zálohu.
Pro TC kontejner platí to samé, jako pro 7zip archív, pevný disk, DVD nebo soubor v cloudu – to, že jde přečíst, není záruka toho, že se čtou správná data.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 17. 10. 2017, 22:56:17
1. otevřu originální TC kontejner. Jde přečíst? Ano, jdi na 2. Ne - jdu pro zálohu.
Pro TC kontejner platí to samé, jako pro 7zip archív, pevný disk, DVD nebo soubor v cloudu – to, že jde přečíst, není záruka toho, že se čtou správná data.
... pokud do něj někdo šahal přede mnou, tak jistotu opravdu nemám. Ale to tazatel neřeší.
Vždyť i ten blbej bitcoin na ten haněnej fw v hw spoléhá. Banky jakbysmet, armáda taktéž.
Troufám si tvrdit, že tazatel se zde již nic konstruktivního k jeho problému (vyřešení) nedozví.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PJ 18. 10. 2017, 00:02:38
Opakuj tolikrát, kolik chceš mít záložních/archivních kopií. Proč řešíte stupidity na úrovni fw různého hw, které nemáte šanci ovlivnit (vyjma co možná nejvíce ECC článků v řetězu...)?
Mas sancu ich ovplyvnit aj bez ECC. Staci hash generovat z ineho PC po odpojeni a zapojeni kontrolovaneho disku. Iny PC obmedzi systematicke chyby na urovni driverov a FW, restart disku s istotou zmaze cache.

Hashe a ich kontrolu nepotrebujes ked veris, ze sa to nemoze stat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 18. 10. 2017, 07:09:21
... pokud do něj někdo šahal přede mnou, tak jistotu opravdu nemám. Ale to tazatel neřeší.
Ne, nemusel na to nikdo před vámi sahat – prostě může dojít k chybě. A tazatel to právě řeší, explicitně uváděl, že chce detekovat i změnu jediného bitu.

Vždyť i ten blbej bitcoin na ten haněnej fw v hw spoléhá. Banky jakbysmet, armáda taktéž.
Nikdo tu FW ani HW nehaní, to, že HW může selhat, je normální a počítá se s tím. Banky ani armáda samozřejmě nespoléhají na to, že hardware nemůže selhat. Právě naopak, dělají opatření proto, aby je selhání hardwaru neohrozilo – například tak, že data ukládají v několika kopiích.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: spacek 18. 10. 2017, 07:30:10
... pokud do něj někdo šahal přede mnou, tak jistotu opravdu nemám. Ale to tazatel neřeší.
Ne, nemusel na to nikdo před vámi sahat – prostě může dojít k chybě. A tazatel to právě řeší, explicitně uváděl, že chce detekovat i změnu jediného bitu.

Vždyť i ten blbej bitcoin na ten haněnej fw v hw spoléhá. Banky jakbysmet, armáda taktéž.
Nikdo tu FW ani HW nehaní, to, že HW může selhat, je normální a počítá se s tím. Banky ani armáda samozřejmě nespoléhají na to, že hardware nemůže selhat. Právě naopak, dělají opatření proto, aby je selhání hardwaru neohrozilo – například tak, že data ukládají v několika kopiích.
No a to samé se tu tazateli taky doporučuje...
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 18. 10. 2017, 17:06:48
Takže abych to shrnul:

1. Pokud zkoumám možnost, jak ošetřit nějakou chybu, musím vytvořit scénář, kdy ta chyba nastane a systém si s ní poradí. Ve scénáři je pravděpodobnost té chyby 100%, i když v reálu je 0.5ppm. Tolik k tématu "zdravý disk".
2. Hash, CRC nebo kontrolní součet mají vždycky jednu společnou slabinu. Jejich délka je menší, než délka dat. Pro 16b CRC je 65536 kombinací, když budu mít 1kB dat, je to 2^8192 kombinací. Takže vždycky existuje několik kolizí a jednomu kontrolnímu číslu odpovídá několik kombinací, pokud jsou data delší, než to kontrolní číslo.
3. Kontrolní součet je nepoužitelný, nezachytí například to, jestli je v sekvenci 10 nebo 50 nulových bytů.
4. CRC se z definice nehodí pro test integrity, snadno se u tak primitivní funkce hledají kolize a je moc krátký
5. I u hashe je ideální aplikovat jej na co nejmenší data. Klesne tak riziko kolize. Vzhledem k velikosti dnešních médií a jejich ceně je těch 20GB sranda a není třeba řešit, jestli se ukládá jeden hash, nebo 1000 hashů. Takže by nemuselo být o věci mít hash na každý soubor. Když budu počítat hash 256b a průměrnou velikost souboru 100kB při zaplněných 10GB dat, je to 3.2GB navíc - i tak se to dá narvat na 32GB FLASH.
6. Pokud budu mít pět záloh a v každé pět souborů a v každé se poškodí jiný, zrekonstruuju všechno. Pokud je zabalím do jednoho souboru a ten se poškodí, jsem v pr... Takže zabalení do jednoho souboru s jedním hashem může být obrovská nevýhoda.
7. Čmoud znamená možnost konce jeho provozovatele, možnost změny podmínek, právní problémy pokud je to v cizině, poplatky za test, aktualizaci a obnovení,... (a zaznělo toho tady víc), navíc ve výsledku je to cenově horší, než vlastní infrastruktura.

Takže za sebe, jel bych v záloze po souborech a pro každý extra hash, klidně s větším kontejnerem. A hash i u metedat a adresářů. A samo, že média pod vlastní kontrolou a ne v čmoudu. Určitě jednu zálohu častější a online (samo několik kopií na jenom médiu, měl by to zvládnout například starý NTB, co si pasivně sosne data), určitě jednu zálohu offline v místě (pro rychlou obnovu) a určitě jednu kopii v bankovním sejfu. Další kopie a místa jsou na zvážení.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 18. 10. 2017, 20:57:54
7. Čmoud znamená možnost konce jeho provozovatele, možnost změny podmínek, právní problémy pokud je to v cizině, poplatky za test, aktualizaci a obnovení,... (a zaznělo toho tady víc), navíc ve výsledku je to cenově horší, než vlastní infrastruktura.
To byste těch dat musel mít opravdu hodně, aby srovnatelná vlastní infrastruktura vyšla levněji, než služba. Bavíme se tu o 20GB souboru – služby se platí podle objemu dat, když budete mít vlastní infrastrukturu, nemůžete tam dát méně než jeden harddisk, méně než jeden server, platit méně než jednu pozici v housingovém centru. Požadavek byl na vícenásobné uložení, takže těch harddisků, serverů a housingů bude potřeba platit několik.

Že provozovatel změní podmínky nebo skončí není problém. Nestane se to ze dne na den a soubor se snadno přenese jinam. A i kdyby provozovatel skončil ze dne na den, je to jako když odejde jeden harddisk – prostě se data obnoví z jiné zálohy. Pokud jde o šifrovaný soubor, ke kterému je klíč bezpečně uložen úplně někde jinde (ideálně off-line), neměly by s tím být žádné právní problémy.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 18. 10. 2017, 21:26:32
2. Hash, CRC nebo kontrolní součet mají vždycky jednu společnou slabinu. Jejich délka je menší, než délka dat. Pro 16b CRC je 65536 kombinací, když budu mít 1kB dat, je to 2^8192 kombinací. Takže vždycky existuje několik kolizí a jednomu kontrolnímu číslu odpovídá několik kombinací, pokud jsou data delší, než to kontrolní číslo.

To neni slabina, to je zamer. Je to proto, abyste si nemusel tisknout 20GB v hexa vypisu a pak to porovnavat proti hexa vypisu na monitoru. Vznik kolize je malo pravdepodobny i u proflaknuteho md5. Pravdepodobnost, ze nahodou vznikne kolize pri preklopeni nekolika bitu, se blizi nule. Typicky vzniku kolize musi nekdo pomoci a to neni tak jednoduche, pokud nema dojit ke zmene delky kontejneru a ten navic musi vypadat funkcne. A vy nemusite pouzit md5, ale vypecenejsi hash a dokonce treba dva. Vznik samovolne kolize dvou ruznych hashu je prakticky nemozny - kdyby byl, mohli bychom vsechny hashe vyhodit, protoze by byly na hovno. Tak tady nestraste nebo se male deti zacnou bat pouzivat hashe.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 18. 10. 2017, 21:53:22
To byste těch dat musel mít opravdu hodně, aby srovnatelná vlastní infrastruktura vyšla levněji, než služba. Bavíme se tu o 20GB souboru – služby se platí podle objemu dat, když budete mít vlastní infrastrukturu, nemůžete tam dát méně než jeden harddisk, méně než jeden server, platit méně než jednu pozici v housingovém centru. Požadavek byl na vícenásobné uložení, takže těch harddisků, serverů a housingů bude potřeba platit několik...

Nesouhlasím, protože:
1. Prozovozatel čmoudu může mít škálovanou službu. Když chci zálohovat 20GB a on nabíne minimální kapacitu 1TB, musím stejně platit 1TB. S požadavkem na menší kapacitu za menší prachy asi nepochodím.
2. 20GB dat, to může klidně ležet na SSD v kancelářským stroji. Na to ani není potřeba datacentrum. Stačí repasovaný noťas z druhé ruky za tři litry s novým HDD za dva litry. Na HDD se rovnou vejde online záloha a katalog záloh (= 1. záloha 5 litrů).
3. Pokud chci druhou zálohu na CD/DVD, vypalovačka je v ceně řešení a platím za médium, cca koruny za přírůstkovou zálohu (jeden ROM několikrát)
4. Extetní USB disk (mám tady na stole zrovna připojený 2TB za 2000CZK) není taky nic, co by ho zabilo. Na ztrátu 100k hodin práce to vychází 0.02CZK/hodinu práce a vejde se tam 1000 snapshotů.
5. Poslední kopie na 32GB USB (3ks, periodická rotace) kolem 1500 CZK
6. MikroSD karta 32GB v peněžence jako pohotovostní kopie cca pětikilo. Čtečka je součástí NTB
7. Provozní náklady = elektrika pro noťas + rozvoz médií + sejf v bance.
8. Pořizovací náklady (NTB + SSD + 2x ext HDD + 3x USB + 1x SD + pakl CD/DVD) jsou cca 12 litrů, otázka je, jestli to potřebuje na tolika kopiích a technologiích.
9. Pokud se rozhodne, že bude zálohovat přímo z pracovního PC, odpadne noťas a náklady jsou pod desítkou (interní SSD na zálohu + 2x externí HDD + 3x USB + 1x SD + pár CD-R). To je <0.10CZK na zálohovanou hodinu práce v pěti technologiích (SSD + HDD + CD + SD + USB FLASH).
10. Za těch 9-12 litrů má člověk plnou kontrolu nad tím, kde se jeho data toulají, kolik je od nich skutečně kopií, jistotu, že mu nějaký algoritmus nesmaže účet nebo nebude někdo požadovat 100k za obnovení dat.
11. A jenom tak náhodou, přečti si běžný podmínky používání čmoudu (třeba u MS) - "za data neručíme, uživatel je povinen si udělat záložní kopii" Takže stejně by u běžnýho čmoudu člověk zaplatit to, co za schránku v bance a stejně by to měl 50/50 - buďto se k datům dostane, nebo ne.

(A zmíněná značka ADATA - Ze dvou SD karet od nich jedna vůbec nešla naformátovat, druhá klekla po půl roce. Dál jsem od nich zkoušel USB FLASH 8GB, klekla za tři dny na studeňák pod BGA. Takže pro tchýni, ne na zálohování.)
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 18. 10. 2017, 22:13:02
To neni slabina, to je zamer. Je to proto, abyste si nemusel tisknout 20GB v hexa vypisu a pak to porovnavat proti hexa vypisu na monitoru. Vznik kolize je malo pravdepodobny i u proflaknuteho md5. Pravdepodobnost, ze nahodou vznikne kolize pri preklopeni nekolika bitu, se blizi nule. Typicky vzniku kolize musi nekdo pomoci a to neni tak jednoduche, pokud nema dojit ke zmene delky kontejneru a ten navic musi vypadat funkcne. A vy nemusite pouzit md5, ale vypecenejsi hash a dokonce treba dva. Vznik samovolne kolize dvou ruznych hashu je prakticky nemozny - kdyby byl, mohli bychom vsechny hashe vyhodit, protoze by byly na hovno. Tak tady nestraste nebo se male deti zacnou bat pouzivat hashe.

Vím, jak to funguje a proč to tak je. Zálohování je ale přece vždycky o pravděpodobnosti obnovení dat a základ je nastavit si, jakou maximální pravděpodobnost ztráty dat jsem ochotný akceptovat. A pokud není riziko kolize HASHe v tom případě menší než akceptovatelný riziko, je potřeba si to riziko uvědomit a aktivně řešit, co s ním. Jinak požadavek nesplníš.

A připomínám, že kvalita řešení v původním dotazu je definována "0% pravděpodobnost změny jedinýho bytu". Takže i tohle je potřeba vyřešit.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 18. 10. 2017, 23:14:09
1. Prozovozatel čmoudu může mít škálovanou službu. Když chci zálohovat 20GB a on nabíne minimální kapacitu 1TB, musím stejně platit 1TB. S požadavkem na menší kapacitu za menší prachy asi nepochodím.
To jste ale otočil. Pevný disk neseženete o moc levněji než za cenu 1TB disku. Provozovatelů úložišť je spousta a mezi nimi dost takových, kteří nabízejí účtování po GB.

20GB dat, to může klidně ležet na SSD v kancelářským stroji.
Může, ale pak to nemá nic společného s tím, co bylo požadováno na začátku – soubor alespoň na 4 různých místech.

Na to ani není potřeba datacentrum.
Někam ty počítače umístit musíte, musejí mít napájení, připojení do internetu.

Stačí repasovaný noťas z druhé ruky za tři litry s novým HDD za dva litry.
Takže jenom pořizovací náklady 20 000 Kč. Za tu cenu to můžete mít na Glacieru uložené tisíc let. Tak dlouho vám ten notebook asi nevydrží. Mimochodem, z repasovaného noťasu budou v datacentru jistě nadšením bez sebe.

Pokud chci druhou zálohu na CD/DVD, vypalovačka je v ceně řešení a platím za médium, cca koruny za přírůstkovou zálohu (jeden ROM několikrát)
Pak ještě platíte člověka, který ty zálohy bude vypalovat, poštu, abyste je dostal do místa uložení, úložiště, druhého člověka, který se o ně bude starat v tom úložišti. A tam další počítač, na kterém budete provádět to ověřování čitelnosti – pokud ty zálohy nechcete posílat zase zpět.

Extetní USB disk (mám tady na stole zrovna připojený 2TB za 2000CZK) není taky nic, co by ho zabilo.
Externí disk máte na stole do té doby, než tam nahrajete zálohu a odešlete ho do místa uložení. Pak buď musíte na další zálohu pořídit další externí disk, nebo ten původní zase přivézt zpět.

Provozní náklady = elektrika pro noťas + rozvoz médií + sejf v bance.
Plus zaměstnanec na plný úvazek, aby se o to pořád staral. Už jenom ten rozvoz médií by vás stál víc, než kdybyste si to uložil na čtyřech nejdražších cloudových úložištích. Nehledě na to, že tam je samá manuální práce, takže obrovské riziko chyb.

Pořizovací náklady (NTB + SSD + 2x ext HDD + 3x USB + 1x SD + pakl CD/DVD) jsou cca 12 litrů, otázka je, jestli to potřebuje na tolika kopiích a technologiích.
Výborně, to vám vychází mnohem levněji, to se v porovnání s Glacierem vrátí už za 600 let.

Za těch 9-12 litrů má člověk plnou kontrolu nad tím, kde se jeho data toulají
Ne, nad tím plnou kontrolu nemá, neboť má zálohovací média neustále někde na cestách. Že by se ta data dostala do neoprávněných rukou nevadí, je to šifrované.

A jenom tak náhodou, přečti si běžný podmínky používání čmoudu (třeba u MS) - "za data neručíme, uživatel je povinen si udělat záložní kopii" Takže stejně by u běžnýho čmoudu člověk zaplatit to, co za schránku v bance a stejně by to měl 50/50 - buďto se k datům dostane, nebo ne.
Já jsem nepsal o žádném čmoudu, psal jsem o službě pro uložení dat nebo pro archivaci. Na to máte normální SLA.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 19. 10. 2017, 10:39:27
To jste ale otočil. Pevný disk neseženete o moc levněji než za cenu 1TB disku. Provozovatelů úložišť je spousta a mezi nimi dost takových, kteří nabízejí účtování po GB.

Nabízená kapacita ale není jediný parametr služby. Pokud mimo cenu a kapacity zvážím i garanci uložení dat na delší dobu, dostupnost, několik kopií, ..., tak se často jejich počet nepříjemně redukuje a nakonec se často ukáže, že kapacita je nejmenší problém.

Může, ale pak to nemá nic společného s tím, co bylo požadováno na začátku – soubor alespoň na 4 různých místech.

Pracovní soubor v jednom PC přece neznamená, že záložní soubor nemůže být klidně na 128 dalších místech.

Někam ty počítače umístit musíte, musejí mít napájení, připojení do internetu.

Šmankote, jaký počítače zase? Na jednu online zálohu 20GB stačí s přehledem starý netbook s novým SSDčkem. Offline zálohy (ostatní kopie) nemusí mít ani napájení, dokonce ani počítač. Proč bych měl místo papírové krabice plné CD mít v racku stroj s 50 mechanikama a držet to roztočený a online? To by bylo jak u Jirsáků ve sklepě.

Takže jenom pořizovací náklady 20 000 Kč. Za tu cenu to můžete mít na Glacieru uložené tisíc let. Tak dlouho vám ten notebook asi nevydrží. Mimochodem, z repasovaného noťasu budou v datacentru jistě nadšením bez sebe.

Data dával dohromady 100k hodin. 100k hodin * (min.)250 Kč/hod = cena dat 25M. Záloha za 20 litrů je 0.08% jenom z ceny toho času. Přijde ti to přestřelený? Má cenu to tlačit na 0.01% a ztratit kontrolu nad datama?

Nemluvíme o DC. Diskuse je o 20GB z jednoho projektu. Neznám nikoho, kdo by si pronajímal rack v DC kvůli usmoleným 20GB a rval tam vlastní železo. Ještě nejspíš nejsou ty data firemní, protože ve firmě nad 20 lidí je obvykle někdo od IT, kdo by to za tazatele vyřešil. 

Pak ještě platíte člověka, který ty zálohy bude vypalovat, poštu, abyste je dostal do místa uložení, úložiště, druhého člověka, který se o ně bude starat v tom úložišti. A tam další počítač, na kterém budete provádět to ověřování čitelnosti – pokud ty zálohy nechcete posílat zase zpět.

Psal, že zálohuje zhruba jednou týdně. Je toho 20GB, s režií dejme tomu 25GB. Když to hodí na 4,7 GB DVD-RW, potřebuje šest placek. Ty placky mají životnost řekněme měsíc (čtyři zálohování zpět). Vypálím dvě kopie, verifikuju a je to. Když to za dva měsíce nepřečtu, mám  za tu dobu dalších sedm kopií dat. A starat se o ně? Vždyť ten měsíc to vydrží klidně v krabici v botníku... Jedinou podmínkou, pokud je dobře šifrováno, je aby to bylo jinde, než další kopie.

Externí disk máte na stole do té doby, než tam nahrajete zálohu a odešlete ho do místa uložení. Pak buď musíte na další zálohu pořídit další externí disk, nebo ten původní zase přivézt zpět.

No jasně, proto tam píšu ten disk 2x. Jeden odpočívá v sejfu, druhý je online a pak se prohodí. Od čeho je ve firmě sekretářka? Od chození do banky, na poštu,...

Plus zaměstnanec na plný úvazek, aby se o to pořád staral. Už jenom ten rozvoz médií by vás stál víc, než kdybyste si to uložil na čtyřech nejdražších cloudových úložištích. Nehledě na to, že tam je samá manuální práce, takže obrovské riziko chyb.

Manuální práce je vložení média. Zbytek bezchybně zvládne program nebo skript. A rozvoz médií? 100k hodin to asi nedělal jeden člověk. Tak holt každý zaměstnanec nafasuje FLASHku za pětikilo, podepíše hmotnou zodpovědnost a bude tahat data v kapse na klíčích (pokud, jak psal tazatel, není problém, že mu může kopii někdo šlohnout). Asi se málo kdy stane, že pět zaměstnanců současně ztratí klíče... A takových možností je plno.

Výborně, to vám vychází mnohem levněji, to se v porovnání s Glacierem vrátí už za 600 let.

Furt Glacier... Píšeš, že takových provozovatelů jsou stovky. Neznáš ještě levnějšího? nebo je Glacier ten nejlevnější pro srovnání a ostatní jsou lepší a nemá cenu připlácet? Hoď sem pro porovnání dalších pět, ať tazateli nehrozí vendor lock-in na příštích 1000 let.

Ne, nad tím plnou kontrolu nemá, neboť má zálohovací média neustále někde na cestách. Že by se ta data dostala do neoprávněných rukou nevadí, je to šifrované.

Jo, ale rozdíl je, že pokud to někdo chce, tak prvně zkusí cestu nejmenšího odporu (= prohledat čmoud), pak teprve jde po zaměstnancích. Jako zákazník čmoudové služby se nedozvíš, že se někdo hrabal v systému, ale když se někdo snaží to vytáhnout z kolegy, tak máš mnohem větší šanci, že ti o tom řekne. Pokud je to po trezorech, nezbude mu než brute force se švajcem a to už je dost stop i pro poldy.

Já jsem nepsal o žádném čmoudu, psal jsem o službě pro uložení dat nebo pro archivaci. Na to máte normální SLA.

Archivační služby jsou podmnožinou čmoudu přece. Jak to začneš využívat, staneš se na službě závislým a je to jak u našich mobilních operátorů - namyslí si nějaký omezení (záloha častěj než jednou ročně za příplatek), přepálí cenu, recovery za 100k CZK... a jsi v loji. Jenomže tam není ani náznak úřadu pro dohled, poskytovatel v zahraničí,... Řešit tam nějaký problém je o žalobě v zahraničí, placení tamního právníka,... Kdo zaručí, že během těch 1000 let nekrachne provozovatel, nebo že neudělá sviňárnu?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 19. 10. 2017, 20:30:43
Nabízená kapacita ale není jediný parametr služby. Pokud mimo cenu a kapacity zvážím i garanci uložení dat na delší dobu, dostupnost, několik kopií, ..., tak se často jejich počet nepříjemně redukuje a nakonec se často ukáže, že kapacita je nejmenší problém.
Ten jediný parametr jste zvolil vy. Ale tak klidně spočítejte cenu toho vašeho řešení tak, abyste měl roční trvanlivost 99.999999999 %, jakou má Amazon Glacier

Pracovní soubor v jednom PC přece neznamená, že záložní soubor nemůže být klidně na 128 dalších místech.
O pracovním souboru ale nebyla řeč. Řeč byla o archivaci. Na těch 128 míst se ten soubor musí nějak dostat, musí tam vydržet, a pokud chcete ověřovat jeho stav, bez čehož archivace nemůže fungovat, musíte ho tam taky umět nějak přečíst a ověřit.

Šmankote, jaký počítače zase? Na jednu online zálohu 20GB stačí s přehledem starý netbook s novým SSDčkem. Offline zálohy (ostatní kopie) nemusí mít ani napájení, dokonce ani počítač.
Jakmile je ta záloha offline, znamená to, že jí někdo musí ručně vytvořit a pak někam dopravit. Ověření zálohy pak znamená zase tu zálohu vzít a ručně zajistit její přečtení. To je ten nejhorší možný způsob zálohování, protože se snadno stane, že se na vytvoření nebo vytváření zálohy zapomene – a nijak se to nezjistí. Respektive se to zjistí v okamžiku, kdy by ta záloha byla potřeba.

Data dával dohromady 100k hodin. 100k hodin * (min.)250 Kč/hod = cena dat 25M. Záloha za 20 litrů je 0.08% jenom z ceny toho času. Přijde ti to přestřelený? Má cenu to tlačit na 0.01% a ztratit kontrolu nad datama?
Přijde mi, že 0,08 % z 25  milionů je pořád 8× víc, než 0,01 % z 25 milionů. Tedy je to přesně opačně, než jste psal – cloudové řešení je výrazně levnější. Já jsem neřešil, jestli se to nevyplatí i za těch 0,08 %, pouze jsem vyvracel vaše nepravdivé tvrzení.

Další vaše lživé tvrzení, které jsem vyvrátil, je to o ztrátě kontroly nad datama. Za prvé,  ten archivní soubor je mnohem bezpečněji uložený v cloudu, než když se válí na DVD v nějaké krabici. Za druhé, od začátku se bavíme o uložení dobře šifrovaných dat, takže ta vaše ztráta kontroly nad datama je jen obyčejný FUD.

Nemluvíme o DC. Diskuse je o 20GB z jednoho projektu. Neznám nikoho, kdo by si pronajímal rack v DC kvůli usmoleným 20GB a rval tam vlastní železo.
V tom případě nechápu, proč tazateli doporučujete, aby použil vlastní železo.

Když to hodí na 4,7 GB DVD-RW
Jenže to „hodí na DVD-RW“ musí někdo udělat. Pak to musí někam odvézt, požadavek byl alespoň na 10 km, což je tedy v kontextu ostatních požadavků dost málo. Takže má minimálně na půl dne vystaráno, takže jenom na právi ho jeden zálohovací cyklus bude stát tisíc Kč.

Vždyť ten měsíc to vydrží klidně v krabici v botníku...
Aha, tak tohle je ta vaše „kontrola nad datama“.

No jasně, proto tam píšu ten disk 2x. Jeden odpočívá v sejfu, druhý je online a pak se prohodí. Od čeho je ve firmě sekretářka? Od chození do banky, na poštu,...
Hm, minimálně čtyřicetikilometrová procházka do banky, doufám,že aspoň sekretářku nebudete nutit, aby tu pochůzku absolvovala v botách na podpatcích.

Tak holt každý zaměstnanec nafasuje FLASHku za pětikilo, podepíše hmotnou zodpovědnost a bude tahat data v kapse na klíčích (pokud, jak psal tazatel, není problém, že mu může kopii někdo šlohnout). Asi se málo kdy stane, že pět zaměstnanců současně ztratí klíče... A takových možností je plno.
Myslím, že tímhle se problém vyřešil. Zaměstnanci už se nikdy nebudou moci na pracovišti sejít (budou muset být alespoň 10 km od sebe), takže už nikdy nic neudělají a nebude co zálohovat.

Furt Glacier... Píšeš, že takových provozovatelů jsou stovky. Neznáš ještě levnějšího? nebo je Glacier ten nejlevnější pro srovnání a ostatní jsou lepší a nemá cenu připlácet? Hoď sem pro porovnání dalších pět, ať tazateli nehrozí vendor lock-in na příštích 1000 let.
Zvolil jsem Glacier, protože je nejznámější. Uvědomte si, že ten rozdíl oproti vašim nákladům je několik řádů, takže pokud je jiný poskytovatel dvakrát tak drahý, v porovnání s vámi je možné ten rozdíl mezi ním a Glacierem klidně zanedbat. Ale pokud chcete další, tak třeba S3 také od Amazonu, hubiC má dokonce 25 GB zdarma, Google má Cloud Storage.

Vendor lock-in tazateli nehrozí, to už jsem vám také vysvětloval – vůbec nic mu nebrání za týden zálohu nahrát kamkoli jinam.

Jo, ale rozdíl je, že pokud to někdo chce, tak prvně zkusí cestu nejmenšího odporu (= prohledat čmoud), pak teprve jde po zaměstnancích. Jako zákazník čmoudové služby se nedozvíš, že se někdo hrabal v systému, ale když se někdo snaží to vytáhnout z kolegy, tak máš mnohem větší šanci, že ti o tom řekne. Pokud je to po trezorech, nezbude mu než brute force se švajcem a to už je dost stop i pro poldy.
Opět to máte úplně převrácené, jako s tou cenou. Amazonu nebo Googlu se opravdu jen tak někdo do systému nedostane, zatímco to vaše superbezpečné uložení v botníku vám vykrade každý zlodějíček.

Archivační služby jsou podmnožinou čmoudu přece.
Ne, archivační služby jsou archivační služby. Záleží na provozovateli, jak je provozuje. Může je provozovat i v cloudu. Provozovat nějakou IT službu v čmoudu jsem ještě neviděl. A pokud nemáte žádné skutečné argumenty a zmůžete se jen na komolení slov, nemá smysl s vámi diskutovat.

Jak to začneš využívat, staneš se na službě závislým
Ne, nestanu. Schválně si to někdy vyzkoušejte. Uložte si soubor na Dropbox, a uvidíte, že za týden vás nic nebude nutit uložit další soubor na Dropbox, ale klidně ho budete moci uložit na Google Drive, na Windows Server, na Synology NAS nebo vypálit na DVD. Dokonce i ten samý soubor, který jste uložil na Dropbox, můžete zároveň uložit i kamkoli jinam.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 19. 10. 2017, 21:56:54
O pracovním souboru ale nebyla řeč. Řeč byla o archivaci. Na těch 128 míst se ten soubor musí nějak dostat, musí tam vydržet, a pokud chcete ověřovat jeho stav, bez čehož archivace nemůže fungovat, musíte ho tam taky umět nějak přečíst a ověřit.

Mozna to nebude tak horke. Tazatel se tusim jeste nevyjadril, jak moc dulezite jsou stare zalohy po te, co udelal novou. Treba uz jsou vicemene k nicemu a neni potreba nekam jezdit a zalohy overovat a u babicky v krajaci na polici muzou zustat az do doby, kdy dojde zasoba flashek a bude potreba nekam sahnout, aby bylo na co zalohovat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 20. 10. 2017, 05:36:46
Jirsáku, takže znova:

1) Archivace není záloha a záloha není archivace. Archiv se nemění a musí být dlouhodobě dostupný. Záloha je snímek v daným čase a je relevantní do pořízení dalšího snímku, maximálně několik snímků dozadu v případě poškození aktuální zálohy. Záloha dokonce mimo pořízení a obnovu nemusí být online. Tazatel se ptal na zálohování, ne na archivaci.
2) Ohledně médií má tazatel +/- jasno, nevím, proč sem taháš nějaký datacentra a pouštíš atomový ponorky do rybníku Brčálníku. Tazatel psal, že je to 20GB kontejner a několik různých médií v různých kredencích mu nevadí, pokud tam nebudou chyby. Jde to i jinak, ale má to tak zavedeno, nevadí mu to, tak proč to měnit?
3) Pročtení a posouzení smlouvy s poskytovatelem čmoudu, hlídání změn podmínek a režie kolem toho čmoudu se nedělá ručně? Právníka a ekonomický oddělení to nestojí žádný čas? Chápu, u Jirsáků na to mají skript, který sám kliká na "Accept" a neomezený inkaso z účtu pro provozovatele čmoudu.
4) V čem je pro firmu dražší, když týdně sekretářka  s platem 20Kkč nakopíruje pět souborů na pět FLASH disků (strčí ho do USB, dá kopírovat a dělá něco jinýho, než dojede kopírování, takže tak minuta na disk), proti tomu, že účetní s platem 25Kkč musí jednou za měsíc věnovat půlhodinu zaúčtování a proplacení faktury a právník s platem 60Kkč musí 2x ročně věnovat 4h kontrole změněných smluvních podmínek, že jsou ještě OK?
4) Neřešme storage, který tazatel má nějak pro něj uspokojivě vyřešený. Jde mu o prevenci a detekci chyb.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 20. 10. 2017, 07:48:14
Záloha dokonce mimo pořízení a obnovu nemusí být online.
Archiv mimo dobu pořízení a obnovu také nemusí být online, naopak to u archivu dává mnohem větší smysl, než u zálohy. Protože archivace se provádí jednou za relativně delší období – například jednou za rok se vyřadí uzavřené dokumenty a  archivují se.

Naproti tomu zálohu je potřeba mít co nejčerstvější, protože čím starší máte zálohu, o tím větší množství dat pořízených až po zálohování přijdete v případě obnovy ze zálohy. Z tohoto důvodu by bylo velmi nepraktické pořizovat zálohy ručně a ještě záložní média někam ručně transportovat.


Ohledně médií má tazatel +/- jasno, nevím, proč sem taháš nějaký datacentra a pouštíš atomový ponorky do rybníku Brčálníku. Tazatel psal, že je to 20GB kontejner a několik různých médií v různých kredencích mu nevadí, pokud tam nebudou chyby. Jde to i jinak, ale má to tak zavedeno, nevadí mu to, tak proč to měnit?
Pletete si sama sebe s tazatelem. Tazatel nepsal, že mu média v různých kredencích nevadí, naopak napsal, že kopie musí být alespoň 10 km od sebe, alespoň ve dvou různých státech, a musí se pravidelně kontrolovat obsah médií. Tím prakticky vyloučil ta vaše ruční řešení, protože to by se tím opravdu někdo musel zabývat na plný úvazek.

Pročtení a posouzení smlouvy s poskytovatelem čmoudu, hlídání změn podmínek a režie kolem toho čmoudu se nedělá ručně? Právníka a ekonomický oddělení to nestojí žádný čas? Chápu, u Jirsáků na to mají skript, který sám kliká na "Accept" a neomezený inkaso z účtu pro provozovatele čmoudu.
Dělá se to ručně, stejně jako by se ručně kupoval ten váš repasovaný notebook, ručně by se uzavíraly smlouvy se zaměstnanci, kteří by se museli přestěhovat do zahraničí, aby byla záloha dostatečně vzdálená, atd. Ovšem tahle režie v řádu několika hodin za několik let je nesrovnatelná s tím, že váš ruční způsob „zálohování“ by znamenal několik hodin práce s každou jednotlivou zálohou.

V čem je pro firmu dražší, když týdně sekretářka  s platem 20Kkč nakopíruje pět souborů na pět FLASH disků (strčí ho do USB, dá kopírovat a dělá něco jinýho, než dojede kopírování, takže tak minuta na disk), proti tomu, že účetní s platem 25Kkč musí jednou za měsíc věnovat půlhodinu zaúčtování a proplacení faktury a právník s platem 60Kkč musí 2x ročně věnovat 4h kontrole změněných smluvních podmínek, že jsou ještě OK?
Zajímalo by mne, jestli jenom trollíte, nebo jestli si fakt neuvědomujete, že jste na své straně úplně vynechal náklady na zálohování. A na druhé straně máte právníka za 60 tisíc, který pečlivě studuje změněné podmínky několika poskytovatelů služeb, asi aby vybral pokaždé to nejvýhodnější. Takže speciálně pro vás – 5 flashidksů strčených v řadě vedle sebe do jednoho počítače není záloha.

Neřešme storage, který tazatel má nějak pro něj uspokojivě vyřešený. Jde mu o prevenci a detekci chyb.
Ne, na způsob uložení se tazatel naopak ptal. Prevence a detekce chyb byla jedna z jeho podmínek, kterou vy soustavně ignorujete. Protože když chcete detekovat chyby na těch vašich médiích, co mají zaměstnanci a jejich příbuzní v zahraničí zastrkaná v botnících, musíte vzít notebook, ty botníky objet a soubory zkontrolovat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 20. 10. 2017, 08:28:30
Ne, na způsob uložení se tazatel naopak ptal. Prevence a detekce chyb byla jedna z jeho podmínek, kterou vy soustavně ignorujete. Protože když chcete detekovat chyby na těch vašich médiích, co mají zaměstnanci a jejich příbuzní v zahraničí zastrkaná v botnících, musíte vzít notebook, ty botníky objet a soubory zkontrolovat.

Proc by to nekam, jezdil kontrolovat? Pravdepodobnost, ze chyba vznikne na vsech zalohach, je mala a dostatecny pocet zaloh to resi. Zalohu zkontroluje po porizeni a strci do botniku a tim to konci. Ta zaloha stejne bude neaktualni, jakmile poridi zalohu novou a do te doby to nejak vydrzi.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 20. 10. 2017, 21:22:24
Proc by to nekam, jezdil kontrolovat? Pravdepodobnost, ze chyba vznikne na vsech zalohach, je mala a dostatecny pocet zaloh to resi. Zalohu zkontroluje po porizeni a strci do botniku a tim to konci. Ta zaloha stejne bude neaktualni, jakmile poridi zalohu novou a do te doby to nejak vydrzi.
Takový požadavek tazatel měl. Také psal o uchování tři měsíce a v řádu jednotek až desítek let. Kolik toho vlastně chce uchovávat zpětně jsem nepochopil, každopádně pokud je požadavek na uchování starších záloh, nelze to odbýt se slovy, že  to vlastně není potřeba a nemusí se tudíž řešit, jestli ta záloha existuje nebo ne. A mimochodem, s tím uchováním jen aktuální zálohy je potřeba být dost opatrný, protože je snadné proces zálohování navrhnout tak, že během zálohování můžete přijít o starou zálohu ale novou ještě nemáte.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 20. 10. 2017, 21:52:18
Takový požadavek tazatel měl.

Tak se z nej holt stane cestovatel. Snad mu te projekt jednou zaplati ty pneumatiky.

Citace
A mimochodem, s tím uchováním jen aktuální zálohy je potřeba být dost opatrný, protože je snadné proces zálohování navrhnout tak, že během zálohování můžete přijít o starou zálohu ale novou ještě nemáte.

Tak jiste, pokud je clovek dostatecne blby, muze proces zalohovani navrhnout i tak,ze si pri nem zlomi nohu. Vychazim z hypotezy, ze tazatel ma vsech pet pohromade.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 21. 10. 2017, 09:48:32
Tak se z nej holt stane cestovatel.
Už byla vynalezena taková věc, která umožňuje přenášet data na dálku, aniž by je musel osobně doprovázet člověk. Jmenuje se internet.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 21. 10. 2017, 10:26:21
Už byla vynalezena taková věc, která umožňuje přenášet data na dálku, aniž by je musel osobně doprovázet člověk. Jmenuje se internet.

Ano, u zaloh na flash disku v botniku to funguje uplne uzasne. Staci do toho botniku pridat akorat jeden pocitac a natahnout k nemu draty. Kdyz delam 20 zaloh a ty davam na ruzna mista, je to uplna malickost. Jeden pocitac k babicce, jeden ke strejdovi..... A pokud nemaji Internet, ktery babicky obvykle nemaji, tak jim ho holt poridim a zaplatim. Problem vidim jen v te zaloze, co za uplnku zakopu u zdi hrbitova. Sice tam muzu zakopat i ten pocitac a ADSL router, ale bude problem s temi draty. Jeste horsi to pak bude  tou zalohou, co bude nosit zasitou pod kuzi.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 21. 10. 2017, 11:25:30
Ano, u zaloh na flash disku v botniku to funguje uplne uzasne. Staci do toho botniku pridat akorat jeden pocitac a natahnout k nemu draty. Kdyz delam 20 zaloh a ty davam na ruzna mista, je to uplna malickost. Jeden pocitac k babicce, jeden ke strejdovi..... A pokud nemaji Internet, ktery babicky obvykle nemaji, tak jim ho holt poridim a zaplatim. Problem vidim jen v te zaloze, co za uplnku zakopu u zdi hrbitova. Sice tam muzu zakopat i ten pocitac a ADSL router, ale bude problem s temi draty. Jeste horsi to pak bude  tou zalohou, co bude nosit zasitou pod kuzi.
Právě proto jsou zálohy na flash disku v botníku hloupý nápad.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 21. 10. 2017, 11:48:08
Právě proto jsou zálohy na flash disku v botníku hloupý nápad.

Nejsou. Pokud chci mit hafo zaloh na ruznych mistech, pro pripad zemetreseni nebo padu meteoritu o velikosti, ktera jeste neznici celou Evropu nebo celou Zemi a k te babice stejne jezdim, v praci mam zamknuty suplik, obcas byvam na chate....., tak nevim, co je na nich spatneho. Holt je nebudu kontrolovat a budu spolehat na to, ze vetsina jich prezije i par let (na vic bych u flash disku nespolehal). Zaloha v botniku pak ma vyhodu, ze je off line, coz snizi pravdepodobnost toho, ze tam samovolne uhnije nejaky tranzistor. Do zalohy v botniku se mi navic nikdo neprohackuje, protoze v ssh vypukla zase nejaka chyba a ja byl mesic na dovolene v domku z palmovych listu v Kalahari a nemohl jsem zaplatovat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 21. 10. 2017, 12:57:32
Nejsou. Pokud chci mit hafo zaloh na ruznych mistech, pro pripad zemetreseni nebo padu meteoritu o velikosti, ktera jeste neznici celou Evropu nebo celou Zemi a k te babice stejne jezdim, v praci mam zamknuty suplik, obcas byvam na chate....., tak nevim, co je na nich spatneho. Holt je nebudu kontrolovat a budu spolehat na to, ze vetsina jich prezije i par let (na vic bych u flash disku nespolehal). Zaloha v botniku pak ma vyhodu, ze je off line, coz snizi pravdepodobnost toho, ze tam samovolne uhnije nejaky tranzistor. Do zalohy v botniku se mi navic nikdo neprohackuje, protoze v ssh vypukla zase nejaka chyba a ja byl mesic na dovolene v domku z palmovych listu v Kalahari a nemohl jsem zaplatovat.
To ale nejsou zálohy, to je archiv. Zálohování je proces, který se dělá pravidelně, má definované parametry – je to něco, s čím se počítá, i když obnova ze zálohy není ideální stav. Archiv je něco, kam odkládáte data, která už by podle všeho neměla být potřeba – ale je vám líto je smazat, protože by se možná v budoucnosti mohla hodit k něčemu, o čem teď nemáte ani ponětí.

Pokud někdo požaduje minimálně čtyři zálohy umístění alespoň 10 km od sebe, asi chce nějaký odhad, jak bezpečné to zálohování je, a nespokojí se s konstatováním „budou-li nám bohové příznivě nakloněni, něco na těch zálohách možná nakonec najdem“.

Spoléhat na to, že něco přečtete z flashidku po několika letech, co leží v šuplíku, je myslím do odvážné.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 21. 10. 2017, 14:01:49
To ale nejsou zálohy, to je archiv. Zálohování je proces, který se dělá pravidelně, má definované parametry – je to něco, s čím se počítá, i když obnova ze zálohy není ideální stav.

Slovickareni. Jestlize v botniku budu ty flashe vymenovat v pravidelnych intervalech za cerstve a ty stare a rekneme po ctyrech novych verzich, rusit a prepisovat novymi daty, z vaseho archivu se stava zaloha.

Citace
Pokud někdo požaduje minimálně čtyři zálohy umístění alespoň 10 km od sebe, asi chce nějaký odhad, jak bezpečné to zálohování je, a nespokojí se s konstatováním „budou-li nám bohové příznivě nakloněni, něco na těch zálohách možná nakonec najdem“.

To by se musel obratit ne na Root, ale na Matfyz na odbornika na statistiku. Ten by mu rekl, ze je to ve hvezdach, protoze nejsou k mani dostatecne dobra data o selhavani zalohovacich medii a poslal by ho za kartarkou.

Citace
Spoléhat na to, že něco přečtete z flashidku po několika letech, co leží v šuplíku, je myslím do odvážné.

Ja na to spolehat nebudu. Budu prece delat stale nove zalohy a nejake ty stare si schovam pro strycka Prihodu. Po par letech by flash jeste vetsinou mel jit precist, kolik je to par let zalezi na flashi: https://en.wikipedia.org/wiki/Flash_memory#Archival_or_long-term_storage V kazdem pripade, pokud na to nikdo nesaha, mam podle uvedeneho aspon 1 rok na to, abych to precetl. Snad existuje nejaka dokumentace k lepsim flashkam, ve ktere by se clovek docetl, jak jsou udelane a jestli muze doufat ve vice.

Krome toho, co byste navrhoval? Vyber medii na dlouhodobou archivaci, je dost mizerny. Flash na to neni idealni - je to sazka do loterie. HD je drahy a po par letech povalovani se mi nemusi roztocit. DVD a BR se daji pouzit jen tehdy, kdyz koupim specialni draha media. A vypalovani dat laserem do zuly neni moc prakticke. Zabere to dost mista na zahrade, zejmena kdyz pridam opravne kody a jeste musim doufat, ze mi to moc neposerou ptaci.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 21. 10. 2017, 22:18:50
Jestlize v botniku budu ty flashe vymenovat v pravidelnych intervalech za cerstve
Tak to znamená ty flash disky pravidelně někam vozit. Není mnohem jednodušší a snáze automatizovatelné ty soubory poslat někam po drátě?

To by se musel obratit ne na Root, ale na Matfyz na odbornika na statistiku. Ten by mu rekl, ze je to ve hvezdach, protoze nejsou k mani dostatecne dobra data o selhavani zalohovacich medii a poslal by ho za kartarkou.
Dostatečně dobrá data jsou. Navíc je pořád lepší mít alespoň nějaká nepřesná data, než obhajobu nějakého systému založit na tom, že jeho spolehlivost vůbec nijak nezkoumám, tudíž určitě musí být mnohem spolehlivější, než systém, jehož spolehlivost je jasně deklarovaná.

Budu prece delat stale nove zalohy a nejake ty stare si schovam pro strycka Prihodu.
Tazatel ale chtěl i staré zálohy.

Krome toho, co byste navrhoval? Vyber medii na dlouhodobou archivaci, je dost mizerny.
Jak už jsem psal, je spousta poskytovatelů, kteří poskytují úložiště jako službu, stačí si mezi nimi vybrat takové, kteří mi budou vyhovovat svými parametry. Pokud si vyberu poskytovatele, kteří poskytují spolehlivost odpovídající uložení ve více lokalitách, stačí mít dva takové poskytovatele a je vystaráno.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Milfaus 21. 10. 2017, 22:49:38
JardaP a Jirsák tu valí bomby?  ;D
Četl to někdo, napište recenzi :-D
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 22. 10. 2017, 01:54:46
Tak to znamená ty flash disky pravidelně někam vozit. Není mnohem jednodušší a snáze automatizovatelné ty soubory poslat někam po drátě?

Je, kdyz mam k dispozici potrebny drat s dostatecne velkym ulozistem na konci. A ono posilat 20 GB pres upload ADSL, je take pekny opruz. Vetsina tehlech poskytovatelu ulozist totiz ani nema na svem konci rsync, nehlede na to, jak dlouho by to trvalo.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: PetrM 22. 10. 2017, 19:36:34
Tak to znamená ty flash disky pravidelně někam vozit. Není mnohem jednodušší a snáze automatizovatelné ty soubory poslat někam po drátě?

Bylo by. V případě, že krabička na konci toho drátu bude končit v něčem inteligentním s veřejnou IP adresou a takovou konektivitou, že nebude tetička půl dne bez seriálů po VoD. Pak není problém mít u příbuzných NASy s filmama, písničkama a fotkama a třeba 10% si po domluvě rezervovat za to, že se jim o to (na dálku) stará.

Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 22. 10. 2017, 20:29:58
Bylo by. V případě, že krabička na konci toho drátu bude končit v něčem inteligentním s veřejnou IP adresou a takovou konektivitou, že nebude tetička půl dne bez seriálů po VoD. Pak není problém mít u příbuzných NASy s filmama, písničkama a fotkama a třeba 10% si po domluvě rezervovat za to, že se jim o to (na dálku) stará.

Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.
A ještě nesrovnatelně menší opruz je nahrát to k nějakému poskytovateli služby úložiště. Pak tam jsou i nějaké definované záruky a nezáleží to na tom, že syn tetičky bude potřebovat na NASu uvolnit místo, aby se mu tam vešel nejnovější díl Ovečky Shaun, tak trochu promázne nepotřebné věci (včetně té superdůležité zálohy).
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 23. 10. 2017, 13:15:45
Ale ve světě "krabiček za tři stovky", když ISP umí jenom IPv4 za CGNATem po 5GHz WiFině je vožení FLASH disků autem menší opruz.

Ano, stary dobry kabelovy prenos, vynalezeny VACUSem, kdy v kabel vozili pasky mezi Prahou a Brnem, protoze pulku casu byly naprsele kabely a po modemu to neslo.

A ještě nesrovnatelně menší opruz je nahrát to k nějakému poskytovateli služby úložiště. Pak tam jsou i nějaké definované záruky a nezáleží to na tom, že syn tetičky bude potřebovat na NASu uvolnit místo, aby se mu tam vešel nejnovější díl Ovečky Shaun, tak trochu promázne nepotřebné věci (včetně té superdůležité zálohy).

Tim sice odpadne problem, ze tete nepujdou pul dne serialy, ale zaloha rychleji asi nepuje. Vetsina lidi ma doma nejake ADSL a to miva dosti trapnou sirku pasma smerem ven. A zrovna na potforu smerem ven je poreba ta data dostat.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 23. 10. 2017, 13:34:32
Vetsina lidi ma doma nejake ADSL a to miva dosti trapnou sirku pasma smerem ven.
Ovšem většina lidí nepotřebuje z domova zálohovat 20 GiB data na čtyři různá místa minimálně ve dvou státech, protože nezálohují z domova výsledky vědeckého výzkumu, ve kterém jsou desetitisíce hodin práce.

Ostatně, když se to zálohování nedělá ručně, ale automaticky, nijak nevadí, pokud se doba uploadu pohybuje v hodinách – ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 23. 10. 2017, 14:40:54
ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.

Jak dlouho by trvalo 20 GB pres ADSL upload se mi nechce pocitat, tak nevim, jestli by se to pres noc stihlo. Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit. A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal. Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky, cimz se to ponekud nafoukne, ale porad lepsi, nez tam pokazde rvat 20 GB a navic nekolikrat do nekolika mist.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 23. 10. 2017, 18:29:46
Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit.
Lokální kopie dat se dá samozřejmě udělat mnohem rychleji a odesílá se potom ta.

A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal.
Tazatel psal o frekvenci zálohování jednou za dva až tři týdny. Pokud byste chtěl na offline média zálohovat častěji, než jednou týdně, opravdu byste nedělal nic jiného, než pořád jen rozvážel média.

Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky
O charakteru dat nic nevíme – zvlášť, když je to šifrovaný disk, klidně je možné, že bude celý soubor pokaždé úplně jiný.

pokazde rvat 20 GB a navic nekolikrat do nekolika mist
Což není nutné dělat přes ten předpokládaný pomalý upload, stačí to dostat ven jednou. Samozřejmě záleží na konkrétní službě, ale je dost možné, že by ani nebylo potřeba mít vlastní zprostředkující server, že by stačilo nahrát to na jednu službu a odsud rozdistribuovat kopie do dalších míst.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 23. 10. 2017, 20:00:14
Což není nutné dělat přes ten předpokládaný pomalý upload, stačí to dostat ven jednou. Samozřejmě záleží na konkrétní službě, ale je dost možné, že by ani nebylo potřeba mít vlastní zprostředkující server, že by stačilo nahrát to na jednu službu a odsud rozdistribuovat kopie do dalších míst.

Ano, dobry napad, ktery trpi jednim zadrhelem. Kdyz pri prenosu teto jedne zalohy vznikne chyba, bud tato nasledne rozkopirovana o vsech dalsich kopii. Zajisti mi to tedy jedine to, ze budu mit X spatnych kopii, a kdyby nektera z nich selhala, vzdy si muzu sva spatna data stahnout od jinud.

Takze to radsi narvudo hubu 6 flashek a budu to rozvazet.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 23. 10. 2017, 20:23:49
Ano, dobry napad, ktery trpi jednim zadrhelem. Kdyz pri prenosu teto jedne zalohy vznikne chyba, bud tato nasledne rozkopirovana o vsech dalsich kopii.
Tento drobný zádrhel byl vyřešen už s vynálezem otisků souborů a jejich ověřování. O tom, jak správně ověřit obsah souboru, se tu vedla debata asi tak na devíti stránkách.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 23. 10. 2017, 21:18:31
Tento drobný zádrhel byl vyřešen už s vynálezem otisků souborů a jejich ověřování. O tom, jak správně ověřit obsah souboru, se tu vedla debata asi tak na devíti stránkách.

Ano, to ovsem zavani nikoliv nejakym lepsim DropBoxem od Amazonu, ale VPS, kam nahraju soubor, pustim vdaleny terminal s Linuxem a necham si spocitat hash. Pokud to tedy nechcete pokazde tahat zpet a overovat lokalne. Otazka za sto bodov: Umi Amazon - jak se to jmenuje - poskytnou terminal anebo jen ten lepsi DropBox?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 23. 10. 2017, 21:44:34
Ano, to ovsem zavani nikoliv nejakym lepsim DropBoxem od Amazonu, ale VPS, kam nahraju soubor, pustim vdaleny terminal s Linuxem a necham si spocitat hash. Pokud to tedy nechcete pokazde tahat zpet a overovat lokalne. Otazka za sto bodov: Umi Amazon - jak se to jmenuje - poskytnou terminal anebo jen ten lepsi DropBox?
Ten hash si nemusíte počítat sám, může ho počítat provozovatel úložiště – je to i v jeho zájmu. Při nahrávání souboru na Amazon Glacier povinně posíláte i hash souboru, podle kterého si Amazon zkontroluje, že mu dorazila ta správná data.  Při stažení souboru vám hash pošle. V OpenStack Object Storage API je při uploadu volitelná hlavička ETag, kde je alespoň MD5.

Když chcete dokázat, že nějaké řešení je nepoužitelné, nedokazujte to na tom, jak byste to udělal co nejhloupěji, ale zkuste si zjistit, jak se to v praxi doopravdy dělá.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 23. 10. 2017, 21:51:14
1. otevřu originální TC kontejner. Jde přečíst? Ano, jdi na 2. Ne - jdu pro zálohu.
Pro TC kontejner platí to samé, jako pro 7zip archív, pevný disk, DVD nebo soubor v cloudu – to, že jde přečíst, není záruka toho, že se čtou správná data.

O tom, jestli data, jez jdou precist, jsou vzdy spravna tu byla velka debata. V naproste vetsine spravna podle vseho jsou, ale ne vzdy (jak tu byl jeden nazor) a nebo ze jsou spatna casto (druhy nazor). Podle zminenych informaci je to jedna chyba za desitky-stovky TiB.

Pokud by se poskodil nejaky soubor-blok v kontejneru, nebude to tak velka ztrata, jako ztrata celeho kontejneru. I kdyz nektera mista kriticka jsou, nektera naopak temer vubec.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 23. 10. 2017, 21:57:24
Nikdo tu FW ani HW nehaní, to, že HW může selhat, je normální a počítá se s tím. Banky ani armáda samozřejmě nespoléhají na to, že hardware nemůže selhat. Právě naopak, dělají opatření proto, aby je selhání hardwaru neohrozilo – například tak, že data ukládají v několika kopiích.
No a to samé se tu tazateli taky doporučuje...

To tazatel navrhl jiz na zacatku a tak to take je. Min. 5 kopii, min. na 4 mistech, min. ve dvou zemich, min. 2 typy media, min. 2 verze v case.

Otazkou ale je, jak zalohovat, aby se odhalily chyby v datech pri zalohovani a ta chyba se nesirila dal.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 23. 10. 2017, 22:27:57
ten automat opravdu není netrpělivý a klidně to tam může nahrávat celou noc nebo celý víkend.

Jak dlouho by trvalo 20 GB pres ADSL upload se mi nechce pocitat, tak nevim, jestli by se to pres noc stihlo. Pokud by to ale trvalo cely vikend, tak by cely vikend ten kontejner nemohl otevrit, coz muze vadit. A i kdyby nevadilo, tak by to znamenalo, ze by zalohoval akorat 1x tydne, coz ja bych u tak krute dulezitych dat nedelal. Tohle by mohl zachranit jedine vzdaleny stroj s rsyncem, aby se zalohovalo jen to, co se zmenilo, respektive zmenene bloky, cimz se to ponekud nafoukne, ale porad lepsi, nez tam pokazde rvat 20 GB a navic nekolikrat do nekolika mist.

Vysoka fregvence zaloh neni uplne nutna. Ztratila by se jen data od posledni zalohy, nikoliv desetitisice hodin prace od uplneho zacatku projektu. i jednou za 2-3 tyndy staci.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 23. 10. 2017, 22:32:19
Ano, dobry napad, ktery trpi jednim zadrhelem. Kdyz pri prenosu teto jedne zalohy vznikne chyba, bud tato nasledne rozkopirovana o vsech dalsich kopii.
Tento drobný zádrhel byl vyřešen už s vynálezem otisků souborů a jejich ověřování. O tom, jak správně ověřit obsah souboru, se tu vedla debata asi tak na devíti stránkách.

Presne tak, jak overit spravny obsah souboru je v podstate to hlavni.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Filip Jirsák 24. 10. 2017, 07:24:46
Otazkou ale je, jak zalohovat, aby se odhalily chyby v datech pri zalohovani a ta chyba se nesirila dal.
Jestli to chápu dobře, máte někde nějaké pracovní soubory, o kterých „víte“, že jsou správné – případně ty pracovní soubory udržujete ve více kopiích, které můžete porovnat. Pak z nich uděláte TC kontejner a ten chcete zálohovat.

Spočítejte si hashe těch souborů a přidejte je do toho TC kontejneru, pak spočítejte i jeho hash. Vytvořený TC kontejner přeneste na jiné zařízení, tam ověřte jeho hash, znovu rozbalte TC kontejner a zkontrolujte hashe vložených souborů. Tím budete mít jistotu, že TC kontejner je vytvořen správně a jde rozbalit. Pak už jenom ten TC kontejner s hashem zazálohujte – nejbezpečnější je uložit to u dvou poskytovatelů cloudového úložiště (akorát je potřeba si ohlídat, aby ve skutečnosti nepoužívali stejnou infrastrukturu). Pokud chcete mít jo jistotu, že se k datům dostanete, i když dojde k nějaké katastrofě a přestane existovat internet, rozdělte ten TC soubor na 5 částí a ty vypalte na DVD, která můžete uchovávat klidně u sebe, ale hlavně musíte pravidelně ověřovat, že soubor na nich není poškozený.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: Hu 24. 10. 2017, 07:43:46
Jirsak  ;D dela si srandu nebo je trochu blbej?
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: JardaP . 24. 10. 2017, 10:10:30
Pokud chcete mít jo jistotu, že se k datům dostanete, i když dojde k nějaké katastrofě a přestane existovat internet, rozdělte ten TC soubor na 5 částí a ty vypalte na DVD, která můžete uchovávat klidně u sebe, ale hlavně musíte pravidelně ověřovat, že soubor na nich není poškozený.

DVD asi tezko, leda tak specialni DVD, kvalitni a drahe. Normalni DVD media jsou trapna sracka, kde se clovek muze spolehnout jen na to, ze to drive nebo pozdeji (spise drive) nepujde vubec precist, kolikrat uz hned po vypaleni. To i ten flash je o par radu spolehlivejsi.
Název: Re:Jak správně zálohovat data okolo 20 GiB
Přispěvatel: datadoclanku 31. 10. 2017, 22:38:54
Otazkou ale je, jak zalohovat, aby se odhalily chyby v datech pri zalohovani a ta chyba se nesirila dal.
Jestli to chápu dobře, máte někde nějaké pracovní soubory, o kterých „víte“, že jsou správné – případně ty pracovní soubory udržujete ve více kopiích, které můžete porovnat. Pak z nich uděláte TC kontejner a ten chcete zálohovat.

Spočítejte si hashe těch souborů a přidejte je do toho TC kontejneru, pak spočítejte i jeho hash. Vytvořený TC kontejner přeneste na jiné zařízení, tam ověřte jeho hash, znovu rozbalte TC kontejner a zkontrolujte hashe vložených souborů. Tím budete mít jistotu, že TC kontejner je vytvořen správně a jde rozbalit. Pak už jenom ten TC kontejner s hashem zazálohujte – nejbezpečnější je uložit to u dvou poskytovatelů cloudového úložiště (akorát je potřeba si ohlídat, aby ve skutečnosti nepoužívali stejnou infrastrukturu). Pokud chcete mít jo jistotu, že se k datům dostanete, i když dojde k nějaké katastrofě a přestane existovat internet, rozdělte ten TC soubor na 5 částí a ty vypalte na DVD, která můžete uchovávat klidně u sebe, ale hlavně musíte pravidelně ověřovat, že soubor na nich není poškozený.

Ano tak nejak to je, takze postup je spravny.

Cloudova uloziste moc nepreferuji, pri tomto obemu dat se da snadno pozadat kolega se serverem v zahranici (nezadam vykon CPU RAM zadny, jen neco malo storage a traffic). K tomu navic jeste dam kopii na cloudove uloziste, tim nic nezkazim. A pak navic ty zminene DVD a flashdisk - opet nic nepokazim, kdyz udelam kopii navic. Spolehlivost DVD je tak trochu ruzna, takze to nebude ztezejni zaloha.

Pokud dojde ke katastrofe a nepujde internet, zkolabuje vse, data asi k nicemu nebudou, v dohledne dobe je nikdo vyuzit nedokaze. Nicmene v tomto pripade je potreba mit nekde schoany i zalozni hardware - vlastni PC vc. kavelu a zasuvek, ktery media precte a take zaloha software pro praci s daty, vc. OS. K tomu navic vlastni zalozni zdroj elekticke energie (solarni panel).

Pokud se restartuje vyvoj civilizace, nove vynalenene PC si se staryma rozumnet nebudou (zcela jine standarty napajeni i datove srukture). A i elektricka sit bude mit po znovu-vynaleneni jine parametry nez 230 V a 50 HZ.