Jak správně zálohovat data okolo 20 GiB

datadoclanku

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #60 kdy: 14. 10. 2017, 21:39:46 »
Jinak mimochodem nostalgicka vzpominka na diskety a jejich spolehlivost. Kapacita 1.44 MB do jiste miry na nektere veci se pouzit dala.

Stacilo mit blizko disket mobil a disketa byla v haji. A dokonce casto ani nesla formatovat. A tramvaji diskety jezdili neradi. Magneticke pole od motoru vedlo casto k likvidaci dat. Pri prevozu seminarky z domova do skoly k vytiskuti byl clovek rad, ze se prevoz podaril.


spacek

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #61 kdy: 14. 10. 2017, 21:42:19 »
Jak už se tu psalo, nic dalšího než prosté šoupnutí na archivační médium bych na TC kontejner nepoužíval.
- ke každé kopii si uložit její hash, opětovným přečtením z archivního média hash ověřit
- po vytvoření "x" kopií porovnat jejich hashe navzájem (pro jistotu paranoika)
Tím mám jistotu, že mám "x" správných archivních kopií.
Pokud použiji různá média (BD, flashdisk, HDD, páska, něco z toho třeba vícekrát) a umístím je na různá místa, je bezpečnosti učiněno zadost.
A tento postup pravidelně (po změně obsahu TC kontejneru) opakovat.

Všechny další procedury jsou redundantní a zbytečné, jelikož TC kontejner je již ze svého principu dostatečně bezpečný (při správné složitosti klíče). Jen se zvětšuje riziko potencionální chyby při zpracování dalším sw.

Asi nejlepsi reseni. Jakakoliv manipulace (vc. storage komprese 7zip)  zvysuje riziko chyby. Muzu samozrejme soubor zalohovat soucasne zabaleny i rozbaleny. A TC soubor ma dobre heslo-klic, kradez dat nehrozi, kdyz neni kontejner otevren. Nic lepsiho asi ani neni. VeraCrypt nema zatim tradici.

Misto delani 7z archivu dam kontrolni soucty, vice funkci.

Na BD muzu zalohovat prubezne kazdou verzi (i kdyz kde stare BD pa recyklovat ?)a na flashdisky a vzdalene hdd na serverech vzdy prepisu kontejner novou verzi. A udelam kontrolni soucty. Vzdy mit min. 5-7 ruznejch verzi, na 3-4 odlisnych vzdalenych mistech, min. ve dvou zemich a zaroven mit min. 2-3 ruzne verze v case zazalohovane. A delat, porovnavat, kontrolni soucty min. 2-3 programy, funkcemi. To by melo byt naprosto spolehlive. Nejvic se bojim, aby se soubor neposkodil na vychozim miste a nsiril se postupne do vsech zaloh. Takze prubezne vypalovat na BD nebo zalohovat na pasky.

Takhle to odola pozaru, povodni, ! ramsonware !, zemetreseni, sopce, tsunami,  vloupani, sabotazi a zrade spolupracovniku, slunecni erupci a do urcite miry i padu ne prilis velkeho meteoritu.

U archivu muze chyba jednoho bitu odrovnat cely soubor (?) Veril bych tomu, hlavne u velke komprese. Jak je to s TC kontejnerem ? Muze zmena jednoho nebo par bajtu v kontejneru odrovnat cely kontejner (tj. nedostanu se dovnitr) ? Navic nektere datove soubory musi zustat rovnez zcela nepozkozene tak jako tak.
Když se data poškodí ve výchozím místě, zjistíš to hned při kontrolním ověření (čtení) první zálohy z těch "x". Snížit riziko lze zvýšením četnosti tvorby záloh... :-)
Takhle to používám několik let. Teda ne úplně - nemám tolik lokalit a tolik médií, data jsou spíš rodinného, osobního, pracovního charakteru. Používám stále TrueCrypt, bo tomu jedinému (zatím) věřím.

spacek

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #62 kdy: 14. 10. 2017, 21:55:05 »
Ale s tou odolností proti ransomware pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát. 

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #63 kdy: 14. 10. 2017, 21:57:12 »
Pánové, já to tady čtu, a pořád diskuse odbíhá od toho hlavního. Jak zajistit, aby soubor nebyl poškozený - a to jsme se dobrali k tomu, že je potřeba udělat hash (SHA-x) a ten srovnávat. Osobně bych použil více hashovacích algoritmů, pravděpodobnost, že všechny v kombinaci budou mít stejnou chybu (kolizi) je prakticky nulová. Užít k hashování 7z je taky možnost, ale není to primární účel toho programu.

Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná). Takže bych začal tím, aby vše, co se dat dotkne, mělo striktně ECC. Uložení dat může být na řadiči, který se o to sám postará, nebo na filesystému, který udělá tu samou práci (ZFS) - v obou případech je potřeba dobře vyzkoušet implementaci, případně se podívat na certifikace

Jakmile bude soubor bezpečně ohashovaný, pak už se s daty dá pracovat jakkoliv, a dají se kdykoliv kontrolovat.

I já jsem z dotazu tazatele nabyl dojmu, že možná slabých míst ve své úvaze (zpracování) může mít víc, ale tak dotaz položený nebyl.

Lépe za sebe odpovědět nedokážu, úplně se neumím vžít do situace, kdy změna jednoho bajtu úplně zničí (sta)tisíce člověkohodin práce. Patrně, u takové hodnoty, by se o situaci měl postarat někdo, kdo problematice opravdu rozumí, protože naše rady zde jsou neúplné.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #64 kdy: 14. 10. 2017, 22:23:15 »
Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná).

To by se asi poznalo podle toho, ze by mi pri vicero pruchodech vychazely ruzne hashe.


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #65 kdy: 14. 10. 2017, 22:25:21 »
Ale s tou odolností proti ransomware pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát.

Proto dnes uz i Widle maji uzivatelske ucty a ACL. Jak si to kdo osefuje, tak blbe to ma. Nejspis to tam mastili pod adminem a UAC bez cteni odklepavali.

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #66 kdy: 14. 10. 2017, 22:31:01 »
Osobně bych použil více hashovacích algoritmů, pravděpodobnost, že všechny v kombinaci budou mít stejnou chybu (kolizi) je prakticky nulová.
Prakticky nulová je pravděpodobnost kolize i u jediného hashovacího algoritmu, pokud se použije nějaký rozumný (třeba SHA-2 nebo SHA-3). Použití dvou hashovacích algoritmů by bylo dobré akorát tak pro dobrý pocit a pro to, že je pořád extrémně jednoduché to použít (zejména v porovnání se zjišťováním, jestli a jaké používá 7zip kontrolní součty).

Užít k hashování 7z je taky možnost
Pak tedy asi víte, jaký hashovací algoritmus 7zip používá, co hashuje a jakým způsobem hashe ověřuje. Mohl byste to nám ostatním prozradit, ať to nemusíme hledat?

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #67 kdy: 14. 10. 2017, 22:35:33 »
Rizikovější mi v tomto procesu přijdou hlavně operace na zdrojovém serveru. Ten, když bude mít díru v paměti, tak se všechna data všemi algoritmy dostanou do cíle s chybou (a ta chyby může být korektně ohashovaná).

To by se asi poznalo podle toho, ze by mi pri vicero pruchodech vychazely ruzne hashe.

Pokud zdrojová data načtu pokaždé se stejným bajtem změněným proti skutečnosti, tak všechny hashe budou sedět, a všechny budou špatně.

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #68 kdy: 14. 10. 2017, 22:38:35 »
Pak tedy asi víte, jaký hashovací algoritmus 7zip používá, co hashuje a jakým způsobem hashe ověřuje. Mohl byste to nám ostatním prozradit, ať to nemusíme hledat?

Někdy jsem to hledal, myslím, že je to SHA-256, ale opravdu už si nepamatuju, jestli je to po souborech, nebo na celý archiv. Myslím, že na celý archiv. Jak jsem psal, muselo by se to ověřit.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #69 kdy: 14. 10. 2017, 23:10:38 »
Pokud zdrojová data načtu pokaždé se stejným bajtem změněným proti skutečnosti, tak všechny hashe budou sedět, a všechny budou špatně.

Tak kdyz se tu ted mluvi o tech pravdepodobnostech, tak take nadhodim tezi: Pravdepodobnost, ze pri dvou pruchodech souboru 20 GB pameti, se data nactou do uplne stejnych bloku pameti, se limitne blizi nule.

spacek

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #70 kdy: 14. 10. 2017, 23:12:37 »
Ale s tou odolností proti ransomware
pozor! Stalo se mi na win serveru, že user1 (před RDP na serveru) měl otevřený TC kontejner, user2 měl kompromitovaný svůj PC ransomwarem a přes SMB sdílení nejenom že mu to zašifrovalo jeho user2 složku na serveru, ale navíc to zasáhlo i právě otevřený TC kontejner user1.
Doteď nevím, jak se to mohlo stát.

Proto dnes uz i Widle maji uzivatelske ucty a ACL. Jak si to kdo osefuje, tak blbe to ma. Nejspis to tam mastili pod adminem a UAC bez cteni odklepavali.
Nemastili... a bez čtení neodklepávali...
User1 byl administrátorský účet, který měl v danou chvíli otevřený TC kontejner. User2 účet na serveru nebyl administrátor. User2 nebyl na serveru přihlášený. Při kompromitaci jeho PC se zašifrovala jeho uživatelská složka (RW) na serveru, SMB sdílení, která byla RO samozřejmě zůstala v pořádku.
Malware se nějak dostal k obsahu otevřeného kontejneru na serveru přihlášeného User1. Tohle nechápu.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #71 kdy: 14. 10. 2017, 23:33:13 »
Malware se nějak dostal k obsahu otevřeného kontejneru na serveru přihlášeného User1. Tohle nechápu.

Toz jak rikam, jak si to kdo osefuje, tak to ma. Tak blbe chyby snad uz ani ve Widlich  nejsou, aby se to dalo shodit na ne.

Milfaus

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #72 kdy: 14. 10. 2017, 23:42:07 »
Ty WOE!!!!

To je jak přehlídka retardů!!!

Data na disku JSOU chráněna na HW úrovni proti poškození.
DISK VRACÍ DATA OPRAVENÁ A SPRÁVNÁ, PROTO MŮŽEME MÍT DISKY I NĚKOLIK TERA!!
KDYŽ VEZMU JEDEN A TEN STEJNÝ SOUBOR 5GB, 100X HO PŘEKOPÍRUJU, POŘÁD BUDU MÍT TEN STEJNÝ SOUBOR.

Pokud správně zvolíme souborový systém, je ještě OCHRANA NA ÚROVNI SOUBOROVÉHO SYSTÉMU!!!

Následuje OCHRANA NA ÚROVNI ARCHIVU!!!

Bože! Jak u retadů na na půdě!!!
Kdyby si soubory na souborovém systému žily vlastním životem, TrueCrypt by vůbec nebyl použitelný!!!
Data uložená na discích se NEMĚNÍ!!!
Stará se o to jak disk na úrovni čtení, tak souborový systém!!!

Dokonce i TrueCrypt sám je samozřejmě částečně odolný proti chybám!!!
Jen se nesmí poškodit header a proto tma je možnost si ho zazálohovat!
https://www.sevenforums.com/tutorials/242003-truecrypt-recover-corrupt-container.html

Normálně jsem fakt v klidu, ale tady se možná řeší požadavek někoho, kdo si chce zazálohovat 20GB porna, jak si natočil sestru s jejím přítelem. A přitom je ZCELA NORMÁLNÍ POŽADAVEK, ABY NEDOŠLO KE ZMĚNĚ DAT.

Debilové, jak jsem měl většinu za normální (Mimo Jirsáka, ten je obvykle mimo. A mimo JardyP, který je mimo furt.), tak teď o tom všem mám dost vážné pochyby!

Vaše znalosti jsou evidentně velmi povrchní a povšechné.

Uznávám jednu věc, v Linuxu je řada toolů, které jsou historicky už ZASTARALÉ, SHNILÉ A ŠPATNÉ. Uznávám, že CRC32 je prostě out. Ale tyto zastaralé a třicet let staré utility lze nahradit.

RAR lze nakonfigurovat pro použití s BLAKE2, který je srovnatelný se SHA3-256!!!
Není potřeba použít deset utilit, protože umíte pracovat nanejvýš s TARem, který samoopravu ani kontrolní součty nijak zvlášť neumí. JSOU MODERNÍ A SPOLEHLIVÉ UTILITY, KTERÉ ZVLÁDNOU CELOU PRÁCI.

Znovu zopakuji, DATA NA DISKU SE NEMĚNÍ!!!
Data se s největší pravděpodobností poškodí, když se uloží do paměti počítače, ale ani to není tak časté, aby došlo ke ztrátě dat.

...to snad není možný!!!

Milfaus

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #73 kdy: 14. 10. 2017, 23:55:10 »
Ještě jedna věc.
Zvídavého člověka napadne, proč má běžný Archiv i TrueCrypt vlastní samoopravné kódy, když je souborový systém a disk tak spolehlivý.

Předně, jsou souborové systémy, které nejsou samoopravné a neumí detekovat chybu.
Dále, data nemusí být přenášena na discích, ale mohou být přenášena na FLASH, které ČASTO NEMAJÍ ECC!!!
Úplně každý Hard Disk a fakticky každý SSD disk používá alespoň ECC, nikoliv však paměťové karty a ne všechny FlashDisky mají ECC. Hlavně u paměťových karet spíš získáte kartu bez ECC.

Můžete mít paměťovou kartu, která nemá žádný ECC mechanismus a obvykle se souborovým systémem, který taky nemá žádný ECC mechanismus. Proto se ochrana na úrovni datového kontejneru hodí. Dále pak data přenášená po sítí mohou být poškozená, to je další argument.

datadoclanku

Re:Jak správně zálohovat data okolo 20 GiB
« Odpověď #74 kdy: 15. 10. 2017, 00:12:23 »
Lépe za sebe odpovědět nedokážu, úplně se neumím vžít do situace, kdy změna jednoho bajtu úplně zničí (sta)tisíce člověkohodin práce. Patrně, u takové hodnoty, by se o situaci měl postarat někdo, kdo problematice opravdu rozumí, protože naše rady zde jsou neúplné.

Takovych moznosti me napada nekolik
-Jednak ze kvuli chybe v urcitych mistech nepujde vubec ten TC kontejner otevrit.
-Dojde ke zmene v klici k jinemu sifrovanemu disku, nebo jine sluzbe.
-Dojde kde zmene v rozsahlem kodu programu a chyba nepujde najit.
-Dojde ke zmene souboru s pristupovymi udaji jinam, pristupove udaje nejdou obnovit, kdyz se ztrati (par takovych prikladu znam).

Otazkou je, jestli pri zmene jednoho bajtu v TC kontejneru (nebo nekolik malo bajtu) se muze stat, ze kontejner nepujde otevrit.