Ověření funkčnosti velkých záloh

Medo

Ověření funkčnosti velkých záloh
« kdy: 25. 04. 2016, 09:18:34 »
Ahoj
Dufam, ze nenesiem drevo do lesa, ale problem, ktory riesim, mi nepride 2x trivialny ...

Ako odbackupovat x (tisic) dokumentov (posta, doc, xls, jpeg, ..), aby som mal istotu, ze sa ich struktura nezmenila a v danej chvili su korektne ?
(pozornemu citatelovi asi neujde, ze narazam na malware).
Radu v zmysle "ved si nieco namatkovo otvor" nechcem, to pri par desiatkach pc je nemyslitelne ...
Na rozne AV produkty sa spoliehat nejdem/nechcem.

Vdaka.
« Poslední změna: 25. 04. 2016, 09:32:10 od Petr Krčmář »


j

Re:Funkcnost zaloh
« Odpověď #1 kdy: 25. 04. 2016, 09:31:15 »
Blbe ... pokud mas historicky zalohy, muzes to zkusit porovnat.

Ale pokud ti jde o sifrovatory, ty se vetsinou nesnazej nijak moc schovavat, takze na jejich cinnost narazis v radu hodin, takze pokud mas zalohy aspon tyden ...

Medo

Re:Ověření funkčnosti velkých záloh
« Odpověď #2 kdy: 25. 04. 2016, 11:52:06 »
No, ved prave, ze sa to moze rychle zmenit ...

http://www.root.cz/clanky/postrehy-z-bezpecnosti-ransomware-bude-obrovskym-problemem/
---
 Do teď stačilo mít alespoň nějakou zálohu, ale až budou potichu v podobě boot/root-kitu vyčkávat a pomalu šifrovat data, aby tak znehodnotili zálohy, tak teprve pak to bude obrovský problém
---

Mam nejaku ideu ako nato, skor som hodil dopyt, ci niekoho nenapadne este nieco ine ...

P_V

  • ***
  • 227
    • Zobrazit profil
    • E-mail
Re:Ověření funkčnosti velkých záloh
« Odpověď #3 kdy: 25. 04. 2016, 12:55:09 »
Co třeba mít stranou dlouhodobě zálohované i předchozí verze souborů jako prevenci. Detekce změny podle crc a ne podle data.

Co vím, tak malware soubory obvykle i přejmenuje, dá jim nějakou veselou koncovku, aby po zaplacení poznal, co má obnovit. To by mohl být silný indikátor, že zmizel soubor zpráva.odt a zároveň ve stejném adresáři přibyl soubor zpráva.odt.pwned.

Pro případ že by to tak nedělal, tak to bude horší. Na zjištění zda je soubor zašifrován, asi nezbude než testovat konkrétní typy souborů podle jejich struktury. Pustit na ně něco, co z příkazové řádky umí vytáhnout metadata nebo jinak obsah načíst, a když to skončí errorem, je to podezřelé.

Re:Ověření funkčnosti velkých záloh
« Odpověď #4 kdy: 25. 04. 2016, 14:11:34 »
Tyjo, fakt hezký a praktický téma, dík za něj!

Bohužel myslím, že když si jasně rozmyslíš, co vlastně přesně chceš řešit, dojdeš na to, že se stoprocentní jistotou to řešit nejde.

Když si to tak vezmeš:

1. ransomware ti může jakýkoliv soubor zašifrovat kdykoliv
2. "korektnost" všech možných typů souborů nejsi schopný zkontrolovat

...tak z toho máš závěr, že buď musíš přijmout omezení na maximální stáří souboru nebo na velikost záloh nebo omezit množství formátů, pro které tu garanci chceš, nebo omezit jistotu, s jakou víš, že formát je v pořádku.

Pokud nechceš omezit stáří, musíš mít historii všech souborů až zpátky k jejich vzniku (=> potenciálně obrovské nároky na úložiště záloh, imho ve většině případů prakticky těžko realizovatelné).

Tu jistotu o korektosti formátu můžeš snížit třeba tak, že na všechny soubory spustíš normální file (http://man.he.net/?topic=file&section=all), který ti pro velkou část z nich správně určí typ obsahu a zároveň asi není úplně pravděpodobný, že by soubor by ransomware soubor zašifroval a zároveň zachoval hlavičku.

Jinak taky bys měl snižovat objem záloh pomocí nějaké usecase-specific deduplikace: skoro každý rozumnější zálohovací nástroj umí několik úrovní záloh - např. Bareos má Full, Differential, Incremental, tar má --level. Soubory, které se nezměnily od poslední zálohy stejného nebo vyššího levelu se znovu nezálohují. Pak taky existují různé nástroje, které pro nezměněné soubory používají hardlinky. Když tohle správně použiješ, můžeš historii slušně natáhnou za nízkého zvýšení nákladů. Pořád ale bude nějak omezená - kapacita nabývá nekonečná.

...no a pokud bys do toho chtěl jít fakt hardcore, tak můžeš mít nekončnou kapacitu pomocí nějakého "doufejme, že to nikdy nebudu potřebovat číst" řešení typu Amazon Glacier.

Prostě žádný silver bullet mě na tenhle problém nenapadá...


Re:Ověření funkčnosti velkých záloh
« Odpověď #5 kdy: 25. 04. 2016, 14:14:53 »
P.S. téma máš nazvaný zavádějícím způsobem - pod "funkčností zálohy" se obvykle myslí to, že záloha jde obnovit (medium není poškozený, formát není zastaralý) případně že obsahuje to, co skutečně bylo na disku. Takže to není tvůj případ, ty nechceš obnovit to, co bylo někdy na disku, ty chceš obnovit soubor přesně před nějakou událostí (zašifrování) - o které dopředu nevíš, kdy se stane.

andy

Re:Ověření funkčnosti velkých záloh
« Odpověď #6 kdy: 25. 04. 2016, 14:17:43 »
Ak by si to vedel zistit, tak vies zistit, ci mas nejaky ten virus. Takze to imho na 100% nepojde. A ak ano, daj si to patentovat.

P_V

  • ***
  • 227
    • Zobrazit profil
    • E-mail
Re:Ověření funkčnosti velkých záloh
« Odpověď #7 kdy: 25. 04. 2016, 14:24:20 »
Ten příkaz file zkoumá vždy obsah souboru, zda odpovídá příslušné struktuře, nebo se jen spokojí s koncovkou názvu a tím, že při nějaké koncovce uvnitř nenašel několik málo známých struktur?

Napadly mě ještě další dva způsoby, kromě specifických utilit na metadata.
- Zkusit soubor zkomprimovat, jak se zmenšil. Pokud je šifrovaný, nezmenší se. Jenže to nelze aplikovat na formáty které jsou vnitřně už komprimované.
- Zkusit soubor dekomprimovat. Specificky se to týká msoffice a openoffice formátů, což je přejmenovaný zip archiv.

Re:Ověření funkčnosti velkých záloh
« Odpověď #8 kdy: 25. 04. 2016, 14:28:02 »
Ten příkaz file zkoumá vždy obsah souboru, zda odpovídá příslušné struktuře, nebo se jen spokojí s koncovkou názvu a tím, že při nějaké koncovce uvnitř nenašel několik málo známých struktur?
Princip je popsaný na té odkazované man stránce.

Napadly mě ještě další dva způsoby, kromě specifických utilit na metadata.
- Zkusit soubor zkomprimovat, jak se zmenšil. Pokud je šifrovaný, nezmenší se. Jenže to nelze aplikovat na formáty které jsou vnitřně už komprimované.
- Zkusit soubor dekomprimovat. Specificky se to týká msoffice a openoffice formátů, což je přejmenovaný zip archiv.
Způsobů si můžeš vymyslet kolik chceš. Ale vždycky ti to bude fungovat jenom pro pár typů souborů. Nevidím moc smysl v tom, implementovat něco, co už existuje (detektor formátu) - je to vyhozená práce a uděláš to hůř než co už existuje.

crown

Re:Ověření funkčnosti velkých záloh
« Odpověď #9 kdy: 25. 04. 2016, 14:32:33 »
Pokud ten malware transparentne sifruje/desifruje nejakou dobu, nez zahodi klic, tak z pohledu obsahu souboru muze vse vypadat v poradku. Jen by se snizila rychlost nacitani obsahu souboru.

nou

Re:Ověření funkčnosti velkých záloh
« Odpověď #10 kdy: 25. 04. 2016, 14:33:10 »
Myslim ze ak clovek nasadi delta zalohy tak ta historia nebude vobec velka. Ako napriklad rdiff-backup. Nove data sa vytvaraju len urcitym tempom takze mnozstvo by malo byt proste X GB/tyzden.

Ak bude clovek sledovat velkost takychto zaloh tak to bude aj detekcia ransomware pretoze ak v normalnej prevadzke mu to zalohuje 5GB za den a to zrazu vyskoci na 100GB tak je nieco zle. Samozrejme pruser bude ak sa ransomware nauci sifrovat len nove subory.

Re:Ověření funkčnosti velkých záloh
« Odpověď #11 kdy: 25. 04. 2016, 14:42:15 »
Myslim ze ak clovek nasadi delta zalohy tak ta historia nebude vobec velka. Ako napriklad rdiff-backup. Nove data sa vytvaraju len urcitym tempom takze mnozstvo by malo byt proste X GB/tyzden.
Velikost je specificka pro dany pripad. X GB/tyden to muze byt pro normalni uzivatelska data krat neco kolem stovky uzivatelu. Pokud to jsou grafici nebo strihaji filmy, udela ti stejny objem klidne jeden clovek. A u zalohovani serveru to muze byt uplne jakkoli.

A pokud ty zalohy nemas prolinkovane, muze znamenat obnoveni rok stare zalohy obnovu padesati zaloh, coz neni nic prijemnyho... A pokud mas nejakou databazi zazalohovanych souboru (jako to ma napr. ten Bareos), poroste ti i ta.

A to je teda rec o tydenni granularite, takze v nejhorsim pripade muzes prijit o ctyri dny prace, coz taky neni uplne malo...

Ak bude clovek sledovat velkost takychto zaloh tak to bude aj detekcia ransomware pretoze ak v normalnej prevadzke mu to zalohuje 5GB za den a to zrazu vyskoci na 100GB tak je nieco zle. Samozrejme pruser bude ak sa ransomware nauci sifrovat len nove subory.
To je dobra poznamka, ale bohuzel u normalnich uzivatelu objem zaloh taky docela kolisa, takze pokud jich mas sto a jeden az deset z nich chytne ransomware, tak to nepoznas (kolisani do 10% je normalni).

P_V

  • ***
  • 227
    • Zobrazit profil
    • E-mail
Re:Ověření funkčnosti velkých záloh
« Odpověď #12 kdy: 25. 04. 2016, 14:43:40 »
Pokud ten malware transparentne sifruje/desifruje nejakou dobu, nez zahodi klic, tak z pohledu obsahu souboru muze vse vypadat v poradku. Jen by se snizila rychlost nacitani obsahu souboru.
To je v pořádku, protože dokud pracuje transparentně, tak se zálohují správná data. Problém nastane až když tu transparenci vypne.

Medo

Re:Ověření funkčnosti velkých záloh
« Odpověď #13 kdy: 25. 04. 2016, 14:44:09 »
S kontrolou hlaviciek som sa pohraval aj ja.
Ale:
1. Pracne
2. co ak sa najde virus, ktory ako na potvoru zmodifikuje hlavicku tak, ze na nepridem, (Az ked bude pruser).

Rozmyslal som, ci sa to neda spravit nejak jednoduchsie.

Moja riesenie vychadza z predpokladu, ze nez budu tieto virusy extra vychytane, v sucastnej dobe nebudu predpokladat, ze sa da ist proti nim tym samym, co pouzivaju oni sami ako zbran.
(a aj neskor to bude pre nich asi tazke)

Ako ?

Nuz predpokladajme pre jednoduchost, ze virus zaujima .doc, .xls a .jpeg ...

Takze userom rozhadzem po disku v konkretnych (alebo aj viacerych) precinkoch nieco ako chytak.doc, chytak.xls a chytak.jpeg.

O nich samozrejme viem, ake maju CRC ...

Subor mozem testovat pri backupe (napr. na obed), alebo napr. planovanou ulohou cyklicky, kludne kazdych 15 minut (aj x desiatok suborov bude CRC pre sucastne pc zalezist par sekund na pozadi).
Ak nesedi CRC - poplach.(mail z cmd napr).

Najcastejsie priciny poplachu ktore ma z hlavy napadli - poskodeny disk (chybne CRC), editacia userom (chybne CRC), zmazane userom (chybajuci subor), zakryptovane a premenovane (chybajuci subor).

Popravde, az na poslednu moznost, sa v pripade poplachu velmi rad prejdem k userovi, ze preco mi od neho prisiel mail o neuspesnom CRC ...

Cele riesenie by sa dalo rozviest, napr. v pripade neexistujuceho chytaku by sa dal spravit prikaz o shutdowne pc (spomalim tak kryptovanie, ak sa este da).

Ale primarne bolo mojou starostou zabezpecit korektne zalohy ...A to by sa takto asi dalo dosiahnut ...
Pokial nazvem subory nestandardne, rozne velkosti, rozne datumy, ... Asi slusna sanca, ze virus nema sancu zistit, ze zrovna tieto data nema kryptovat (a tym padom sa odhalit).

Preco som vobec zalozit temu, ked mam ideu ako nato ?
Lebo ma zaujimalo, ci k tomu este nenapise niekto nieco lepsie ...

Re:Ověření funkčnosti velkých záloh
« Odpověď #14 kdy: 25. 04. 2016, 14:49:17 »
O nich samozrejme viem, ake maju CRC ...

Subor mozem testovat pri backupe (napr. na obed), alebo napr. planovanou ulohou cyklicky
To je sice fajn napad, ale porad tam mas hodne silny predpoklad (ransomware sifruje vsechno co najde a ne napr. otevirane soubory).

Podle me to proste nema smysl resit jinak nez transparentni zalohovaci politikou - proste se vyhlasi, ze garantujes zalohy treba rok zpetne s takovou a takovou granularitou a nic vic. Pokud nekdo rok na nejaky soubor nesahl, tak proste neni garantovano, ze ho dokazes obnovit. A pokud nejaka data potrebuji specialni zachazeni, je potreba to nahlasit a nasadit misto zalohovani archivaci.