Fórum Root.cz

Hlavní témata => Software => Téma založeno: Medo 25. 04. 2016, 09:18:34

Název: Ověření funkčnosti velkých záloh
Přispěvatel: Medo 25. 04. 2016, 09:18:34
Ahoj
Dufam, ze nenesiem drevo do lesa, ale problem, ktory riesim, mi nepride 2x trivialny ...

Ako odbackupovat x (tisic) dokumentov (posta, doc, xls, jpeg, ..), aby som mal istotu, ze sa ich struktura nezmenila a v danej chvili su korektne ?
(pozornemu citatelovi asi neujde, ze narazam na malware).
Radu v zmysle "ved si nieco namatkovo otvor" nechcem, to pri par desiatkach pc je nemyslitelne ...
Na rozne AV produkty sa spoliehat nejdem/nechcem.

Vdaka.
Název: Re:Funkcnost zaloh
Přispěvatel: j 25. 04. 2016, 09:31:15
Blbe ... pokud mas historicky zalohy, muzes to zkusit porovnat.

Ale pokud ti jde o sifrovatory, ty se vetsinou nesnazej nijak moc schovavat, takze na jejich cinnost narazis v radu hodin, takze pokud mas zalohy aspon tyden ...
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Medo 25. 04. 2016, 11:52:06
No, ved prave, ze sa to moze rychle zmenit ...

http://www.root.cz/clanky/postrehy-z-bezpecnosti-ransomware-bude-obrovskym-problemem/
---
 Do teď stačilo mít alespoň nějakou zálohu, ale až budou potichu v podobě boot/root-kitu vyčkávat a pomalu šifrovat data, aby tak znehodnotili zálohy, tak teprve pak to bude obrovský problém
---

Mam nejaku ideu ako nato, skor som hodil dopyt, ci niekoho nenapadne este nieco ine ...
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: P_V 25. 04. 2016, 12:55:09
Co třeba mít stranou dlouhodobě zálohované i předchozí verze souborů jako prevenci. Detekce změny podle crc a ne podle data.

Co vím, tak malware soubory obvykle i přejmenuje, dá jim nějakou veselou koncovku, aby po zaplacení poznal, co má obnovit. To by mohl být silný indikátor, že zmizel soubor zpráva.odt a zároveň ve stejném adresáři přibyl soubor zpráva.odt.pwned.

Pro případ že by to tak nedělal, tak to bude horší. Na zjištění zda je soubor zašifrován, asi nezbude než testovat konkrétní typy souborů podle jejich struktury. Pustit na ně něco, co z příkazové řádky umí vytáhnout metadata nebo jinak obsah načíst, a když to skončí errorem, je to podezřelé.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 25. 04. 2016, 14:11:34
Tyjo, fakt hezký a praktický téma, dík za něj!

Bohužel myslím, že když si jasně rozmyslíš, co vlastně přesně chceš řešit, dojdeš na to, že se stoprocentní jistotou to řešit nejde.

Když si to tak vezmeš:

1. ransomware ti může jakýkoliv soubor zašifrovat kdykoliv
2. "korektnost" všech možných typů souborů nejsi schopný zkontrolovat

...tak z toho máš závěr, že buď musíš přijmout omezení na maximální stáří souboru nebo na velikost záloh nebo omezit množství formátů, pro které tu garanci chceš, nebo omezit jistotu, s jakou víš, že formát je v pořádku.

Pokud nechceš omezit stáří, musíš mít historii všech souborů až zpátky k jejich vzniku (=> potenciálně obrovské nároky na úložiště záloh, imho ve většině případů prakticky těžko realizovatelné).

Tu jistotu o korektosti formátu můžeš snížit třeba tak, že na všechny soubory spustíš normální file (http://man.he.net/?topic=file&section=all), který ti pro velkou část z nich správně určí typ obsahu a zároveň asi není úplně pravděpodobný, že by soubor by ransomware soubor zašifroval a zároveň zachoval hlavičku.

Jinak taky bys měl snižovat objem záloh pomocí nějaké usecase-specific deduplikace: skoro každý rozumnější zálohovací nástroj umí několik úrovní záloh - např. Bareos má Full, Differential, Incremental, tar má --level. Soubory, které se nezměnily od poslední zálohy stejného nebo vyššího levelu se znovu nezálohují. Pak taky existují různé nástroje, které pro nezměněné soubory používají hardlinky. Když tohle správně použiješ, můžeš historii slušně natáhnou za nízkého zvýšení nákladů. Pořád ale bude nějak omezená - kapacita nabývá nekonečná.

...no a pokud bys do toho chtěl jít fakt hardcore, tak můžeš mít nekončnou kapacitu pomocí nějakého "doufejme, že to nikdy nebudu potřebovat číst" řešení typu Amazon Glacier.

Prostě žádný silver bullet mě na tenhle problém nenapadá...
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 25. 04. 2016, 14:14:53
P.S. téma máš nazvaný zavádějícím způsobem - pod "funkčností zálohy" se obvykle myslí to, že záloha jde obnovit (medium není poškozený, formát není zastaralý) případně že obsahuje to, co skutečně bylo na disku. Takže to není tvůj případ, ty nechceš obnovit to, co bylo někdy na disku, ty chceš obnovit soubor přesně před nějakou událostí (zašifrování) - o které dopředu nevíš, kdy se stane.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: andy 25. 04. 2016, 14:17:43
Ak by si to vedel zistit, tak vies zistit, ci mas nejaky ten virus. Takze to imho na 100% nepojde. A ak ano, daj si to patentovat.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: P_V 25. 04. 2016, 14:24:20
Ten příkaz file zkoumá vždy obsah souboru, zda odpovídá příslušné struktuře, nebo se jen spokojí s koncovkou názvu a tím, že při nějaké koncovce uvnitř nenašel několik málo známých struktur?

Napadly mě ještě další dva způsoby, kromě specifických utilit na metadata.
- Zkusit soubor zkomprimovat, jak se zmenšil. Pokud je šifrovaný, nezmenší se. Jenže to nelze aplikovat na formáty které jsou vnitřně už komprimované.
- Zkusit soubor dekomprimovat. Specificky se to týká msoffice a openoffice formátů, což je přejmenovaný zip archiv.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 25. 04. 2016, 14:28:02
Ten příkaz file zkoumá vždy obsah souboru, zda odpovídá příslušné struktuře, nebo se jen spokojí s koncovkou názvu a tím, že při nějaké koncovce uvnitř nenašel několik málo známých struktur?
Princip je popsaný na té odkazované man stránce.

Napadly mě ještě další dva způsoby, kromě specifických utilit na metadata.
- Zkusit soubor zkomprimovat, jak se zmenšil. Pokud je šifrovaný, nezmenší se. Jenže to nelze aplikovat na formáty které jsou vnitřně už komprimované.
- Zkusit soubor dekomprimovat. Specificky se to týká msoffice a openoffice formátů, což je přejmenovaný zip archiv.
Způsobů si můžeš vymyslet kolik chceš. Ale vždycky ti to bude fungovat jenom pro pár typů souborů. Nevidím moc smysl v tom, implementovat něco, co už existuje (detektor formátu) - je to vyhozená práce a uděláš to hůř než co už existuje.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: crown 25. 04. 2016, 14:32:33
Pokud ten malware transparentne sifruje/desifruje nejakou dobu, nez zahodi klic, tak z pohledu obsahu souboru muze vse vypadat v poradku. Jen by se snizila rychlost nacitani obsahu souboru.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: nou 25. 04. 2016, 14:33:10
Myslim ze ak clovek nasadi delta zalohy tak ta historia nebude vobec velka. Ako napriklad rdiff-backup. Nove data sa vytvaraju len urcitym tempom takze mnozstvo by malo byt proste X GB/tyzden.

Ak bude clovek sledovat velkost takychto zaloh tak to bude aj detekcia ransomware pretoze ak v normalnej prevadzke mu to zalohuje 5GB za den a to zrazu vyskoci na 100GB tak je nieco zle. Samozrejme pruser bude ak sa ransomware nauci sifrovat len nove subory.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 25. 04. 2016, 14:42:15
Myslim ze ak clovek nasadi delta zalohy tak ta historia nebude vobec velka. Ako napriklad rdiff-backup. Nove data sa vytvaraju len urcitym tempom takze mnozstvo by malo byt proste X GB/tyzden.
Velikost je specificka pro dany pripad. X GB/tyden to muze byt pro normalni uzivatelska data krat neco kolem stovky uzivatelu. Pokud to jsou grafici nebo strihaji filmy, udela ti stejny objem klidne jeden clovek. A u zalohovani serveru to muze byt uplne jakkoli.

A pokud ty zalohy nemas prolinkovane, muze znamenat obnoveni rok stare zalohy obnovu padesati zaloh, coz neni nic prijemnyho... A pokud mas nejakou databazi zazalohovanych souboru (jako to ma napr. ten Bareos), poroste ti i ta.

A to je teda rec o tydenni granularite, takze v nejhorsim pripade muzes prijit o ctyri dny prace, coz taky neni uplne malo...

Ak bude clovek sledovat velkost takychto zaloh tak to bude aj detekcia ransomware pretoze ak v normalnej prevadzke mu to zalohuje 5GB za den a to zrazu vyskoci na 100GB tak je nieco zle. Samozrejme pruser bude ak sa ransomware nauci sifrovat len nove subory.
To je dobra poznamka, ale bohuzel u normalnich uzivatelu objem zaloh taky docela kolisa, takze pokud jich mas sto a jeden az deset z nich chytne ransomware, tak to nepoznas (kolisani do 10% je normalni).
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: P_V 25. 04. 2016, 14:43:40
Pokud ten malware transparentne sifruje/desifruje nejakou dobu, nez zahodi klic, tak z pohledu obsahu souboru muze vse vypadat v poradku. Jen by se snizila rychlost nacitani obsahu souboru.
To je v pořádku, protože dokud pracuje transparentně, tak se zálohují správná data. Problém nastane až když tu transparenci vypne.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Medo 25. 04. 2016, 14:44:09
S kontrolou hlaviciek som sa pohraval aj ja.
Ale:
1. Pracne
2. co ak sa najde virus, ktory ako na potvoru zmodifikuje hlavicku tak, ze na nepridem, (Az ked bude pruser).

Rozmyslal som, ci sa to neda spravit nejak jednoduchsie.

Moja riesenie vychadza z predpokladu, ze nez budu tieto virusy extra vychytane, v sucastnej dobe nebudu predpokladat, ze sa da ist proti nim tym samym, co pouzivaju oni sami ako zbran.
(a aj neskor to bude pre nich asi tazke)

Ako ?

Nuz predpokladajme pre jednoduchost, ze virus zaujima .doc, .xls a .jpeg ...

Takze userom rozhadzem po disku v konkretnych (alebo aj viacerych) precinkoch nieco ako chytak.doc, chytak.xls a chytak.jpeg.

O nich samozrejme viem, ake maju CRC ...

Subor mozem testovat pri backupe (napr. na obed), alebo napr. planovanou ulohou cyklicky, kludne kazdych 15 minut (aj x desiatok suborov bude CRC pre sucastne pc zalezist par sekund na pozadi).
Ak nesedi CRC - poplach.(mail z cmd napr).

Najcastejsie priciny poplachu ktore ma z hlavy napadli - poskodeny disk (chybne CRC), editacia userom (chybne CRC), zmazane userom (chybajuci subor), zakryptovane a premenovane (chybajuci subor).

Popravde, az na poslednu moznost, sa v pripade poplachu velmi rad prejdem k userovi, ze preco mi od neho prisiel mail o neuspesnom CRC ...

Cele riesenie by sa dalo rozviest, napr. v pripade neexistujuceho chytaku by sa dal spravit prikaz o shutdowne pc (spomalim tak kryptovanie, ak sa este da).

Ale primarne bolo mojou starostou zabezpecit korektne zalohy ...A to by sa takto asi dalo dosiahnut ...
Pokial nazvem subory nestandardne, rozne velkosti, rozne datumy, ... Asi slusna sanca, ze virus nema sancu zistit, ze zrovna tieto data nema kryptovat (a tym padom sa odhalit).

Preco som vobec zalozit temu, ked mam ideu ako nato ?
Lebo ma zaujimalo, ci k tomu este nenapise niekto nieco lepsie ...
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 25. 04. 2016, 14:49:17
O nich samozrejme viem, ake maju CRC ...

Subor mozem testovat pri backupe (napr. na obed), alebo napr. planovanou ulohou cyklicky
To je sice fajn napad, ale porad tam mas hodne silny predpoklad (ransomware sifruje vsechno co najde a ne napr. otevirane soubory).

Podle me to proste nema smysl resit jinak nez transparentni zalohovaci politikou - proste se vyhlasi, ze garantujes zalohy treba rok zpetne s takovou a takovou granularitou a nic vic. Pokud nekdo rok na nejaky soubor nesahl, tak proste neni garantovano, ze ho dokazes obnovit. A pokud nejaka data potrebuji specialni zachazeni, je potreba to nahlasit a nasadit misto zalohovani archivaci.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: ja 25. 04. 2016, 14:52:07
ked sme uz pri tej navnade, skus tam dat wallet.dat z nejakym malym obnosom (tu istu penazenku na vsetky pc)
nepotrebujes riesit ziadny email, ked to utocnik minie tak mas poplach

ale honey pot aj tak fundamentalne neriesi tvoj problem pretoze ty ten poplach budes mat aj tak, len ti to nahlasi user

tvoj problem je zaloha tesne pred udalostou X
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: ja 25. 04. 2016, 14:57:55
najlepsie riesenie bude nieco na sposob zalohovania uzitocnej aktivity userov do nejakeho bezpecneho cyklickeho copy on write bufferu o velkosti x GB, pricom v bufferi ostanu min. dve kopie kazdeho suboru ked v produkcii nieco vybuchne tak ta druha (starsia) kopia by mala byt ok, za predpokladu ze ten virus ked to zakryptuje tak to zakryptovanie urobi len raz na kazdy subor a nie n-krat
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Medo 26. 04. 2016, 07:30:41
ale honey pot aj tak fundamentalne neriesi tvoj problem pretoze ty ten poplach budes mat aj tak, len ti to nahlasi user
tvoj problem je zaloha tesne pred udalostou X
Na usera cakat nechcem, a to je ulohou honeypotu. Poplach si viem spravit sam otestovanim navnady. Poplach si viem nastavit tak casto ako uznam za vhodne.
Samozrejme, je tu urcita nestastna zhoda nahod, ze vsetky navnady ostanu nedotknute, ale myslim si, ze je to nepravdepodobne.
>zaloha tesne pred udalostou X - Ano, ale rozdiel rieseni "len klasicky zalohovat" a "zalohovat ale predtym testovat korektnost dat" je v potrebnom datovom ulozisku a vhodne nastavenom plane. Casova premenna kedy to virus spusti hra proti nam. (zalohy mat mozeme alebo uz nemusime, lebo zrovna zrotovali ?).

Druhy pripad ti to oznami okamzite, povedzme maximalne v ten den. (a vies to stiahnut smerom dole ak treba)
Dalsia vec je nasledne (uz sekundardne, ale casovo nie nezaujimavo) nasledne obnova ...

Ak vies, ze sice asi zalohu mas, ale obnovujes jednu po druhej a zistujes, ze je nepouzitelna, tak to pomyslenie na nasledky zamrazi ... :-)) (jasne, raz sa asi/mozno dostanes k spravnej zalohe, ale moze ta to stat par hodin/dni).

To je sice fajn napad, ale porad tam mas hodne silny predpoklad (ransomware sifruje vsechno co najde a ne napr. otevirane soubory).

Ja nic otvarat nechcem, ja sa budem tvarit ako ostatne data :-) a cakat ... (A na pozadi testovat CRC)

A testovat navnadami budem to, co ma zaujima aby sa odzalohovalo (konkretne datove typy, nech ich bude aj par desiatok), ostatne data su nejake binarky, ktore viem vytiahnut alebo spetne a zaktualizovat ak treba (image hdd), alebo nanovo nainstalovat (OS + APP).
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 26. 04. 2016, 08:44:48
Ja nic otvarat nechcem, ja sa budem tvarit ako ostatne data :-) a cakat ... (A na pozadi testovat CRC)

A testovat navnadami budem to, co ma zaujima aby sa odzalohovalo
To jsme si asi nerozuměli. Představ si, že ransomware funguje tak, že každý soubor po uzavření zašifruje. Návnady se nedotkne, protože tu uživatel neotevře, ty nic nezdetekuješ a data máš v čudu. Proto říkám, že stejně jediná věc, na kterou se dá slušně spolehnout, je dobře nastavené zálohování. Různé ad hoc fígly jsou sice fajn, ale fungují jenom na nějakou množinu případů a můžou ti dát falešný pocit bezpečí. Mně přijde, že to nemá cenu a lepší je prostředky věnovat na lepší zálohování.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Medo 26. 04. 2016, 09:36:26
Co je to lepsie zalohovanie ?
Zalohovanie alebo je, alebo nie je .. A potom uz je len doba, po ktoru sa mozem vratit do minulosti.

Ale skusat obnovovat archivy, a zistovat, ze su pouzitelne ako ktore, a len ciastocne (cast archivu uz je zakrytovana), a teda hladat k nim este starsie funkcne verzie - to bude zabava ...

Pokial sa tototo rozsiri, caka nas novy pohlad na zalohovanie dat.

Priznam sa, ze ak dokazem implementovat riesenie na zmensenie rizika, byt aj to je "bastel na kolene" :-), je to pre mna lepsie riesenie, ako vediet, ze mam x nepouzitelnych resp. ciastocne pouzitelnych snapshotov ci zaloh ...
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: Mirek Prýmek 26. 04. 2016, 09:54:55
Co je to lepsie zalohovanie ?
Zalohovanie alebo je, alebo nie je .. A potom uz je len doba, po ktoru sa mozem vratit do minulosti.

Ale skusat obnovovat archivy, a zistovat, ze su pouzitelne ako ktore, a len ciastocne (cast archivu uz je zakrytovana), a teda hladat k nim este starsie funkcne verzie - to bude zabava ...

Pokial sa tototo rozsiri, caka nas novy pohlad na zalohovanie dat.

Priznam sa, ze ak dokazem implementovat riesenie na zmensenie rizika, byt aj to je "bastel na kolene" :-), je to pre mna lepsie riesenie, ako vediet, ze mam x nepouzitelnych resp. ciastocne pouzitelnych snapshotov ci zaloh ...
No, myslím, že sis odpověděl sám, ne? "Lepší zálohování" má delší historii, jemnější granularitu, rychlejší dostupnost, oddělenou lokalitu atd. atd.
Název: Re:Ověření funkčnosti velkých záloh
Přispěvatel: alles32 27. 04. 2016, 19:22:39
pic
podivej se na nejaky hids jako tripwire atp.