Šifrování disku a poruchy na 54TB oddílu

CPU

  • *****
  • 1 040
    • Zobrazit profil
    • E-mail
Šifrování disku a poruchy na 54TB oddílu
« kdy: 15. 03. 2025, 20:36:14 »
Ahoj,

v rámci projektů padají stále častěji požadavky na šifrování datových oddílů.
Mějme základní 54 TB oddíl s daty (nesystémový disk), který má být zašifrovaný (uvažujme RAID 6/5 z běžných disků 18-20 TB), 54 TB je poměrně malý blok, snadno manipulovatelný (i po 25 Gb/s síti), spolehlivě nenarazíme na 64 TB limit některých systémů, dá se to s jistotou zálohovat na pouhé tři pásky a jde to lacině poskládat z pěti disků.)

Pět disků mi přijde tak akorát:
https://www.mironet.cz/wd-ultrastar-dc-hc560-20tb-hdd-35-sata-iii-7-200-rpm-512mb-cache-5y+dp561785/

Předpokládám využití běžných nástrojů typu cryptsetup, což je...a opravte mě....asi dneska standard ne?

Ale člověk se musí zeptat na takové ty všetečné otázky:
- Co když v průběhu zápisu systém havaruje, nedojde k narušení celé 60TB partice? Jistě, drží UPS/baterka...ale...dejme tomu, že ta chyba propadne až dolů.
- Byť RAID 6, stejně se tam může objevit vadný sektor/porucha, dokáže se to s tím vypořádat? Dost nerad bych přišel o data od poruchy dál :)
- Mám 54 TB dat na třech páskách, už se mi stalo, že se povedlo obnovit třeba 99%, ale v záznamu prostě bylo několik děr, popasuje se s tím ta věc?
- Je nějaký lepší způsob, jak šifrovat tyhle spíš menší oddíly? Kdysi jsem měl 130 MB disk a připadalo mi to ohromné, dneska je 54 TB základ jako kdysi bylo 130 MB v 386ce :)

Napadá někoho lepší řešení?
« Poslední změna: 15. 03. 2025, 20:42:01 od CPU »


CPU

  • *****
  • 1 040
    • Zobrazit profil
    • E-mail
Re:Šifrování disku a poruchy na 54 TB oddílu
« Odpověď #1 kdy: 15. 03. 2025, 20:46:51 »
Doplním, že i v současných zálohách občas dochází k výpadkům a chybějící data se prostě obnoví ze starší zálohy. Neděje se to běžně, ale při verifikaci se ukázalo, že jedna z pásek nebyla úplně zdravá a proto se neobnovilo 100 % dat.

Jinak se to samozřejmě týká jen souborového obsahu (ne databáze), kde se část dat dá obnovit ze starší zálohy.

RDa

  • *****
  • 2 899
    • Zobrazit profil
    • E-mail
Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #2 kdy: 15. 03. 2025, 23:13:58 »
Nevim co by melo mit 64TB limit dneska.. davneji existoval 16TiB na 32bit systemu (4Gi bloku @ 4Ki clustery).

Problem umisteni sifrovani (do ktere urovne) je spis otazkou jakou slozitost jsi schopen akceptovat.. muzes sifrovat pod FS, ale to pobezi na 1 vlaknu a vykon bude nic moc.

Osobne mam ted hlavni uloziste jako 8x14TB a tydenni zalohu 16x8TB, oboji v stejnem setupu vrstev (coz je asi jediny risk). Je to v BTRFS RAID6 (84/112TB a 112/128TB usable), pozadavek byl: chci snapshoty, chci checksumy, NEchci cekat na mdraid skrze kompletni kapacitu (ktery jsem pouzival cca 15 let doposud a uz to ma vyuziti jen na mirroru systemoveho disku).

Sifrovani je na jednotlivych discich (coz znamena ze kazdy disk muze sifrovat individualni jadro cpu, kdyz na poradnou zatez dojde).

Pak bylo jeste nutny se rozhodnout jak s klicema.. bud pouzit LUKS, nebo cryptsetup - me nastroje zvladnou oboje (na discich nechavam partisnu s uuid podle rezimu sifrovani - tezko se asi zapre, ze je disk sifrovanej), ale skoncil jsem na raw klici pro cryptsetup, ktery je odvozen od urcitych atributu disku. Varianta s LUKS, kde musite zalohovat superblok nebo i samotny klic me prisla nebezpecnejsi (ze prijdu o data) - takze jsem volil automagicky odvozeny klic, a pokud me neklepne, tak tu magii snad vzdy odvodim. Storage se ale sam neni schopen odemknout, takze to splni ochranu v pripade odcizeni, nebo pri prodeji disku, atd.

Do budoucna je v planu nejaka SSD cache (taky na urovni jednotlivych disku, jako bcache(hdd+ssd) -> btrfs device), protoze samotne btrfs nema uplne dobre reseno cachovani, resp. management hybridnich poli. A cache musi byt individualni ssd, aby selhala max 1 komponenta raidu, ne ze umre cache a cely pole bude v haji. (variantne ta sdilena cache by mohla byt na nvme mirroru, bcache tusim umi sdilet - ale vzhledem k rovnomernosti na R6 lze priradit dedikovane sekce pro cache).
« Poslední změna: 15. 03. 2025, 23:19:04 od RDa »

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #3 kdy: 16. 03. 2025, 20:24:31 »
RAID6 btrfs? Tož tak tomu se říká odvážný harcovník :-) A navíc trpělivý, protože scrub na tom trvá věčnost (ve srovnání s MD i ZFS) a generuje tak chaotické nesekvenční IOPS, že to téměř zastaví narmální provoz.

RDa

  • *****
  • 2 899
    • Zobrazit profil
    • E-mail
Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #4 kdy: 16. 03. 2025, 21:50:54 »
RAID6 btrfs? Tož tak tomu se říká odvážný harcovník :-)

V momente co staci zapnout backup stroj a zmenit mountpoint.. v pripade tak priserneho crashe, je to spise uz pohodlnost nez odvaha. Nepamatuji si kdy me tyhle dedikovane/jednoucelove (storage only) nody treba padli - a vlastne i reboot interval je dost dlouhej (treba 2x rocne max). Vse ostatni mimo uloziste je pak vice experimentalni.. a klidne padat muze (proto je tam NFS ven, ne napr. iSCSI).


A navíc trpělivý, protože scrub na tom trvá věčnost (ve srovnání s MD i ZFS) a generuje tak chaotické nesekvenční IOPS, že to téměř zastaví narmální provoz.

Zatim jsem na tom jediny klient ja.. malokdy nejaky dalsi proces, takze normalni provoz je spis zadnej a uloziste trpelive idluje. Spis se QoS zabiji tim, ze je to skrze nfs a kdyz neco moc zapisuje (flush dirty pages z lokalni ram cache), tak se mu uz uplne nechce v jinem vlakne cist (takovy a la ADSL experience).


Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #5 kdy: 17. 03. 2025, 01:29:12 »
Rovnou předesílám, že nic full disk encryption třeba přes dm-crypt spolu s nějakou formou sw RAIDu nemám trvale nasazenou v produkčním prostředí. Byť jsem si s těmi věcmi občas blbnul, tak jsem to naštěstí nikde přímo nepotřeboval úplně komplet a stačilo to řešit jen šifrovaným adresářem pro specifické věci, které nebyly tak zásadně kritické na výkon. Ať už přes LUKS image nebo nějakým FUSE overlayem jako je třeba gocryptfs.

Ale k tomu dm-cryptu a chybám, zajímalo mě to taky, i třeba pro použití na fleškách, a dělal jsem si před lety své omezené simulace s výchozím aes-xts algoritmem. Chovalo se to vcelku mravně a chyby se prostě propagovaly po blokách výš. Zkoušel jsem nulování sektorů, nějaké bit flipy, zkrácení image s LUKS formátem.
Pokud jsou chybná data v zařízení nebo image pod tím, pak se objeví i v tom zařízení s dekryptovaným obsahem, ale nezastaví se to. Respektive ani se o tom člověk nejspíš nedozví, pokud to nedoprovází ještě nějaký timeout blokového zařízení.
Samožřejmě pak platí to, co psal RDa, když u toho LUKS layoutu ta chyba blbě strefí do metadat (superbloku nebo keyslotů), tak je to v pytli a proto se musí tahle metadata zálohovat (při každé změně klíče).

Tím, že je to transparentní, pracuje to s bloky, IO errory se propagují dál, mdraid by měl fungovat standardně včetně timeoutů, degradovaného režimu s chybějícím diskem atd. Jak pod dm-cryptem, tak nad ním (každý disk, jak tu zaznělo). V obou případech si to bude samozřejmě chtít pohlídat celou správnou inicializaci všech elementů po startu systému, ideálně pro datové (ne systémové) pole to vyloučit ze všech možných autodetekcí, automatických mountů. A celé to řešit svým skriptem, resp. systemd službami.

Jestliže dojde na nejhorší a opravdu dojde k nějaké neobnovitelné chybě v sektorech, tak je to jako u kterékoliv jiné případné obnovy a závisí to na tom, kam se to přesně trefilo a v jakém rozsahu (nevím superblok, žurnál, inody, extent..) a co je to za fs.

BTRFS jsem na tom nezkoušel, prakticky s ním vůbec nepoužívám jeho multidisk - RAIDování. mdraid i ZFS s tím běží (a i to takhle někteří lidé na Linuxu používali a používají i po příchodu nativního šifrování).
Vloni přidalo podporu šifrování svazků i Synology do DSM 7 na vyšších modelech (s x86_64 CPU).
Tam je to: disky -> mdraid -> dm-crypt -> btrfs
Ale jen jsem to zaznamenal v release notes, všechny DSM, co řeším, mají doteď jen nešifrované svazky.

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #6 kdy: 17. 03. 2025, 01:30:08 »
Jinak ještě k nějakým dalším možnostem k prozkoumání, resp. asi kdybych něco takového řešil, zvážil bych to :)

ZFS a jeho nativní šifrování datasetů.
Tohle mi z hlediska správy přijde ideální, je to integrované v rámci jednoho celku s RAID-Z a správou svazků a velmi flexibilní, protože to umožní kombinovat šifrovaná i nešifrovaná data v jednom poolu podle datasetu. Při zálohách přes zfs-send na jiný ZFS systém se dá zvolit jesti se bloky přenáší 1:1 v šifrované podobě, nebo se dešifrují (obojí může mít své opodstatnění).
Zkoušel jsem si to na čtyřdiskových NASech s FreeBSD, fungovalo mi to základně velice hezky.
Kde je mínus? - dá se dohledat relativně dost issues a sem tam i nějaká horror story. Asi bych s tím musel strávit ještě docela dost času a testování, než bych se rozhodl.
Na stranu druhou, mimo těch problému, kterých se dá najít pro oba pokročilé fs (i s BTRFS) tuny a záleží na verzi, systému, hardware, přesnému použití atp., tam jsou zas reporty od lidí, co už to někde mají roky bez potíží.
Btw. tohle používá QNAP coby "shared folder encryption" v QuTS Hero.

SED (self-encryption-drive).
Tohle se tak trochu nabízí a zas to může mít své výhody i nevýhody.
Výhody jsou, že se to po odemčení v systému tváří jako standardní disk a hlavně tam není žádný praktický výkonový dopad toho šifrování.
Věci ke zvážení.
- zatímco LUKS, ZFS atp. se po softwarovém rebootu, kexec reloadu samy neodemknou, tak SED většinou zůstanou odemčené, dokud se nevypne napájení. I když to také může záviset na řadiči (pokud se používá). Může, nemusí hrát roli.
- jsou typicky trochu dražší než disky bez šifrování, i když pokud uvažujete o DC Ultrastarech nemusí to být takový nárůst
- můžou nastat komplikace s nástroji okolo na odemykání, i jejich kompatibilitou.
SATA modely většinou implementují standard TGC Opal, SAS disky TGC Emerald (Enterprise), které definují i příkazy na správu šifrování, bezpečného mazání atp.
Odemčení může být buď z OS, případně SAS/SATA kontroleru z firmware, jestliže ten umí správu SED disků.
- můžou nastat komplikace při přesunu z jednoho vendora řadiče a úložiště na druhého

U těch Opal disků znám v podstatě jen jeden program, co běží na Linuxu, BSD, UEFI PBE - sedutil-cli. Existuje i pár jeho forků, co řeší různé změny. Používal jsem to na SSD, ale na HDD je stejný princip. Určitě bych si dopředu ověřil, jestli to funguje s konkrétním diskem a jestli bych to byl nějak schopen zapracovat do inicializace a odemykání toho úložiště.

Enterprise disky pak mají ekvivalentní SCSI příkazy a zároveň víc možností (víc hesel a uživatelů atp.). Tam osobně neznám žádnou obecnu utilitu pro Linux, co by to rovnou umožňovala spravovat SED. Tedy pokud neberu to, že by zkoušel posílat hexa příkazy z toho standardu pomocí sg_utils.
Na druhou stranu tu jejich správu zas umí některé řadiče (RAID i HBA). Často to funguje tak, že se ve skupině disků vygenerují a použijí samostatné klíče, které se pod společným heslem šifrovaně uloží v NVRAM řadiče.
Tohle heslo se pak může zadávat buď při startu serveru (např. UEFI op-rom aplikací), nebo je to propojeno s BMC serveru. To většinou vyžaduje režim externí správa klíčů a komunikuje to např. s iDracem nebo iLO, které pak můžou zas mít na síti i nějaký nadřazeý systém na ověřování a klíče. Další možnost bude pak v managment nástrojích od řadiče ze systému.
V případě Arecy mají jejich SAS/SATA řadiče dokonce svůj ethernet port a embeedovaný webserver a management přístupny mimo OS.

Já sám jsem se s SED setkal buď v nějakých enterprise úložištích (úplně mimo cenově), nebo v serverech od Dellu, HP (byť jsem je osobně nespravoval). Tde byly jejich brandované řadiče a integrace do BMC, jak jsem zmiňoval. Zároveň  disky byly také součástí, takže odpadl problém s případnou kompatibilitou.
Kdybych to měl řešit jako DIY skládačku, určitě bych to minimálně konzultoval s prodejci tady (jako Anafra), nebo se pokusil zařídit nějaký test.

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #7 kdy: 17. 03. 2025, 01:46:23 »
Osobne mam ted hlavni uloziste...

To vypadá zajímavě, držím palce, ať to šlape.

I zmínka o tom rozkládání výkonu dm-cryptu, když je to pro každé zařízení zvlášť.
Já když to používám třeba na ty image, což je vlastně pak loop, tak i na tomhle jednom zařízení se určitě používá víc workerů, které se pak schedulují na různá jádra (max. na počet fyzických, bez HT).
Trochu to záleží na přístupu, třeba bez page-cache (direct, sync) a iodepth 1 to pojede přes jeden worker, ale jakmile to jsou v podstatě standardní bufferované zápisy s nějakou optimalizací scheduleru, případně pak třeba zápisy ze smbd, tak se to rozkládá hezky. A když jsem to testoval s image v tmpfs, tak je to výrazně rychlejší než bechmark z cryptsetup, který jede jen jednovláknově u té AES-XTS šifry. V reálu mě to nebrzdí primárně kvůli diskům pod tím a síťové konektivitě ven.
Ale samozřejmě pokud máš každý disk v RAIDové skupině zvlášť šifrovaný, tak to pralelizuješ vždycky a velmi intenzivně.

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #8 kdy: 17. 03. 2025, 09:36:12 »
SATA modely většinou implementují standard TGC Opal, SAS disky TGC Emerald (Enterprise)

Pardon, místo TGC je to TCG  - Trusted Computing Group :)

jjrsk

  • *****
  • 704
    • Zobrazit profil
Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #9 kdy: 31. 03. 2025, 23:42:56 »
... proto se musí tahle metadata zálohovat (při každé změně klíče).
Pokud mas zalohovany data tak proc?

Mam 4x full hdd luks (bez partysen) a nad tim btrfs v R5.

...umožní kombinovat šifrovaná i nešifrovaná data...
Jenze presne tohle ti veskery sifrovani rozbiji. Nikdy se ti nepovede zajistit garance toho, ze ta data co sifrovat chces taky sifrovana budou.

A sifrovani disku bych neveril uz vubec. Tohle se nabizi uz roky, stejne jako ti pak vyrobce za par tisic Ecek nabizi, ze ten disk odemkne, kdyz se nemuzes dostat k datum ...

RDa

  • *****
  • 2 899
    • Zobrazit profil
    • E-mail
Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #10 kdy: Dnes v 00:00:49 »
A sifrovani disku bych neveril uz vubec. Tohle se nabizi uz roky, stejne jako ti pak vyrobce za par tisic Ecek nabizi, ze ten disk odemkne, kdyz se nemuzes dostat k datum ...

Kdyz pominu hodne zmrvenych FW, ktere dokazali leaknout heslo, tak nikde neni garance, ze tam vyrobce nema nejaky master heslo - protoze ten SED disk je v podstate to same jako LUKS key management, jen se nevi zda to uklada bezpecne, a zda to nema backdoor. Takze tomu SED blackboxu taky neverim.

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #11 kdy: Dnes v 09:12:10 »
Pouzivam produkcne tyto varianty:

1] luks2nad hw raidem - vyrazne snizeny vykon vs nesifrovany
2] sifrovani raid radicem - moznost odemknuti vzdalene - vyzaduje extra ne levny stroj
3] sifrovani v ramci celeho san - tipuju, ze tam bude zfs nebo lvm/drbd/whatever

U vseho pocitam, ze kdyz dojde k diskove chybe, tak je jedno, zda je to sifrovany ci ne. Opravy na urovni fs jsou totiz mozne ve vsech pripadech az po odemknuti danych blokovych zarizeni.

Spis bych se desil obnovy 56TB disku na raid5 (doba obnovy, riziko padu dalsiho disku).

Jinak nejsem si jisty, ale myslim, ze v pripade padu systemu a situaci, kdy chyba propadne az "dolu", tak dojde k poskozeni blokoveho zarizeni ve vsech pripadech, protoze to blokove zarizeni je "lokalni". Tam by to asi muselo byt na urovni sitove redundance (drbd,ceph atd.)

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #12 kdy: Dnes v 11:25:49 »
... proto se musí tahle metadata zálohovat (při každé změně klíče).
Pokud mas zalohovany data tak proc?

Mam 4x full hdd luks (bez partysen) a nad tim btrfs v R5.

Protože jsem zmiňoval obecné charakteristiky LUKS a případných chyb hardwaru pod ním. Měl jsem pocit, že se i na tohle tazatel ptal.
A ano to je pravda, prakticky pokud máš kompletní zálohu dat, a při případném problému ten celý LUKS oddíl vytvoříš komplet znovu, klíče - neklíče, a data vrátíš ze zálohy, tak to samozřejmě nemusíš řešit.

Podobně pak v tom režimu, jako máš ty nebo RDa. Tzn. s RAIDem nad šifrovanými disky a situaci, kdy jeden z nich odejde.

I když mimo šifrování, osobně bych se spíš snažil vyhnout té jedné paritě (R5, RAIDZ1).

Citace
...umožní kombinovat šifrovaná i nešifrovaná data...
Jenze presne tohle ti veskery sifrovani rozbiji. Nikdy se ti nepovede zajistit garance toho, ze ta data co sifrovat chces taky sifrovana budou.

Teď úplně netuším jak jsi to myslel a proč by to mělo rozbíjet veškeré šifrování. Můžeš mít třeba větší sdílené úložiště a  dedikuješ jeho část pro šifrovaná data. Například uděláš zmíněný dataset, který vysdílíš a připojí si ho konkrétní klienti na jednom oddělení. Podobně pak můžeš mít šifrovaná data jen pro konkrétní virtuální servery.

Logicky je i tohle jen jeden z nástrojů pro zabezpečení, který je zaměřený jen na určitý druh možného úniku dat. Pro ty ostatní (např. to kde a jak budou šifrované i zálohy, jak budou zabezpečené klíče, jak budou delegovány pravomoce a zodpovědnosti jednotlivých osob, jak bude zaškolená obsluha, co se dá zabezpečit technicky a co už ne, všechna možná "co se stane, když") je mnohem komplexnější věc, kde máš pak modelování bezpečnostních hrozeb, analýzy všech těch faktorů atp.

Citace
A sifrovani disku bych neveril uz vubec. Tohle se nabizi uz roky, stejne jako ti pak vyrobce za par tisic Ecek nabizi, ze ten disk odemkne, kdyz se nemuzes dostat k datum ...

Zas zmínil jsem to jako jednu z možností, která má stoprocentně své klady i zápory.
To že ti to vendor na požádání a za pár tisíc EUR dešifruje bez klíče se mi zdá jako blbost, kdy by byli úplně sami proti sobě.
Ano byly určitě jednotlivé nalezené zranitelnosti, které se potencionálně daly využít třeba nějakými firmami, co se specializují na obnovu atp.
Pamatuju si třeba sedm let zpátky průšvih, který postihoval většinou ty základní řady SSD.
https://www.kb.cert.org/vuls/id/395981/
Každopádně je to vždy o nějaké elementární důvěře/nedůvěře k hw/sw vendorovi příp. certifikačním organizacím (FIPS), což platí pokaždé, když to nejsi schopen sám ověřit (já určitě ne :)).
Rozhodně si nemyslím, že je tahle SED technologie automaticky passé a jsou situace, kdy to může být rozumné nasadit, např. abys prošel nějakou celkovou certifikací, ale to si každý musí vyhodnotit sám.
Jinak pro určitou základní orientaci ohledně modulů s FIPS se jde mrknout i třeba na databázi NISTu.
https://csrc.nist.gov/Projects/cryptographic-module-validation-program/validated-modules

Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #13 kdy: Dnes v 12:12:33 »
Kdyz pominu hodne zmrvenych FW, ktere dokazali leaknout heslo, tak nikde neni garance, ze tam vyrobce nema nejaky master heslo - protoze ten SED disk je v podstate to same jako LUKS key management, jen se nevi zda to uklada bezpecne, a zda to nema backdoor. Takze tomu SED blackboxu taky neverim.

Ano taky těmhle otevřeným variantám věřím víc, ale podobné riziko máš u blackboxu resp. uzavřeného firmware/OS vždycky. A můžeš tomu dát různou prioritu při rozhodování o konkrétním technickém řešení.
Za sebe bych řekl, že dost záleží na tom jestli si to děláš jen v malém víceméně pro sebe. Nebo jestli jde o nějakou větší organizaci, kde prostě s nějakou delegovanou důvěrou třeba v dodavatele po nějakém zvážení počítáš. Obecně ty systémy můžou být mnohem komplexnější, stejně tak rozhodovací kritéria, v provozu se pohybuje mnohem víc lidí atp.

Další věc pak je, že i kvůli tomu budeš spíš řešit nastavení celého systému a jak sladit tyhle technické prostředky (kde důvěřuješ dodavatelům) s těmi lidskými "soft" věcmi a postupy okolo. Protože je mnohem pravděpodobnější, že ti ta kritická data leaknou lidi. Ať už úmyslně nebo třeba kvůli šlendriánu, než že bude mít Mosad/CIA nebo i nějaký čičmunda tajný master key např. od Seagate.
A to už se vůbec nebavím o klasice :)


jjrsk

  • *****
  • 704
    • Zobrazit profil
Re:Šifrování disku a poruchy na 54TB oddílu
« Odpověď #14 kdy: Dnes v 13:21:03 »
Teď úplně netuším jak jsi to myslel a proč by to mělo rozbíjet veškeré šifrování.
Priklad ... mas na disku filmy, chces sifrovat ty ve kterych je sex. Jak algoritmycky zaridis, aby to tak bylo? Odpoved je nijak, jedina moznost je sifrovat vse.

Plati pro zcela libovolna data. A to i v pripade, ze ty ses jedina osoba ktera stemi daty naklada.

Z presne stejnyho duvodu je blbej napad pouzivat sifrovani na urovni souboru, protoze nijak nezaridis aby byly garantovane sifrovany ty ktere byt maji, potazmo vsechny.

Konkretne IBM/lenovo ... na disk(sata) slo nastavit heslo, ktere ten disk nejak "sifrovalo". Kdyz si ten disk srcil do jinyho stroje tak byl "prazdnej". A za 5keur nabizeli sluzbu odemceni toho disku.

Na hrackastorage je R5 zcela vyhovujici. 99,9999% lidi ma vsechny svoje neocenitelny data na jednom disku. Pripadne je maji v cmoudu kde jim je driv nebo pozdejs bud smaznou nebo zverejnej.