Externí disk odolný proti odpojení

[Lukas1500]

Znáte nějaký externí USB disk, který vydrží nečekané odpojení? Předpokládá se ztráta právě přenášených dat, ale ostatní data na disku zůstanou v bezpečí.

Něco jako převodník rozhraní SATA s nějakým běžným souborovým systémem na USB mass storage device. Zařízení se v počítači bude chovat jako běžný USB disk, ale nedovolí poškodit tabulku rozdělení disku.

[Reklama]

[Jan Fikar]

Tak mount má parametr sync, ale přenos je pak pomalý a asi i víc opotřebovává SSD. Zato zapsaná data tam asi budou.

[NANOOK]

Existují externí boxy zálohované kondenzátorem, třeba: https://hagibis.com/m2-p00334p1.html nebo https://akasa.co.uk/search.php?seed=AK-ENU3M2-08. Nemám s tím přímou zkušenost, nicméně serverová ssd zálohování kondenzátory mají; i když ne tak velkou kapacitu. Ale asi bych do toho nedával dramless SSD.

[J Fi]

Tohle se dá elegantně vyřešit vhodným filesystemem. Třeba ZFS.

[CFM]

Tohle se dá elegantně vyřešit vhodným filesystemem. Třeba ZFS.

Nějaká fakta na podporu takového tvrzení? Není li to redundantní pole, tak násilné trhání za chodu asi nebyl primární cíl tohoto FS. ZFS si drží RAM cache  a kdo ví kolik z předchozích zápisů ještě není na disku.

[Reklama]

[M Z]

A neumi to uz dnes kazdy moderni filesystem viz "write barrier"?

[Filip Jirsák (forum)]

Nějaká fakta na podporu takového tvrzení? Není li to redundantní pole, tak násilné trhání za chodu asi nebyl primární cíl tohoto FS. ZFS si drží RAM cache  a kdo ví kolik z předchozích zápisů ještě není na disku.

To, že souborový systém přežije ztrátu napájení, byla klíčová vlastnost každého souborového systému, který nebyl určen jen na hraní. Řeší se to např. žurnálováním (ext3, ext4, XFS, JFS, HFS+, NTFS) nebo copy-on-write mechanismem (btrfs, ZFS).

[Lukas1500]

To, že souborový systém přežije ztrátu napájení, byla klíčová vlastnost každého souborového systému, který nebyl určen jen na hraní. Řeší se to např. žurnálováním (ext3, ext4, XFS, JFS, HFS+, NTFS) nebo copy-on-write mechanismem (btrfs, ZFS).

Nejde mi ani tak o ztrátu napájení jako o možnost odpojení filesystému, pokud selže umount / eject a systém se dostane do stavu, kdy disk nelze bezpečně odebrat a z důvodu připojeného disku nelze systém ani vypnout standardním způsobem. Samozřejmě je namístě řešit důvod (např. chyba driveru), avšak v okamžiku kdy taková situace nastane a na vyřešení je asi tak 5 minut, je třeba také ochránit data.

[M Z]

umount -l ... a potom sync, nic vic s tim nejspis udelat nelze.

[Filip Jirsák (forum)]

Nejde mi ani tak o ztrátu napájení jako o možnost odpojení filesystému, pokud selže umount / eject a systém se dostane do stavu, kdy disk nelze bezpečně odebrat a z důvodu připojeného disku nelze systém ani vypnout standardním způsobem. Samozřejmě je namístě řešit důvod (např. chyba driveru), avšak v okamžiku kdy taková situace nastane a na vyřešení je asi tak 5 minut, je třeba také ochránit data.

Což je ovšem úplně jiný problém. Takže neřešíte problém externího disku, který přežije odpojení, ale jak odmountovat souborový systém, kterému se ztratilo blokové zařízení, na kterém byl připojen.

Bylo by zajímavé vidět, co vám umount v takové situaci vypíše. Já bych zkusil umount -f.

[Lukas1500]

Takže neřešíte problém externího disku, který přežije odpojení, ale jak odmountovat souborový systém, kterému se ztratilo blokové zařízení, na kterém byl připojen.

Přesněji: řeším problém externího disku, který přežije neodmountování souborového systému z libovolného důvodu.

Bylo by zajímavé vidět, co vám umount v takové situaci vypíše. Já bych zkusil umount -f.

Až se to příště stane, rád se o to podělím. Ale raději bych byl, kdyby se to už nestalo :-)

[Filip Jirsák (forum)]

Přesněji: řeším problém externího disku, který přežije neodmountování souborového systému z libovolného důvodu.

Popisujete situaci, kdy dojde k přerušení komunikace mezi diskem a počítačem, ať už z jakéhokoli důvodu. To může způsobit problém na straně disku (poškození souborového systému) i na straně počítače (zůstane tam viset připojení k disku a systém čeká, zda se disk náhodou znovu neobjeví).

Na straně disku (předejít poškození souborového systému při náhlém odpojení disku) se to řeší souborovým systémem, který takovou situaci přežije bez poškození – žurnálovací souborové systémy, CoW souborové systémy…

Na straně počítače bych pro odpojení zkusil umount -f. Pravděpodobně pak bude možnost nastavit nějaký timeout pro odpojení – u externích disků má smysl při odpojení nějakou chvíli počkat, jestli se disk náhodou neobjeví zpět. Čekal bych, že někde půjde nastavit timeout, jak dlouho se čeká, než se ten disk prohlásí za definitivně odpojený.

[Lukas1500]

Na straně disku (předejít poškození souborového systému při náhlém odpojení disku) se to řeší souborovým systémem, který takovou situaci přežije bez poškození – žurnálovací souborové systémy, CoW souborové systémy…

Měl byste tip na takový souborový systém? Měl by fungovat pod Linuxem i Windows bez instalace speciálních ovladačů.

Částečně by vyhovoval Media Transfer Protocol, ovšem to není souborový systém, musel by být v tom převodníku. Potřebuji aby se choval podobně jako disk v tom smyslu, že uvidím i další vlastnosti souborů a půjde s ním pracovat v běžném manageru jako je Total Commander nebo Altap Salamander. To už je pak lepší obyčejný FTP protokol, ale na něj je třeba klient a nevím že by fungoval na USB.

Kdyby byl nějaký emulátor souborového systému, který se zvenku bude chovat jako obyčejný disk a uvnitř nedovolí poškození souborového systému, když operační systém nějak zdechne. Asi by to bylo na úkor rychlosti, ale to by nebyl takový problém.

[Mmmartan]

Lukas1500: Zeptám se jinak - co ti nefunguje? Co se ti rozbilo? Nebo řešíš jenom teoretickou situaci?

Před dávnými lety, když začínal BitLocker, tak jsme testovali externí USB disky na odpojení, odpojení během zápisu a podobně (odpojení USB, odpojení zdroje) a disk/NTFS byl v pohodě, problém byl jenom s nezapsanými daty.

luks+ext4 jsme testovali podobně.

Vyber si cestu windows nebo linux, nechtěj ale něco, co funguje v obojím - zúžíš si manévrovací prostor na fat a exfat (ntfs jsme i na nových ovladačích v linuxu rozbili).

[Lukas1500]

Lukas1500: Zeptám se jinak - co ti nefunguje? Co se ti rozbilo? Nebo řešíš jenom teoretickou situaci?

Stalo se mi asi třikrát, že filesystém nešel odpojit (přístup z aplikace Thunar). USB flešky pak zlobily, ale ve Windows se podařilo je obnovit. Nevím už co tam bylo za FS, možná FAT32 nebo NTFS. Možná že s FAT32 kupodivu problém nebyl.

Horší to bylo s USB HDD, který měl NTFS a snad ani nebyl problém s odpojením v Linuxu, každopádně po připojení do Windows ho Windows nechtěl znát a chkdsk ho opravil tak, že našel a vymazal poškozená data a zůstal prázdný disk. Naštěstí byly k dispozici zálohy záloh, přesto bych se chtěl takové situaci v budoucnu vyhnout. Jednak z lenosti a potom, jak už to bývá, takové problémy nastávají, když je spěch a není čas se jimi zabývat.

Vyber si cestu windows nebo linux, nechtěj ale něco, co funguje v obojím - zúžíš si manévrovací prostor na fat a exfat (ntfs jsme i na nových ovladačích v linuxu rozbili).

To je právě problém, že potřebuji aby to spolehlivě fungovalo v Linuxu i ve Windows.

Zatím to spíše vypadá, že bych měl zapomenout na USB disk a použít nějaké domácí síťové úložiště. Nebo místo "flešky" používat mobil s MTP :-)