Souborový systém pro dlouhodobou archivaci

[Superbus]

Jaký FS byste použili pro dlouhodobou archivaci a proč? Disk bych chtěl uchovat po dobu životnosti a po naplnění by se na něj třeba 20 dalších let nezapisovalo. Neřeším teď redundance, jen který souborový systém je pro tento účel nejvhodnější.

AI radí buď ZFS nebo BTRFS kvůli tomu, že detekují bitrot, ale ZFS není příliš rozšířený a BTRFS ještě není odladěný a za 20 let už může mít jinou podobu pokud nebude zapomenutý úplně. Navíc je otázka efektivity.

[Reklama]

[pruzkumbojem]

jak zfs neni rozsireny?

[rmrf]

Pokud to těch 20 let vydrží ten disk, tak je to snad celkem jedno, ne? Ale ono to s tou výdrží může být celkem dost velký problém. Buď se disk bude celou dobu točit a pak velmi pravděpodobně fyzicky nevydrží. Nebo bude v šuplíku a za 20 let se vůbec neroztočí. A nebo, a to nejpravděpodoněji, ho za 20 let nebude k čemu připojit, protože se změní standardy.

Ale ten souborový systém by měl mít také nějakou interní kontrolu toho, že data na něm jsou korektní. A bylo by dost otravné za 20 let zjistit, že máš sice funkční disk i funkční souborový systém, ale bohužel diskem proletěly nějaké částice, které změnily data zrovna tam, kde tě zajímají, bylo by docela vhodné, mít tam něco, co takové chyby dokáže také odstranit. Protože jinak taková funkce bude muset být přímo v těch uložených datech. Něco jako když RAR ukládá data navíc k tomuto účelu.

A nechápu co se ti nazdá na ZFS a BTRFS. Filesystémy jsou rozšířené oba dost a právě některé z výše uvedených problémů řeší.

[JenBob]

Návrh:

tar -cf - /...//adresar | zstd -19 -o zaloha.tar.zst
par2 create -r30 zaloha.tar.zst
cp archiv.tar.zst /mnt/JináPartition nebo jinýDisk && sha256sum  zaloha.tar.zst /mnt/JináPartition/  zaloha.tar.zst

Teoreticky zvládne 30% poškození, dvě repliky jsou spolehlivější.
Druhá replika stačí chráněná pouze sha, přepočítání PAR2 trvá déle, pro ověření integrity to je dostatečné.
Šifrování se musí provést před PAR, tato informace někoho stála 50 tisíc.

[Honza1Ubuntu]

Podle mě je dost dobře možné, že po 20 letech disk nebude funkční, také si to říkám. U SSD jak to je nevím. Když bude v šuplíku, možná se fakt po letech neroztočí a když poběží, tak také za dlouhou dobu odejde. A ona i ta spotřeba je znát. A to mohu podotknout, že jsem na rotačním disku v notebooku najel 77 000 hodin (po většinou běžel skript). Disk stále fungující, ale dnes už pro rotační disk 2.5 palce nezajímavá kapacita 0.5 TB.

Spíše bych čas od času data přehrál na novější disk pro archivaci, může být i jetej. Důkežitá data bych zálohoval na optická média (nejlépe speciální sklo-keramická). Tam při správném skladování ta životnost je. Ale na čem si je za určitou dobu přehrajeme ?

[Reklama]

[Wasper]

Podle mě je dost dobře možné, že po 20 letech disk nebude funkční, také si to říkám. U SSD jak to je nevím.

SSD chce jednou za X malo mesicu zapnout na elektriku, jinak data ztraci. Referenci nedam, ale probiralo se to tu +- loni, predpokladam ze to pujde vyhledat.

Filesystem neco hodne stabilniho, pro takovou dobu (u mensich fajlu <2GB) bych sel do klasickeho iso9660 (pripadne s rr i joliet), u vetsich asi UDF (tam je limit tusim 200GB podle manu) + sha384sum vseho. zfs/btrfs pokud to ma byt citelne (a tim myslim vcetne sw supportu po 20+ letech stareho on-disk formatu) bych fakt neriskoval, za vyhodu checksumu to asi fakt nestoji (pokud si "sedne", tak by byl mozna vhodny i nedavno reseny filesystem pro kosmicke sondy, ale na to je mooc brzo).

[honzako]

Zkus zjistit informace jak probíhá zálohování v knihovnách.
Myslím tedy ty centrální (hlavní) které digitalizují obsah pro dlouhodobou archivaci.

Je to velmi drahé, je to velmi časově náročné a je to soustavná činnost. A pořád dokola.

Zjednodušeně.
1. vezmeš obsah a ten vypálíš na CD (redundance budu přeskakovat)
2. za/každé 2 roky kontroluješ čitelnost
3. za 6 let uděláš zálohu na DVD (prostě přišlo novější médium)
4. za/každé 2 roky kontroluješ čitelnost (resp. upravíš dobu dle typu média)
5. za 6 let uděláš zálohu na BR (nové médium)
6. atakdále

Samozřejmě máš sklad plný záložních DVD/BR mechanik.
To jsem použil jako příklad.

Ale jinak se bude zálohovat na LTO WORM média, skladované v ideálních podmínkách kdy mají životnost 15-30 let.

Zálohování na pevné disky je nesmysl. Dlouhodobě nefunkční, poruchové.
Používej BR média ty mají 25GB při ceně asi 18Kč/ks.

Problém s mechanikami zůstává, ale jsou USB, takže je velká pravděpodobnost že je za 10 let dokážeš zapojit.

A jestli chceš mít ještě něco trvalejšího tak se nauč runové písmo a začni tesat do kamene.
Rosettská deska je z období staroegyptské doby. Tam je to velmi dobře vyřešeno (pouhou šťastnou náhodou) použitím tří jazyků, kdy dva jazyky nezanikly, a třetí tímto mohl být objeven a slouží jako klíč pro další ještě starší desky.

Jestli máš fotky tak je doporučuji vytisknout na papír. Budou zajímat tebe, pak tvé děti, možná ještě nějaké vnouče, a pravnoučata to nechají spálit jako veteš. A videa vypal na DVD/BD.

Chtěl bych znát člověka který vytvořil 25GB data bez multimédií.

Osobně za 30 let profesního života nemám žádné data starší než 5 let které bych potřeboval.
Tedy vyjma dat z ERP systému kde jsou data o mzdách atd.

Teď jsem dohledával rok 2009, ale stejně to mám na papíře a z toho šanonu jsem to vzal a trvalo to max. 30 minut vč. skenu všech 12 měsíců, protože sociálka nemá příslušné ELDP.

Jinak životnost disku s Heliem je údajně 8 let.
WD má disk s kapacitou až 12TB bez helia - Ultrastar DC HA340. Dnešní cena je tisícovka za terabajt.
Souborový systém bych až tak neřešil, zvolil bych NTFS. Microsoft určitě v té době bude existovat. A jsou dostupné nástroje na opravu dat.

Ale možná bych šel do menších kapacit aby se nepoužíval zápis HAMR atd. Tam budou data nejspíše dost ovlivněna dlouhodobým působením magnetickým polem Země - prostě přirozená degradace.

[hlp84939]

Ve firmách (vč. malých s.r.o.) se např. účetnictví musí archivovat 10 let. A doma si lze představit zálohu fotek/videí z digi foťáků/kamer a mobilů, takže těch 20 let není zase tak dlouhá doba (a bude se už jenom prodlužovat). Nicméně to lze vyřešit třeba dvěma dvoudiskovými NAS, ideálně každý na jiném místě. Osobně to takto provozuji přes 15 let a max. v NAS vyměním vadný HDD za jiný, resp. čas od času dám HDD větší. Jinak moje NASy se pro účely zálohy fotek/videí zapínají automaticky jednou týdně na pár hodin (každý NAS v jiném čase), v té době provede záloha (z mobilů automatická přes FolderSync - a ostatní, co případně potřebuji, nakopíruji ručně) a pak zase samy vypnou, takže ani provozní doba disků v NASech není nijak závratná. Pochopitelně toto řešení nemusí každému vyhovovat, je to jenom inspirace...

[Marek Staněk]

BTRFS není odladěný? Proč ho teda většina komerčních NASů nabízí už já nevim 15+ let?
ZFS není rozšířený? Ono je to spíš tak, že v malých (SOHO) instalacích nedává skoro v žádným nasazení smysl, takže se v nich nepoužívá, takže s ním málokdo přijde do styku, pokud nedělá na větších systémech nebo nemá homelab, kde se s ním chce seznamáit.
Nepůjde připojit ... to se dneska řeší tak, že ten disk se nesilážuje "jen tak nahatej", ale buď v USB boxu, nebo pokud je disků "značný počet" (řekněme 5+), pořídí se SATA2USB dokovací stanice. Protože je celkem slušná jistota, že USB nás všechny přežije. Pokud archivuješ na optický disky, dává smysl koupit dvě nebo tři mechaniky, všechny přezkoušet, jednu používat a zbylý dvě zavakuovat a zavařit do fólie a uložit do trezoru u primární a u vzdálený kopie.

FS: dneska už bych do UDF u nově řešený archivace asi nešel, AFAIK je deprecated a kdoví kdy jeho podpora ze systémů vypadne. Na druhou stranu asi nebude problém si na rozbalení dat vyinstalovat virtuála, co to bude umět přečíst. Dokonce i pod woknama bych (při prioritě nákladů) šel cestou Win+WSL2+tar a na samotným nosiči ext4 nebo btrfs (což ale AFAIK na ARMovým procesoru ani nepřečteš). Pokud víš, že u woken zůstaneš, nebál bych se NTFS, ale optický média bych použil v pořadí DVD-RAM (už je velkej problém sehnat), DVD+/-RW, DataTresor, a při velkých nárocích na kapacitu BD DataTresor.

A co se týče ochrany dat proti poškození, tak na doma je asi nejlevnější je při archivaci prohnat utilitou, která spočítá kontrolní součty a opravný kódy, a ty se uloží společně s daty a po uložení zkontrolují proti dosud existující kopii ve zdroji, a ideálně se to celý rovnou uloží a zkontroluje do DVOU nebo víc cílů. Tím šance, že o data přijdeš kvůli jejich fyzikální degradaci, klesá v podstatě na nulu.
A možnost, že se disky časem neroztočí nebo je nebude k čemu připojit, se řeší tak, že se data periodicky přenáší na nový nosiče; samozřejmě s kontrolou integrity.
Ochrana proti zničení / krádeži nosičů se řeší jednak jejich adekvátním uložením (trezor), tak off-site kopií v geograficky oddělený lokalitě. Není velká šance, že ve stejnou chvíli narazí dvě letadla plný paliva do dvou budov téhož vlastníka, to se v celé dokumentované historii zatím stalo jen jednou. A pokud nastane něco jako výbuch supervulkánu, budeme všichni mít úplně jiný starosti než koukat na 30 let starý rodinný fotky z Chorvatska nebo kontrolovat účetnictví.