Souborový systém pro dlouhodobou archivaci

[Karmelos]

Jaký FS byste použili pro dlouhodobou archivaci a proč? Disk bych chtěl uchovat po dobu životnosti a po naplnění by se na něj třeba 20 dalších let nezapisovalo. Neřeším teď redundance, jen který souborový systém je pro tento účel nejvhodnější.

AI radí buď ZFS nebo BTRFS kvůli tomu, že detekují bitrot, ale ZFS není příliš rozšířený a BTRFS ještě není odladěný a za 20 let už může mít jinou podobu pokud nebude zapomenutý úplně. Navíc je otázka efektivity.

třeba pCloud, nějaký lifetime plan se šifrováním.

[Reklama]

[domaca pekaren]

este ma napada jedna vec, rozsirenost zfs nie je smerodajna pretoze ZFS si vystaci aj bez zlozitych stackov taku ma architekturu ze ma celu logiku nielen toho co a povazuje za fielsystem v sebe a to tak ze real time praca je sucasne aj archivom, ak je to v jadre a mozem to zacat spravovat s pomocu par bash skriptov (ktore pre mna maju vacsiu hodnotu ako akelkovek NAS rieseneie ktore neriesi bezny uzivatelsky tok len ukladanie dat na nejakom zbernom mieste o ktorom sa mnohi dohaduju na co vlastne je a nie je) s ktorymi mi pomoze LLM tak dostavam enerprise riesenie ako dar z neba ktore prezije vsetko co sa dnes povazuje za rozsirene, rozsirenost je posledne kriterium, preco nepouzit nieco co je architektonicky na prvy pohklad spicka po vsetkych strankach ked je to v jadre co k tomu este treba. zolzite aplikacie alebo radsej jednoduchu co navvrhne uz aj stroj ak viem zadefinovat riesenie, ZFS je "self-contained" a toento prinicp sa prejavu ked je na kzdom stroji neolen ohaldom spravy daet ale dokonca sa zjedosusi aj asamotn sparva OS, nie je ot system pre nejake servre kdwesi daleko ale ako ualva od zataze v mnohych smeroch

[Marek Staněk]

v com vidm medzi real time a dlhodbym ukladanim jediny rozdiel je jedine precizcnejsia logicka organzoacia dat a aj napr. snapshotov ale nie to na com tie data su a ci je to na servri alebo dvd

ono se to může lišit dost dramaticky, pokud archivuješ na optický disky pod ISO-9660 nebo dokonce na pásku, protože to jsou principiálně sekvenční systémy. takže mají mechaniku snapshotů v podstatě "zabudovanou", samozřejmě za cenu celkem dramaticky pomalejšího přístupu při čtení. v závislosti na způsobu používání to pro tebe rozdíl být může nebo taky nemusí.

[domaca pekaren]

pre Marek Staněk: mierim tam ze rozdiel medzi tym co sa povazuje za archiv a zive data je pre mna pri pouziti ZFS uz len navrh struktury datasetov, sanpshotov a ich casovej udrzby - priebezna sprava, ale inak zfs pracuje v realnom case s maximalnou spolahlivostou a rychlejsie to uz nejde. Aj ukldanie metadat je osetrene v tom zmysle, trvanlivost medii z mojho pohladu pri zfs straca zmysel, teda ci nieco vydrzi 5 rokov alebo aj 20, nakolko aj "synchornizacia" je v ZFS poole inteligentnejsia ako kalsicky raid ci hardverovy alebo softvery (a bez ohladu na to sa to neda provnat vseobecne s vymennymi mediami), aj tuto vrstvu ma ZFS inak riesenu a ma ju integrovanu v sebe ako rovnocennu sucast k ostatnym a na jednoducho skalovatelnom principe. Cele to obchadza mnohe zbytocne vrstvy, zjedodusena architektura ktora vyzaduje minimalnu nadstavbu. Co je na tom este viac dobre ze ked bezi na ZFS samotny OS tak sa zjedodusj aj  sprava stroja ta denna aj archivacna tam sa opat perejavuje ta zjenodusena architektura, lebo pri sprave OS je to este viac poznat tam je real time uplna priorita. Trvanlivost media napr CD/DVD (data tresor disc sa prestal vyrabat) v specifickych pripadoch ma zmysel zas pri pouziti ZFS, tak sa automaticky opat ziskava len to najlepsie, pridanim media do poolu, kde Special VDEV bezi napariklad na tom intel optane, je okazity pristup k tym blokom, ziadne checksumy ani medzivrstvy na pristup k inak pomalemu mediu netreba. Tazke sa ziska maximum aj v tom pripade. Ze ZFS je zlozitejsi nie je hedndikep oproti inym file systemom pretoze je to ina liga, analyzovat Special VDEV oddeleny od dat mozno by zvaldol aj AI a tak sa dostat k datam aj bez specifikacie, ak je specifikacia k rozhraniu disku aspon. A medium ako velky disk sa vymeni lahsie ked je novsia generacia ako obmienat x nasopbne viac medii.

[domaca pekaren]

... a samotna recvizia dat na zfs je opat priama sucast ZFS nema zmysel stavat dalsie vrsty aj na tu reviziu , nikdy nebdue rychljsi pristup aj pri kontrole dat ako v takejto architekture, ak je Special VDEV ako mozog navsye rychle a s konstantou pritupovou dobou, je to cisto len o rcyhlosti blokoveho zariadenia

[Reklama]

[domaca pekaren]

este jedna myslienka ZFS sa moze zdat zlozity pre OS alebo pouzivatelov (len preto ze je napr. nerozsireny) ale v vnutri je ten najtranspartentnejsi system pre forenznu analyzu, na Special VDEV je vsetko co k rekonstrucii treba a ak sa neriesi cela logicka rekostrukcia poolu iba vytiahnut subory je to na ten ucel ako stvorene a navyse vsetko je aj pre velke mnzostvo dat na jednom mieste cela archivacia (presnejsie povedane ziva kontrola integrity kde sa uz neriesi medium ale prave ona) na tom stoji lebo ak sa nejake medium aj poskodi uplne alebo ciastocne ten mozog a dokonca transparentny aj na analyzu a je ho najlahsie ochranit, tak on to z toho dostane vzdy to najlepsie

ZFS je tranzakcny a davkovy pri praci s metadatami, je tak uz navrhnuty, FAT a ine systemy maju len jednu tabulku a davkovo ani robit nemozu a este aj ten jeden subor citaju ako reta. Keby to robili aj nahodou naraz, tak bez chcksumov a toho ze maju len jeden zaznam o kazdom subore resp bloku ktory je zivy s inym robit nemzu a stale sa robi len s nim rozpadlo by sa to pri prvom pokuse, ZFS to ma vsetko poiztene ako tranzakcie v navyse aj v RAM. Kym sa nieco nepotvrdi ze je odokoncene berie sa povodne a robi sa to navsye davkovo a tie davky prave vyhovuju aj rotacnym diskom. SSD si v podstate neporadi ani s davkami lebo nie je priamo adresovatelne a predvidatelne. A snapsghoty su uz len dalsie trabnzakcie vsetko je v navrhu ZFS viacnasobne vyuzite a ten navrh je vlastne velmi jednoduchy vzhaldom na to co to dokaze.

[domaca pekaren]

takze to co je rozsirene je latanie jedneho druhym, nepredvidatelne SSD ale s nadsadenymi parametrami ktore aj pri zlej architekture filesystemu stale maskuju jeho zastaralost ale uzivatelia si chvalia ze je to rychlesjie, ale v skutocnosti aj ten SSD ma horsie parametre po stranke garancie a vyrovanosti ako roatcny disk, architektura ma byt o tom ze spaja to najleopsie a navzjaom yyladene a z toho ako stabilta a vyrovanost vyhadza ZFS a rotacny disk ako jedine vyvazene riesenie, ale aj na SSD je ZFS prinos v tom v com je SSD zle navrhnute z fyzikalnej podstaty, ta definuje ze rozsirene SSD je neefektivy sposob a inak toto nasadzuju vlastne uz aj datcentra vemi redundante cim sa to kompenzuje to co je horsie, to uz je ale uvaha o tom ze rataju s tym presne takto docasne a mozno blizka budcnost nie je v identickom ukladani dat ale nekonecnych simulaciach variacii povodnych dat, mono v blizkej buducnosti bude mnoznost mat povodne data ako nezmenen luxus