SW pro archivaci (ne zálohování)

SW pro archivaci (ne zálohování)
« kdy: 04. 09. 2023, 09:38:29 »
Zdravíčko,
doba dospěla k tomu, že domácí úložiště potřebuje konsolidaci.  Díky snadné dostupnosti relativně velkých disků jsem odstavil většinu storage serverů a konsolidoval to na pár kousků. Při probírání dat jsem došel k tomu, že velkou část z nich je možné zaarchivovat.

Dřív jsem se snažil postavit si to sám na principu cold storage serverů, které se podle potřeby (přístup do složky) budily přes WOL, ale řekněme si na rovinu, úspěšnost byla ne úplně ideální. USB disky by asi byly rychlejší a strávený čas na ladění jsem mohl třeba prochlastat a pořád by to bylo lepší.

Chci se zeptat na vaše zkušenosti s archivačními SW. Doporučíte něco rozumného? Já si ve volném čase rád projdu dostupná řešení, ale osobní zkušenost může být k nezaplacení. Zkušenost mám s Commvault, to mi vyhovuje (hlavně snadnost vytažení z archivu je fenomenální) , ale na doma je to pořád trochu overkill, hlavně finančně.


Priority:
- snadný recall z archivu (je jedno jestli plugin do exploreru, tlustá appka, webové rozhraní nebo něco - prostě aby to bylo snadno použitelné i pro rodinu)
- podpora vícevrstvého úložiště jako archivačního cíle(diskové pole, LTO loader)
- podpora Windows 2016/2019 - klidně to může běžet na linuxu, jen potřebuju minimálně bezproblémovou spolupráci se SMB na win
- ideálně automatické ověření archivů v daném intervalu
- samozřejmě cena. Pokud ušetřím ročně 20k za nákup disků a 10k za elektřinu, můžu si dovolit nějaký ten kus SW, ale znáte to - čím míň, tím líp.

Díky za tipy.


Re:SW pro archivaci (ne zálohování)
« Odpověď #1 kdy: 04. 09. 2023, 19:52:34 »
Zdá se, že tahle otázka je skoro mrtvé téma mimo enterprise.

Jinak by třeba ceník ArchiverFS (MLTek) nevypadal, jako kdyby 1TB byla nějaká nedosažitelná modla. V zásadě je levnější držet všecko na SSD tieru, než řešit jejich appku. Nenapadá mě jediný smysluplný scénář, kde nasadit něco s cenou 680$za 1TB. 18TB HDD stojí dneska klem 5k...no dejme tomu, že dlouho neaktualizovali web.

Japonci (UNITEX) mají v podstatě SW, který bych do puntíku ocenil, ale prodají ho jen s jejich -  a teď se podržte - USB3 LTO9 mechanikou :-D OK, asi na to mají klientů dostatek, ale je to umělý a zcela zbytečný vendor lock, do kterého nejdu. Pro člověka, který má trvalý přísun enterprise-grade HW a může tak v klidu a v podstatě grátis jít v pravidelných obnovovacích cyklech nemá smysl kupovat domů LTO9

Takže hledám dál. Dřív tohle uměl v základní formě kdejaký archivátor filmů na CD/DVD, ale asi už se to nenosí.

alex6bbc

  • *****
  • 1 634
    • Zobrazit profil
    • E-mail
Re:SW pro archivaci (ne zálohování)
« Odpověď #2 kdy: 04. 09. 2023, 19:55:49 »
a neni nejjednodussi to resit nejjednodusseji?!

nakopcim vsecko na jiny disk a ten zapomenu na pude v chalupe :-)

Re:SW pro archivaci (ne zálohování)
« Odpověď #3 kdy: 04. 09. 2023, 19:58:03 »
Cold-storage, dost RAM, ZFS a deduplikace..

Počítat s tím, že mazání dat bude hodně pomalé.

V čem spočívá výhoda jiného řešení? Deduplikaci ZFS umí, komprimaci umí, přístup si vyřeším standardními Linuxovými tooly jako samba/NFS/cokoli. Možná tak, že jiný tool nebude muset mít HW s tolika RAM...

Pokud nechci live-dedup, protože nemám čas čekat při zápisu, udělám si druhej dataset a data do toho deduplikovaného přelívám cronem..

No a jeden z nejméně náročných archivačních/zálohovacích SW s možností deduplikace co znám mi přišlo PBS pro Promox.. Ta mrcha nemá ani 4GB RAM a zvládá deduplikovat 15TB dat s prstem v ........

Re:SW pro archivaci (ne zálohování)
« Odpověď #4 kdy: 04. 09. 2023, 20:32:59 »
Celkem rád bych využil stávající LTO tier, protože je to věc, o kterou se človek musí minimálně starat. Pásek mám (teoreticky) nekonečně mnoho + se samovolně obnovují po pár letech :-) Nahraju na pásku a dokud mám katalog, vím, co na ní je. A pokud ne, oblíznu ji a znova se to dozvím.

Cold storage servery jsem tu měl - a abych se pořád bál, že mi to vyhoří s elektrikou a podobné radosti. Halda Microserverů, startovaných přes WOL, pokud se přistoupilo k sekci dat, která byla linkovaná z "jejich" adresáře. Trochu to fungovalo, ale nikdy jsem to neodladil ke 100% spokojenosti. Vlastně jsem z toho byl 90% času nasraný, abych byl přesný

Deduplikaci na ZFS (ani jinde) nevyužiju, nejde o komprimovatelná data - kompresí a deduplikací na nich ušetřím tak 1-3%. ZFS jsem netestoval, ale nevěřím, že by do toho vnesl moc rozdílu.


Re:SW pro archivaci (ne zálohování)
« Odpověď #5 kdy: 05. 09. 2023, 01:15:47 »
Sice je to off topic, ale zajímalo by mě co archivuješ? A kolik TB?
Zatím jsem nikde nenašel nikoho komu by se data nevešla na BD apod.

Jsem toho názoru, že žádný člověk není schopen vlastní prací a pílí vytvořit více než nějakých smyslplných 50-500 GB dat. Tím tedy hlavně myslím fotky/videa z dovolených apod. V dokumentech málokdo napíše 50 MB ve Wordu ročně.

Možná tu sice budeš bazírovat s videem o 8K při 120Hz atd., ale to není typické používání, proto se tedy ptám.

Re:SW pro archivaci (ne zálohování)
« Odpověď #6 kdy: 05. 09. 2023, 08:04:19 »
Toto mi pripomína, že musím pohľadať, kam som dal DVD-čka s archívmi vecí zo študentských čias (cca. 15 rokov dozadu). Všelijaké programy pre kalkulačku TI-89 (vlastne už ani neviem, komu som požičal tú, tuším sestre), kopa fotiek, nejaké archívy komunikácie cez ICQ/Jabber (nekompletné), a všeličo, čo som vtedy vyprodukoval. A či to vôbec pôjde prečítať.

V praxi sa ukazuje, že všetky tie pracne nahonobené veci aj tak človeku nejako nechýbajú (po svadbe a sťahovaní som to niekam založil), a obvykle na pamiatku starých dôb stačí pár albumov papierových fotiek, ktoré si človek raz za čas dá vyrobiť z výberu aktuálnych pár rokov (keď ide o albumy fotiek rodinných akcií/detí v troch exemplároch, z ktorých dva dostanú starí rodičia z každej strany, tak je to chránené aj pred zničením).

A tiež by ma zaujímalo, čo autor témy potrebuje archivovať. Ak ide o súkromné použitie, tak sa obávam, že ide o ekvivalent pivničného/povalového "spižovania", kde je najjednoduchším riešením zaplneného priestoru všetko proste vyhodiť (vo virtuálnom svete technicky oveľa jednoduchšie než vo fyzickom), je to len psychologický problém. Keď sme doma naposledy robili veľké upratovanie pivnice (sklepa), tiež moje srdce krvácalo, že "tie veci sa ešte mohli využiť", ale spätne musím racionálne uznať, že:
- 10 rokov som to na nič nepoužil
- a veľmi pravdepodobne by to tak pokračovalo aj naďalej.
« Poslední změna: 05. 09. 2023, 08:14:19 od Gregor Fefor »

Re:SW pro archivaci (ne zálohování)
« Odpověď #7 kdy: 05. 09. 2023, 09:23:37 »
Ano samozřejmě, když si dáš umělé požadavky, že člověk zálohuje/archivuje pouze data vytvořená vlastní prací a pílí a ignoruješ, že 4K/60Hz video udělá taky hodně, tak dojdeš k takovým výsledkům, že 640 kB (pardon 500 GB) musí stačit každému.

Sice je to off topic, ale zajímalo by mě co archivuješ? A kolik TB?
Zatím jsem nikde nenašel nikoho komu by se data nevešla na BD apod.

Jsem toho názoru, že žádný člověk není schopen vlastní prací a pílí vytvořit více než nějakých smyslplných 50-500 GB dat. Tím tedy hlavně myslím fotky/videa z dovolených apod. V dokumentech málokdo napíše 50 MB ve Wordu ročně.

Možná tu sice budeš bazírovat s videem o 8K při 120Hz atd., ale to není typické používání, proto se tedy ptám.

Re:SW pro archivaci (ne zálohování)
« Odpověď #8 kdy: 05. 09. 2023, 09:30:07 »
Týká se to hromadění jak reálných věcí, tak digitálních dat. Rozhodně je pravda, že 95 - 99 % věcí, která si člověk odloží "kdyby se to hodilo", tak už nikdy potřebovat nebude. Je to ale otázka toho, jakou cenu má pro člověka těch 1 - 5 % věcí, které se mi později hodit budou. Moje zkušenost je taková, že ta cena může být někdy velmi velká.


Toto mi pripomína, že musím pohľadať, kam som dal DVD-čka s archívmi vecí zo študentských čias (cca. 15 rokov dozadu). Všelijaké programy pre kalkulačku TI-89 (vlastne už ani neviem, komu som požičal tú, tuším sestre), kopa fotiek, nejaké archívy komunikácie cez ICQ/Jabber (nekompletné), a všeličo, čo som vtedy vyprodukoval. A či to vôbec pôjde prečítať.

V praxi sa ukazuje, že všetky tie pracne nahonobené veci aj tak človeku nejako nechýbajú (po svadbe a sťahovaní som to niekam založil), a obvykle na pamiatku starých dôb stačí pár albumov papierových fotiek, ktoré si človek raz za čas dá vyrobiť z výberu aktuálnych pár rokov (keď ide o albumy fotiek rodinných akcií/detí v troch exemplároch, z ktorých dva dostanú starí rodičia z každej strany, tak je to chránené aj pred zničením).

A tiež by ma zaujímalo, čo autor témy potrebuje archivovať. Ak ide o súkromné použitie, tak sa obávam, že ide o ekvivalent pivničného/povalového "spižovania", kde je najjednoduchším riešením zaplneného priestoru všetko proste vyhodiť (vo virtuálnom svete technicky oveľa jednoduchšie než vo fyzickom), je to len psychologický problém. Keď sme doma naposledy robili veľké upratovanie pivnice (sklepa), tiež moje srdce krvácalo, že "tie veci sa ešte mohli využiť", ale spätne musím racionálne uznať, že:
- 10 rokov som to na nič nepoužil
- a veľmi pravdepodobne by to tak pokračovalo aj naďalej.

Re:SW pro archivaci (ne zálohování)
« Odpověď #9 kdy: 05. 09. 2023, 09:35:02 »
Jak říkáš, mnou produkovaný obsah má már giga i s fotkama - to tak prostě je. Ten pochopitelně i zálohuju.

Archivace se týká věcí, které sbírám - staré video, highres audio. Pro někoho je to možná úchylka, ale věřte mi, že už jsem narazil na velkou hromadu věcí, které nenávratně zmizely. Někdo je možná má, ale na internetu už se asi nikdy neobjeví - namátkou jediné  album zaniklé skupiny Faraon Mystic Duo nebo studenty přemluvená parodie na pána prstenů, postavená na animované verzi  z roku 1978. Na kvalitní remaster filmu "Dopisy v krajkách" si asi počkáme do...nikdy. Netflix ho asi dávat nebude.

Jak se ukázalo po komunikaci s ČT, třeba dílů "hledání ztraceného času" mám o pár kousků víc, než mají ve svém archivu oni - jim se podařilo některé díly nenávratně ztratit, případně od nich ztratili autorská práva. Kompletní to možná nebudeme mít nikdy, pokud nedostaneme pod kontrolu něčí soukromé VHS zdroje.

Za katalogizací takové sbírky jsou stovky hodin práce - obvykle se nashromáždí několik verzí, případně se z nich složí jedna lepší verze. Podobně je to s audiem.

Celkem nemalou část tvoří archivy webových projektů třetích stran. Třeba archiv ovladačů IBM - Lenovo ho stáhlo myslím v roce 2009 a nebýt fanouškovského webu thinkpads.com, byly by v háji. A protože staré thinkpady sbírám, má to pro mě hodnotu a často se k tomu aktivně vracím. A takových zdrojů jsou desítky z mnoha oborů, které jsou mi blízké - techniky, chemie, historie - je jen otázka, kdy se zdánlivě "rock stable" web odebere někam mimo internet a na půlvodní stránce najdete už jen sadu reklamních bannerů. Archive.org taky není odpověď na všechno.

Celkem jde asi o 80TB a stále pomalu roste. Velikost HDD sice stoupá, ale držet to jen na live médiu je risk. Zálohování v téhle velikosti už je taky problém, takže držet na diskách co je + archiv je asi nejefektivnější možnost. Tak asi tak.




luvar

  • ***
  • 238
    • Zobrazit profil
    • E-mail
Re:SW pro archivaci (ne zálohování)
« Odpověď #10 kdy: 05. 09. 2023, 19:25:00 »
Ak by to bolo mozne, prispel by som mozno jednym az 5 TB volneho, online, miesta na prapomalej linke (neviem, ci mam 30/3Mbps, alebo 60/6). Otazka je technologicka (ak by to bolo ako "boinc projekt", tak to mi staci poslat link :D).

PS: Neberiem, ze som archiv, alebo zaloha, ale proste diverzifikacia rizika...

Re:SW pro archivaci (ne zálohování)
« Odpověď #11 kdy: 05. 09. 2023, 21:44:03 »
Z hlouby mych bookmarku: https://www.archivematica.org/en/.

Re:SW pro archivaci (ne zálohování)
« Odpověď #12 kdy: 05. 09. 2023, 22:37:54 »
na Archivematicu jsem narazil, ale koncepce tohodle SW je mi totálně záhadou. Budu asi muset načíst hromadu dokumentace, intuitivní to na první pohle fakt není. Nastuduju, uvidím...

Re:SW pro archivaci (ne zálohování)
« Odpověď #13 kdy: 06. 09. 2023, 11:22:11 »

Re:SW pro archivaci (ne zálohování)
« Odpověď #14 kdy: 06. 09. 2023, 15:39:35 »
Ak by to bolo mozne, prispel by som mozno jednym az 5 TB volneho, online, miesta na prapomalej linke (neviem, ci mam 30/3Mbps, alebo 60/6). Otazka je technologicka (ak by to bolo ako "boinc projekt", tak to mi staci poslat link :D).

PS: Neberiem, ze som archiv, alebo zaloha, ale proste diverzifikacia rizika...

Díky, ale 5TB někde na druhem konci sveta, s tim nevim, co bych si pocal.