Fórum Root.cz
Hlavní témata => Software => Téma založeno: nocturne.op.15 04. 09. 2023, 09:38:29
-
Zdravíčko,
doba dospěla k tomu, že domácí úložiště potřebuje konsolidaci. Díky snadné dostupnosti relativně velkých disků jsem odstavil většinu storage serverů a konsolidoval to na pár kousků. Při probírání dat jsem došel k tomu, že velkou část z nich je možné zaarchivovat.
Dřív jsem se snažil postavit si to sám na principu cold storage serverů, které se podle potřeby (přístup do složky) budily přes WOL, ale řekněme si na rovinu, úspěšnost byla ne úplně ideální. USB disky by asi byly rychlejší a strávený čas na ladění jsem mohl třeba prochlastat a pořád by to bylo lepší.
Chci se zeptat na vaše zkušenosti s archivačními SW. Doporučíte něco rozumného? Já si ve volném čase rád projdu dostupná řešení, ale osobní zkušenost může být k nezaplacení. Zkušenost mám s Commvault, to mi vyhovuje (hlavně snadnost vytažení z archivu je fenomenální) , ale na doma je to pořád trochu overkill, hlavně finančně.
Priority:
- snadný recall z archivu (je jedno jestli plugin do exploreru, tlustá appka, webové rozhraní nebo něco - prostě aby to bylo snadno použitelné i pro rodinu)
- podpora vícevrstvého úložiště jako archivačního cíle(diskové pole, LTO loader)
- podpora Windows 2016/2019 - klidně to může běžet na linuxu, jen potřebuju minimálně bezproblémovou spolupráci se SMB na win
- ideálně automatické ověření archivů v daném intervalu
- samozřejmě cena. Pokud ušetřím ročně 20k za nákup disků a 10k za elektřinu, můžu si dovolit nějaký ten kus SW, ale znáte to - čím míň, tím líp.
Díky za tipy.
-
Zdá se, že tahle otázka je skoro mrtvé téma mimo enterprise.
Jinak by třeba ceník ArchiverFS (MLTek) nevypadal, jako kdyby 1TB byla nějaká nedosažitelná modla. V zásadě je levnější držet všecko na SSD tieru, než řešit jejich appku. Nenapadá mě jediný smysluplný scénář, kde nasadit něco s cenou 680$za 1TB. 18TB HDD stojí dneska klem 5k...no dejme tomu, že dlouho neaktualizovali web.
Japonci (UNITEX) mají v podstatě SW, který bych do puntíku ocenil, ale prodají ho jen s jejich - a teď se podržte - USB3 LTO9 mechanikou :-D OK, asi na to mají klientů dostatek, ale je to umělý a zcela zbytečný vendor lock, do kterého nejdu. Pro člověka, který má trvalý přísun enterprise-grade HW a může tak v klidu a v podstatě grátis jít v pravidelných obnovovacích cyklech nemá smysl kupovat domů LTO9
Takže hledám dál. Dřív tohle uměl v základní formě kdejaký archivátor filmů na CD/DVD, ale asi už se to nenosí.
-
a neni nejjednodussi to resit nejjednodusseji?!
nakopcim vsecko na jiny disk a ten zapomenu na pude v chalupe :-)
-
Cold-storage, dost RAM, ZFS a deduplikace..
Počítat s tím, že mazání dat bude hodně pomalé.
V čem spočívá výhoda jiného řešení? Deduplikaci ZFS umí, komprimaci umí, přístup si vyřeším standardními Linuxovými tooly jako samba/NFS/cokoli. Možná tak, že jiný tool nebude muset mít HW s tolika RAM...
Pokud nechci live-dedup, protože nemám čas čekat při zápisu, udělám si druhej dataset a data do toho deduplikovaného přelívám cronem..
No a jeden z nejméně náročných archivačních/zálohovacích SW s možností deduplikace co znám mi přišlo PBS pro Promox.. Ta mrcha nemá ani 4GB RAM a zvládá deduplikovat 15TB dat s prstem v ........
-
Celkem rád bych využil stávající LTO tier, protože je to věc, o kterou se človek musí minimálně starat. Pásek mám (teoreticky) nekonečně mnoho + se samovolně obnovují po pár letech :-) Nahraju na pásku a dokud mám katalog, vím, co na ní je. A pokud ne, oblíznu ji a znova se to dozvím.
Cold storage servery jsem tu měl - a abych se pořád bál, že mi to vyhoří s elektrikou a podobné radosti. Halda Microserverů, startovaných přes WOL, pokud se přistoupilo k sekci dat, která byla linkovaná z "jejich" adresáře. Trochu to fungovalo, ale nikdy jsem to neodladil ke 100% spokojenosti. Vlastně jsem z toho byl 90% času nasraný, abych byl přesný
Deduplikaci na ZFS (ani jinde) nevyužiju, nejde o komprimovatelná data - kompresí a deduplikací na nich ušetřím tak 1-3%. ZFS jsem netestoval, ale nevěřím, že by do toho vnesl moc rozdílu.
-
Sice je to off topic, ale zajímalo by mě co archivuješ? A kolik TB?
Zatím jsem nikde nenašel nikoho komu by se data nevešla na BD apod.
Jsem toho názoru, že žádný člověk není schopen vlastní prací a pílí vytvořit více než nějakých smyslplných 50-500 GB dat. Tím tedy hlavně myslím fotky/videa z dovolených apod. V dokumentech málokdo napíše 50 MB ve Wordu ročně.
Možná tu sice budeš bazírovat s videem o 8K při 120Hz atd., ale to není typické používání, proto se tedy ptám.
-
Toto mi pripomína, že musím pohľadať, kam som dal DVD-čka s archívmi vecí zo študentských čias (cca. 15 rokov dozadu). Všelijaké programy pre kalkulačku TI-89 (vlastne už ani neviem, komu som požičal tú, tuším sestre), kopa fotiek, nejaké archívy komunikácie cez ICQ/Jabber (nekompletné), a všeličo, čo som vtedy vyprodukoval. A či to vôbec pôjde prečítať.
V praxi sa ukazuje, že všetky tie pracne nahonobené veci aj tak človeku nejako nechýbajú (po svadbe a sťahovaní som to niekam založil), a obvykle na pamiatku starých dôb stačí pár albumov papierových fotiek, ktoré si človek raz za čas dá vyrobiť z výberu aktuálnych pár rokov (keď ide o albumy fotiek rodinných akcií/detí v troch exemplároch, z ktorých dva dostanú starí rodičia z každej strany, tak je to chránené aj pred zničením).
A tiež by ma zaujímalo, čo autor témy potrebuje archivovať. Ak ide o súkromné použitie, tak sa obávam, že ide o ekvivalent pivničného/povalového "spižovania", kde je najjednoduchším riešením zaplneného priestoru všetko proste vyhodiť (vo virtuálnom svete technicky oveľa jednoduchšie než vo fyzickom), je to len psychologický problém. Keď sme doma naposledy robili veľké upratovanie pivnice (sklepa), tiež moje srdce krvácalo, že "tie veci sa ešte mohli využiť", ale spätne musím racionálne uznať, že:
- 10 rokov som to na nič nepoužil
- a veľmi pravdepodobne by to tak pokračovalo aj naďalej.
-
Ano samozřejmě, když si dáš umělé požadavky, že člověk zálohuje/archivuje pouze data vytvořená vlastní prací a pílí a ignoruješ, že 4K/60Hz video udělá taky hodně, tak dojdeš k takovým výsledkům, že 640 kB (pardon 500 GB) musí stačit každému.
Sice je to off topic, ale zajímalo by mě co archivuješ? A kolik TB?
Zatím jsem nikde nenašel nikoho komu by se data nevešla na BD apod.
Jsem toho názoru, že žádný člověk není schopen vlastní prací a pílí vytvořit více než nějakých smyslplných 50-500 GB dat. Tím tedy hlavně myslím fotky/videa z dovolených apod. V dokumentech málokdo napíše 50 MB ve Wordu ročně.
Možná tu sice budeš bazírovat s videem o 8K při 120Hz atd., ale to není typické používání, proto se tedy ptám.
-
Týká se to hromadění jak reálných věcí, tak digitálních dat. Rozhodně je pravda, že 95 - 99 % věcí, která si člověk odloží "kdyby se to hodilo", tak už nikdy potřebovat nebude. Je to ale otázka toho, jakou cenu má pro člověka těch 1 - 5 % věcí, které se mi později hodit budou. Moje zkušenost je taková, že ta cena může být někdy velmi velká.
Toto mi pripomína, že musím pohľadať, kam som dal DVD-čka s archívmi vecí zo študentských čias (cca. 15 rokov dozadu). Všelijaké programy pre kalkulačku TI-89 (vlastne už ani neviem, komu som požičal tú, tuším sestre), kopa fotiek, nejaké archívy komunikácie cez ICQ/Jabber (nekompletné), a všeličo, čo som vtedy vyprodukoval. A či to vôbec pôjde prečítať.
V praxi sa ukazuje, že všetky tie pracne nahonobené veci aj tak človeku nejako nechýbajú (po svadbe a sťahovaní som to niekam založil), a obvykle na pamiatku starých dôb stačí pár albumov papierových fotiek, ktoré si človek raz za čas dá vyrobiť z výberu aktuálnych pár rokov (keď ide o albumy fotiek rodinných akcií/detí v troch exemplároch, z ktorých dva dostanú starí rodičia z každej strany, tak je to chránené aj pred zničením).
A tiež by ma zaujímalo, čo autor témy potrebuje archivovať. Ak ide o súkromné použitie, tak sa obávam, že ide o ekvivalent pivničného/povalového "spižovania", kde je najjednoduchším riešením zaplneného priestoru všetko proste vyhodiť (vo virtuálnom svete technicky oveľa jednoduchšie než vo fyzickom), je to len psychologický problém. Keď sme doma naposledy robili veľké upratovanie pivnice (sklepa), tiež moje srdce krvácalo, že "tie veci sa ešte mohli využiť", ale spätne musím racionálne uznať, že:
- 10 rokov som to na nič nepoužil
- a veľmi pravdepodobne by to tak pokračovalo aj naďalej.
-
Jak říkáš, mnou produkovaný obsah má már giga i s fotkama - to tak prostě je. Ten pochopitelně i zálohuju.
Archivace se týká věcí, které sbírám - staré video, highres audio. Pro někoho je to možná úchylka, ale věřte mi, že už jsem narazil na velkou hromadu věcí, které nenávratně zmizely. Někdo je možná má, ale na internetu už se asi nikdy neobjeví - namátkou jediné album zaniklé skupiny Faraon Mystic Duo nebo studenty přemluvená parodie na pána prstenů, postavená na animované verzi z roku 1978. Na kvalitní remaster filmu "Dopisy v krajkách" si asi počkáme do...nikdy. Netflix ho asi dávat nebude.
Jak se ukázalo po komunikaci s ČT, třeba dílů "hledání ztraceného času" mám o pár kousků víc, než mají ve svém archivu oni - jim se podařilo některé díly nenávratně ztratit, případně od nich ztratili autorská práva. Kompletní to možná nebudeme mít nikdy, pokud nedostaneme pod kontrolu něčí soukromé VHS zdroje.
Za katalogizací takové sbírky jsou stovky hodin práce - obvykle se nashromáždí několik verzí, případně se z nich složí jedna lepší verze. Podobně je to s audiem.
Celkem nemalou část tvoří archivy webových projektů třetích stran. Třeba archiv ovladačů IBM - Lenovo ho stáhlo myslím v roce 2009 a nebýt fanouškovského webu thinkpads.com, byly by v háji. A protože staré thinkpady sbírám, má to pro mě hodnotu a často se k tomu aktivně vracím. A takových zdrojů jsou desítky z mnoha oborů, které jsou mi blízké - techniky, chemie, historie - je jen otázka, kdy se zdánlivě "rock stable" web odebere někam mimo internet a na půlvodní stránce najdete už jen sadu reklamních bannerů. Archive.org taky není odpověď na všechno.
Celkem jde asi o 80TB a stále pomalu roste. Velikost HDD sice stoupá, ale držet to jen na live médiu je risk. Zálohování v téhle velikosti už je taky problém, takže držet na diskách co je + archiv je asi nejefektivnější možnost. Tak asi tak.
-
Ak by to bolo mozne, prispel by som mozno jednym az 5 TB volneho, online, miesta na prapomalej linke (neviem, ci mam 30/3Mbps, alebo 60/6). Otazka je technologicka (ak by to bolo ako "boinc projekt", tak to mi staci poslat link :D).
PS: Neberiem, ze som archiv, alebo zaloha, ale proste diverzifikacia rizika...
-
Z hlouby mych bookmarku: https://www.archivematica.org/en/.
-
na Archivematicu jsem narazil, ale koncepce tohodle SW je mi totálně záhadou. Budu asi muset načíst hromadu dokumentace, intuitivní to na první pohle fakt není. Nastuduju, uvidím...
-
Z hlouby mych bookmarku: https://www.archivematica.org/en/.
Z hloubi, samozrejme.
-
Ak by to bolo mozne, prispel by som mozno jednym az 5 TB volneho, online, miesta na prapomalej linke (neviem, ci mam 30/3Mbps, alebo 60/6). Otazka je technologicka (ak by to bolo ako "boinc projekt", tak to mi staci poslat link :D).
PS: Neberiem, ze som archiv, alebo zaloha, ale proste diverzifikacia rizika...
Díky, ale 5TB někde na druhem konci sveta, s tim nevim, co bych si pocal.
-
Pro inspiraci - mam podobny archiv ve kterem je neco malo pres 180TB dat. Mam 1 archiv na amazon glacier deep archive ~1TB/$1/month, na zfs based storage v jedne lokalite, zfs based storage ve druhe lokalite a vetsinu vypalenych na bluray ulozenych v sejfu (jako firma jsme koupili starou bankovni budovu vcetne sejfu). Rocne mi pribude 10-15TB dat. K archivaci pouzivam hashbackup a par2 pro pripad ze se neco poskodi.
-
Hele mozna nechapu vocogo, ale archiv = data ktera nepotrebuju, nikdy potrebovat s nejvyssi pravdepodobnosti nebudu, ale pro to 1 promile "co kdyby" je nekam odleju.
To co tady popisujes neni archiv. Pokud mam sbirku filmu, chci aby byly trvale dostupne = na disku. Pokud o ne nechci prijit, tak je cas od casu preleju na druhy disk, ktery klidne muze lezet v supleti, a pokud chci mit uberjistotu, tak mam jeste treti disk v supleti na chalupe.
Samozrejme v rozsahu 100TB uz to trochu leze do disku i do penez. Ale porad si dovolim tvrdit, ze stezi sezenes odolnejsi uloziste nez disk.
Mimochodem krasna ukazka toho, proc je treba AZ v soucasne podobe zrusit. Vede to jen a pouze k tomu, ze 1/2 autorskych del zmizi a uz nikdy dostupna nebude. Pricemz u filmu, muziky a knizek je stav jeste nadocekavani dobry, u SW je to daleko horsi.
Apropos, nakonec stejne umres, a tvi potomci to hodi do popelnice.
-
Hele mozna nechapu vocogo, ale archiv = data ktera nepotrebuju, nikdy potrebovat s nejvyssi pravdepodobnosti nebudu, ale pro to 1 promile "co kdyby" je nekam odleju.
To co tady popisujes neni archiv. Pokud mam sbirku filmu, chci aby byly trvale dostupne = na disku. Pokud o ne nechci prijit, tak je cas od casu preleju na druhy disk, ktery klidne muze lezet v supleti, a pokud chci mit uberjistotu, tak mam jeste treti disk v supleti na chalupe.
Samozrejme v rozsahu 100TB uz to trochu leze do disku i do penez. Ale porad si dovolim tvrdit, ze stezi sezenes odolnejsi uloziste nez disk.
Mimochodem krasna ukazka toho, proc je treba AZ v soucasne podobe zrusit. Vede to jen a pouze k tomu, ze 1/2 autorskych del zmizi a uz nikdy dostupna nebude. Pricemz u filmu, muziky a knizek je stav jeste nadocekavani dobry, u SW je to daleko horsi.
Apropos, nakonec stejne umres, a tvi potomci to hodi do popelnice.
Vidis to za sveho pohledu. Uvedu extremni priklad - ve svem archivu mam i pohadky (video/audio). Ja se na to nekoukam, decka odrostli takze se na to taky nekoukaj. V pripade ze budu mit vnoucata tak ty pohadky z archivu obnovim a vnoucata se budou moci podivat treba na original krtecka.
-
Hele mozna nechapu vocogo, ale archiv = data ktera nepotrebuju, nikdy potrebovat s nejvyssi pravdepodobnosti nebudu, ale pro to 1 promile "co kdyby" je nekam odleju.
To co tady popisujes neni archiv. Pokud mam sbirku filmu, chci aby byly trvale dostupne = na disku. Pokud o ne nechci prijit, tak je cas od casu preleju na druhy disk, ktery klidne muze lezet v supleti, a pokud chci mit uberjistotu, tak mam jeste treti disk v supleti na chalupe.
Samozrejme v rozsahu 100TB uz to trochu leze do disku i do penez. Ale porad si dovolim tvrdit, ze stezi sezenes odolnejsi uloziste nez disk.
Mimochodem krasna ukazka toho, proc je treba AZ v soucasne podobe zrusit. Vede to jen a pouze k tomu, ze 1/2 autorskych del zmizi a uz nikdy dostupna nebude. Pricemz u filmu, muziky a knizek je stav jeste nadocekavani dobry, u SW je to daleko horsi.
Apropos, nakonec stejne umres, a tvi potomci to hodi do popelnice.
Vidis to za sveho pohledu. Uvedu extremni priklad - ve svem archivu mam i pohadky (video/audio). Ja se na to nekoukam, decka odrostli takze se na to taky nekoukaj. V pripade ze budu mit vnoucata tak ty pohadky z archivu obnovim a vnoucata se budou moci podivat treba na original krtecka.
pridam offtopic, ja jsem sberatel knih, mam pro vnuky logaritmicke tabulky apod., logaritmicke pravitko i planimetr. taky sbiram vinyly od punku az po japonsky harsh noise core, snad to bude vnuky zajimat :-)
-
Ale porad si dovolim tvrdit, ze stezi sezenes odolnejsi uloziste nez disk.
Na druhú stranu o disky v šuflíku sa tiež treba občas starať ... technológia ide dopredu, sám mám pár starých ATA diskov v šuflíku ale dnes je už trochu náročné z nich niečo prečítať - nové dosky skrátka majú len SATA porty ...
Apropos, nakonec stejne umres, a tvi potomci to hodi do popelnice.
To je samozrejmé ... napriek tomu sa ľudia venujú rôznym hobby ... niekto zbiera známky, niekto chová kanáriky alebo akváriové rybičky. A niekto zbiera staré filmy ;)
-
“Only wimps use tape backup. REAL men just upload their important stuff on ftp and let the rest of the world mirror it.”
― Linus Torvalds
-
“Only wimps use tape backup. REAL men just upload their important stuff on ftp and let the rest of the world mirror it.”
― Linus Torvalds
ve kterem roce to rekl? dedeckove jako ja meli ftp, dneska vsichni ulitavaji na cloudu.
-
To co tady popisujes neni archiv. Pokud mam sbirku filmu, chci aby byly trvale dostupne = na disku.
Není nutné. To, že chci vidět nějaký film neznamená, že ho musím spustit do pěti sekund. Klidně si loadnu pásku, natáhnu ho a mezitím si stihnu udělat kafe. Držet to na hot disku je v podstatě hloupost.
Apropos, nakonec stejne umres, a tvi potomci to hodi do popelnice.
To mám pojištěné dobře - nemám potomky a rozhodně mít nebudu. Než umřu, všechno prodám, rozfofruju dokud na to bude energie a pak už jen budu plácat sestřičky po zadku někde v důchoďáku. Co zbyde, odkážu nějaké protistátní organizaci.
-
SATA je v produkci pres 20 let a za tu dobu bylo dost casu na zkopirovani par disku na novejsi technologii.
Ale porad si dovolim tvrdit, ze stezi sezenes odolnejsi uloziste nez disk.
Na druhú stranu o disky v šuflíku sa tiež treba občas starať ... technológia ide dopredu, sám mám pár starých ATA diskov v šuflíku ale dnes je už trochu náročné z nich niečo prečítať - nové dosky skrátka majú len SATA porty ...
-
Klidně si loadnu pásku, natáhnu ho a mezitím si stihnu udělat kafe.
Ehm ... vsad se, ze ne.
Znam lidi, kteri mivali i desitky tisic ruznych placek s filmy (napr). A kdyz si chteli neco pustit, tak zjistili, ze by jim hodinu trvalo jen to najit, pripadne si vzpomenout, komu to pujcili. Vsichni do jednoho maji dnes doma diskovy policko, a na nem vse co si potencielne budou chtit pustit. Oneclick akce.
Sam mam na pude mozna 2-3k placek. Tezko rict, jestli by se jeste daly prehrat, ale vetsinu toho mam stejne na disku. A co pripadne ne uz stejne nevim, takze je mi to uplne jedno.
-
Ehm, proto nechci změť random disků na půdě, ale řešení pro archivaci.
Zřejmě netušíš, jak to v reálu funguje - ale pásky mají svoje čárové kódy, které si mechanika oblizuje. Pokud má patřičnou pásku v jendom z 24 slotů, nabere si ji - jinak se mi SW ozve, že k restoru z archivu potřebuje pásku číslo XY. Opravdu to není o probírání se ikeataškou plnou médií a myších bobků.
-
Co chcete jako slyset ? Lepsi reseni nez zpiratene tsm (spectrum) nebo networker plus worm na lto proste nevymyslite :).