Levné úložiště pro zálohování jednotek TB dat

[🇺🇦 GPU]

Udržovat v běhu cokoli digitálního je i pro IT pozitivního člověka peklo. I u toho cloudu se musí udržovat platná karta, případně to prodlužovat, souhlasit s novými TOS, hlídat za neunikla hesla či to někdo nehacknul a podobně. Samo-domo řešení vyžaduje taky péči a řešení problémů.

Jako nejlepší se jeví buď fotky vytisknout v několika kopiích a ty uložit na různých místech, jebo je pravidelně ukládat na nějaké médium s dlouhou životností. To se ale asi blbě automatizuje, leda mít někde nějaký vypalovací stroj, ze kterého to rovnou "padá na hromadu".

Pak je potřeba řešit, jestli člověk potřebuje zálohovat nebo spíše archivovat. Fotky je dobré třeba jednou za rok projít, a se slzou v oku vybrat jen ty hodnotné a u těch řešit uchování. Za rok člověk vyprodukuje tolik dat, že není únosné to vše archivovat pro budoucí generaci.

Asi má smysl archivovat fotky zachycující nějaké události, zatímco fotky kdejakého vrabce a kopretinky můžeme smazat.

[Reklama]

[Bystroushaak]

Za mě doporučuji AWS S3 / deep archive. Používám to na vlastní zálohy (cca 250G) už cca 2 roky, od doby co jsem se naučil dělat s AWS v práci. Je to absurdně levné (momentálně platím měsíčně 0.97 kč), nejspíš asi nejlevnější co se dá sehnat. Commandline utility na to jsou přímo od AWS a S3 je protokol který dneska podporuje kde co.

Za sebe můžu říct, že jsem s tím maximálně spokojený, ale vím přesně co dělám. Je nutné taky říct, že to má to svoje specifika, hlavně co se týče poplatků:

1. Jak už někdo zmiňoval, cena za egress.

To znamená že platíš za stažení dat. Ta cena se liší podle regionu. Řádově to bude u jednotek terabajtů něco jako dva tisíce ($0.09 per GB 92$ -> 1 984,26 kč).

Osobně je mi tohle jedno, protože používám tiery záloh, a prvně to mám samozřejmě na PC, pak na externím disku, pak na rPI microserveru, a až pak v S3. A pokud by došlo k takové katastrofě, že přijdu o předchozí tiery, tak ty peníze za to prostě dám. Je to pro mě pojistka kde platím 12kč ročně a kdyby náhodou došlo k problémům, tak zaplatím pár tisíc navíc.

2. Chce si to správně nakonfigurovat bucket.

Musíš si sám nastavit policy že to padá do deep archive po dni (nebo okamžitě), a taky mít dostatečně random jméno, aby ti na to nikdo neposílal GET requesty, které sice zfailují, ale stejně za ně platíš (How an empty S3 bucket can make your AWS bill explode). Podle dokumentace za to sice amazon přestal chtít peníze, ale nespoléhal bych na to: Amazon S3 will no longer charge for several HTTP error codes.

Samozřejmě taky použij defaultní bucket policy že k tomu nemá přístup nikdo z venku. Boti to jinak najdou a nedoplatíš se.

Taky si nastav anomaly detection policy na costy. Tzn že ti přijde email když se najednou utratí víc než je normální. Kdybys tam třeba něco nechal válet v jiném tieru, nebo použil špatnou policy, nebo ti z toho něco tahalo data, nebo tak něco. Dobré o tom okamžitě vědět.

3. Nesyp tam hodně malých souborů.

Ideální je velká zašifrovaná záloha + větší delta soubory jednou za čas. U S3 platíš i za počty souborů a pokud bys tam nahrával spoustu malých, tak se to může prodražit.

4. Když to budeš chtít obnovit, tak rozhodně použij bulk restore.

Deep archive znamená že to cpou někam na sekundární storage a není k tomu normálně možný přístup okamžitě. Před tím než to můžeš stáhnout to musíš přesunout z deep archive zpět na standardní S3 tier. Bulk restore stojí nic, ostatní můžou stát ledvinu. Liší se to podle toho jak dlouho bude trvat než to obnoví. Bulk restore je nejpomalejší, ale zadarmo.

5. Nepoužívej EC2 ani nic dalšího.

Je to sice super co do featur, ale stojí to ledvinu (nebo dvě) a je velmi lehké utratit spoustu peněz.

6. Není to tak složité jak to vypadá.

Možná jsem to popsal jako hrozně překomplikované, reálně to naklikáš za pět minut a funguje to. Taky ta terminologie je trochu matoucí, ale reálně je to jednoduché:

• Bucket: Jakási složka v S3. Jména musí být globálně unikátní, vyber si něco dost náhodného. Třeba moje-nejlepsi-zaloha-28271190347.
• Key / object: Cesty v těch bucketech. Reálně může být key libovolný string, v praxi se typicky používají cesty jako v té složce. Třeba zalohy_pc/muj_dump.tar.zstd.gpg. Object jsou pak ty data samotná. Když to budeš chtít obnovit, tak prvně musíš provést restore z Deep archive na standard tier, k tomu vybereš ten bulk restore, počkáš den a můžeš to stáhnout.

[Marek Staněk]

No, vytisknout ... ty tisky degradují úplně stejně jako jakékoli jiné médium, kvalitu na papíře mají odvislou od kvality tiskárny a papíru, a akorát zabírají spoustu místa a hromada papíru znamená riziko nejen požární, ale i biologické (plísně, škůdci, prach), nemluvě o tom že je to težké jako prase a zabírá to spoustu místa.
Lepší je to projít a nemilosrdně zmasakrovat všechny tzv výcvaky.

Archivaci osobně dělám na DVD-RAM a DVD-RW média, a kritických dat mám doslova jednotky GB. Fotek je pár desítek GB, a to jsem důkladnou probírku pořád ještě ani neudělal. "Originály" jsou v telefonu, synchronní kopie v NASu, z něj průběžná záloha na externí disk a druhá záloha aktualizovaná cca kvartálně na dalším disku v separátní lokalitě.
Kdybych to chtěl jó důkladně a měl v druhé lokalitě lepší konektivitu, dám tam druhé NASko a zálohy pojedou po drátě a ještě se budou každou noc házet na externí disk.
Pokud katastrofa zasáhne dvě lokality vzdálené vzduchem 100+km, budu mít úplně jiné problémy než prohlížení fotek.

[Michal Šmucr]

Za mě doporučuji AWS S3 / deep archive. Používám to na vlastní zálohy (cca 250G) už cca 2 roky, od doby co jsem se naučil dělat s AWS v práci. Je to absurdně levné (momentálně platím měsíčně 0.97 kč), nejspíš asi nejlevnější co se dá sehnat. Commandline utility na to jsou přímo od AWS a S3 je protokol který dneska podporuje kde co.

Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?
Já když jsem to zjišťoval přes AWS kalkulačky nebo ceníky, tak mi to vždycky u Glacier Deep házelo základní cenu 0,0018 USD za GB na měsíc + requesty (nepočítám teď retreival). To bylo v EU datacentru ve Frankfurtu, v US datacentru  pak půlku.
Takže třeba pro 20TB (řekněme malý firemní NAS) to vycházelo ve Frankfurtu na 36 USD/měsíc, u Hetzneru 46 USD/měsíc - tzn. za rok 120 USD navrch. Což je samozřejmě dražší, ale nemusí se řešit žádné upload requesty, počty souborů - dostanu se na to snadno kdykoliv souborově přes x protokolů.
Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.

Takže mě ani u AWS Glacier DA nenapadlo rozpracovávat technické řešení, nepřišlo mi to vlastně vůbec cenově zajímavé. O.K. můžou tam být nějaké další garance (pásky, víc lokací), ale když jde o třeba třetí kopii dat, nemusí to mít zásadní význam.
Ale samozřejmě se můžu plést a jen jsem to blbě pochopil, nebo něco nenašel (což by nebylo poprvé )

[Bystroushaak]

Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?

Hele tak jsem kecal, za to se omlouvám. Když jsem to psal, tak jsem dohledával starou fakturu v emailu na mobilu a tam jsem měl nějakou slevu první rok (+ jsem tam měl 250G, část jsem potom smazal). Faktura z minulého měsíce je na 5.41 kč za 204 GB dat (ještě jsem to kontroloval v bankovnictví a potvrzeno). Datacentrum mam Stockholm.

[Reklama]

[Bystroushaak]

Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.

Ehm. Nevím jak moc si pouštět veřejně hubu na špacír. V uložto jsem skoro rok pracoval v CDN. Už tam nedělám dlouho, ale když jsem byl před rokem naposledy na srazu s bývalými kolegy, tak říkali že všichni dostali výpověď, že majitele přestalo bavit nechat se pořád tahat po soudech, takže to balí. Chvíli ještě nechají běžet servery, aby se vrátily náklady a až klekne HW tak pak asi půjdou dál. Když teď koukám na linkedin, tak někteří kolegové to tam pořád mají psané (i když většina je už pryč), tak to asi nezabalili tak úplně jak to tenkrát vypadalo, ale jako dlouhodobé (rok+) úložiště na zálohy bych to asi nepoužíval. Samozřejmě tohle jsou takové drby a rozhodně neříkám že něco nějak je, jen co jsem slyšel.

[Martin Poljak]

Pak je potřeba řešit, jestli člověk potřebuje zálohovat nebo spíše archivovat. Fotky je dobré třeba jednou za rok projít, a se slzou v oku vybrat jen ty hodnotné a u těch řešit uchování. Za rok člověk vyprodukuje tolik dat, že není únosné to vše archivovat pro budoucí generaci.

I kdybych tím ročně strávil jenom dvě hodiny, storage je tak zhruba stejně drahý, jako čas, který strávím tím procházením. A že by to dvě hodiny nebyly. A v běhu zrovna tohle udržovat nijak náročné není. To uložiště když jednou je, tak je, TOS se mohou měnit ale data v něm mám stejně šifrovaná a stejně mám zálohu i lokální, pětiřádkový zálohovací skript jsem jednou napsal a od té doby existuje. Přičemž výhled je, že zatímco můj čas bude nejspíš dál mírně zdražovat, ceny toho úložiště budou dál klesat.

Shrnuto: dělat každoročně nějaký velký úklid moc efektivní není.

[Michal Šmucr]

Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?

Hele tak jsem kecal, za to se omlouvám. Když jsem to psal, tak jsem dohledával starou fakturu v emailu na mobilu a tam jsem měl nějakou slevu první rok (+ jsem tam měl 250G, část jsem potom smazal). Faktura z minulého měsíce je na 5.41 kč za 204 GB dat (ještě jsem to kontroloval v bankovnictví a potvrzeno). Datacentrum mam Stockholm.

Super a díky za objasnění. Právě že mi to pořád nevycházelo. Tohle už víceméně ano s cenou pro ta levnější datacentra. Při té příležitosti jsem zjistil, že ten původně vybraný Frankfurt je nejdražší, většina ostatních včetně Stockholmu a Irska má cenu jako ve US - tzn. půlka. Nenapadlo mě to předtím proklikat.
Při té mé ukázkové velikosti 20 TB by to tedy vycházelo 18 USD měsíčně bez requestů.
Což už pro určitá použití zajímavé určitě je. Akorát to vypadá, že si ty charakteristiky Glacier Deep Archive musí sednout s konkrétním použitím, což jste vlastně i zmiňoval. Poměrně dost zálohovacích/archivačních nástrojů, co podporuje S3, dokáže fungovat přímo s dražším Glacier Flex-Retrieval, ale ne s Deep Archive.
Takže bude opravdu záležet na co to konkrétně má člověk vymyšlené, protože to logicky není tak univerzální jako obecná on-line S3 storage, ale fakt spíš další tier a ještě si musí dát bacha na requesty, počty souborů atp. (a třeba si ty transfery opravdu ošetří sám).

Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.

Ehm. Nevím jak moc si pouštět veřejně hubu na špacír. V uložto jsem skoro rok pracoval v CDN. Už tam nedělám dlouho, ale když jsem byl před rokem naposledy na srazu s bývalými kolegy, tak říkali že všichni dostali výpověď, že majitele přestalo bavit nechat se pořád tahat po soudech, takže to balí. Chvíli ještě nechají běžet servery, aby se vrátily náklady a až klekne HW tak pak asi půjdou dál. Když teď koukám na linkedin, tak někteří kolegové to tam pořád mají psané (i když většina je už pryč), tak to asi nezabalili tak úplně jak to tenkrát vypadalo, ale jako dlouhodobé (rok+) úložiště na zálohy bych to asi nepoužíval. Samozřejmě tohle jsou takové drby a rozhodně neříkám že něco nějak je, jen co jsem slyšel.

Díky, já samozřejmě nemám insider informace, ale tak jsem si to víceméně také myslel. Že je teď cílem hlavně amortizovat HW, který byl pořízený ještě v době, kdy to bylo převážně veřejné úložiště na sdílení a spousta lidí si kupovala kredity. Takže nasadili poměrně agresivní ceny na osobní bulk storage, aby nalákali uživatele a po nějaké době třeba zhodnotí, jak se to vyvíjí.
Já jsem někde používal právě zmíněný Hetzner, protože mi to přišlo jako rozumné řešení pro danou situaci s relativně velkou flexibilitou a dobrými referencemi (+ tam mám i virtuály). O ulož.to jsem chvíli uvažoval, ale trochu jsem se bál, že to bude trochu punk (ne úplně transparentní rate limiting, jediná automatizovatelná aplikace na server byl Rclone s komunitním modulem, případně si napsat něco svého s jejich API). Ale naprosto beru, že pokud si to někdo vyzkouší jako funkční, rozchodí co potřebuje (např. nezálohuje napřímo, ale jen tam synchronizuje existující zálohu v další kopii) a chce co nejnižší cenu v rámci těch tarifů, tak to může dávat smysl.

[🇺🇦 GPU]

Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?

[Martin Poljak]

Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?

Na samotné klíče je podle mého optimální třeba ten AWS Glacier. Test obnovitelnosti nedělám, ale ten klíč potřebuju k tomu, aby vůbec Borg mohl spustit zálohování takže prostě doufám, že je schopný vnitřní integritu repozitáře ošetřit a data u Hetznera nelikvidují.

[Michal Šmucr]

Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?

Vyloženě zálohování klíčů, tím že jsou malé, není problém. Může být x různých způsobů od všemožných lokálních šifrovaných klíčenek, centrálních šifrovaných úložišť (vault store) až po různé USB disky atp. Záleží také kolik lidí k tomu má mít přístup a jak jsou nastavená pravidla, pokud je to někde ve firmě atp.

Co může být větší výzva, je jejich zabezpečení na samotném serveru při automatizovaném použití. Tam už záleží, co všechno člověk potřebuje řešit a jak moc to může být komplexní.
Od základního a nejjednoduššího se může začít tím, aby se někde neválely v plaintextu přístupné pro každého, neposílaly se rovnou přes parametry příkazů atp. Pokud zálohování běží přímo na tom serveru, kde jsou data, tak udělat speciálního lokálního uživatele na zálohování, který nemá přihlášení zvenku přes standardní protokoly a zajistit, že ty soubory s citlivými daty jsou čitelné jen pro něj (a roota).

V dalším kroku jde udělat to, že citlivé věci nejsou uložené nikde v konfiguračních souborech/profilech, ale volá se jiný příkaz, co to předá přes stdout. Hodně nástrojů s tím počítá a má ve volbách možnost nadefinovat místo xxx_password="heslo" něco jako xxx_password_command="$HOME/bin/gimme-password.sh".
Obecně se to tímhle způsobem pak přímo nebo přes wrappery nechá propojit s externími nástroji, které ta hesla/klíče získávají z nějaké šifrované podoby. A zas to může být od jednodušších věcí typu lokální gpg (i třeba s běžícím agentem, co to otevře po startu serveru interaktivním zadání hesla), systémových klíčenek až přes ty sofistikované vault servery. U nich pak můžou být také speciální agenty, co můžou autentikovat aplikaci, řešit platnosti tokenů atp.

U těch testů pak zas hodně záleží na konkrétním používání/technologii, důležitosti těch dat a také samozřejmě celkové velikosti. V implementační fázi samozřejmě testuji, pak to fakt záleží na kontextu. Někdy jen namátkové selektivní restory, u menších repozitářů i komplet jednou za čas. Mnoho zálohovacích nástrojů má i vestavěné kontroly. Třeba Restic umí otestovat buď jen strukturu repozitáře nebo i integritu dat proti checksumům, tam dokonce i možnost ověřit jejich část, aby se nemusela přenášet všechna data - např. otestuje si náhodných 10% dat.
Někdy to může být problém, viz. třeba ten zmíněný Deep Archive (nebo obecně u disaster recovery služeb), kdy se za každý restore platí extra a příp. tam ještě ověřitelné checksumy jen pro celé soubory (takže třeba u 100G dumpů, videí, blokových image souborů je to fakt nadlouho).

[Bystroushaak]

Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?

Používám GPG s klíčem v hardwarovém tokenu Yubikey, který nosím na klíčích, kdysi jsem o tom psal články tady: https://www.abclinuxu.cz/clanky/yubikey.-co-to-je-a-co-to-umi-1 (má to tři díly, GPG je popsané v druhých dvou). K použití tokenu k dešifrování je třeba heslo. Samotný klíč mam pak ještě zálohovaný jinde a šifrovaný jinak (symetricky).

Na tomhle řešení je hezké, že můžu šifrovat odkudkoliv, protože mi k tomu stačí veřejný klíč. Hypoteticky třeba když si půjčím notebook od někoho, tak můžu importovat veřejný klíč, zašifrovat data pro sebe a poslat si je. Praktické použití je spíš třeba na VPS, kde kdyby to někdo hacknul, tak se nedostane ke starší záloze, nebo k logům.

Samozřejmě mnohokrát jsem zkoušel jestli můžu ty data taky rozšifrovat, například když jsem potřeboval obnovit zálohu protože jsem smazal omylem nějaké soubory, tak data stáhnul z externího disku (je to externí => je to šifrované), rozšifroval, rozbalil a našel.

[Bystroushaak]

Mimochodem kdysi jsem řešil použití Optaru k zálohování dat na papír: https://www.abclinuxu.cz/blog/bystroushaak/2016/4/optar

Tldr; moc se to neosvedčilo.

[Honza1Ubuntu]

V případě požáru-povodně mohou být data jen malou ástí celkového vlastníctví, ale i tak aspoň něco se podaří zachránit (u dat je ta prevence snadná). V určitých případech ale mohou právě data mít i větší hodnotu, než zbytek majetku. Nehledě na to, že v datech mohou být smlouvy, závěť, diplomy, ...

Jinak receno, jen potvrzujes, ze o tom vis lautr kulovy, a naprosto mimo tema a dotaz tu jen blabolis. Navic trpis zcela zjevne naprostym pravnim i technickym bezvedomim. Protoze zadna zavet v tech datech byt nemuze, a stejne tak ani zanej diplom a dalsi listiny. Ale to bys musel aspon treba tusit, co ZAKON rika o zaveti ze? Napriklad ...

A chtel bych videt jakykoli soukromy data s hodoutou 10M+ ... lol.

Ty jsi s prominutím fakt magor. Co se týče té závěti, OK, ta primárně není v mých datech, ale ukládá se obecně v centrálním registru u notáře (jel-li u notáře sepsaná). Naskenovaný může být opis závěti. V případě smrti stejně nebude nikdo vědět moje heslo do PC. Diplom je buď papírový, nebo má o absolventech data samotná universita. Diplom v elektronické podobně (nejspiše naskenovaný, s nějakou ochranou známkou) je také platný. Samotný naskenovaný diplom nemá ochranné prvky proti padělání, tudíž není úplně platný. Ale v mém případě zatím vždy stačilo ukázat poslat kopii diplomu jak ze školy tak z absolvování nějakého kurzu. Pokud by mě někdo nařkl z podvodu, dalo by se to ověřit.

Ano data s hodnotou nad 10 milionů skutečně existují (i nad 10 milionů Eur). Tato data mohou být i soukromá celkem snadno. Spíše je mi záhadou, jak jsi došel k tomu, že vlastnictví mimo počítač a doma bude v hodnotě 10 MKč. Takovou hodnotu má pouze nemovitost, nebo nějaké zběratelské, umělecké předměty. A to fakt moc lidí nevlastní (ani tu nemovitost). Naopak u velké části populace je celková hodnota vlastnictví (mimo peněž na účtu a mimo dat) pod 1 M, často i pod 100 k. Rozsah soukromého vlastnictví mimo dat a peněz na účtu, mimo vozidel, může být i jen 10 k (a tím nemyslím bezdomovce).

[Honza1Ubuntu]

JanBenicek
Na coolhousing.net jsem se koukal až dneska, dříve jsem o nich nevěděl. V případě malých zařízení je tam limit průměrné spotřeby 50 W, což samozřejmě bohatě stačí (v případě pouhých záloh bude ta průměrná spotřeba i pod 5 W). Průměrná vytíženost sítě sotva 10 Mbit/s. Ale i tak je ta cena docela vysoko, přes 20 Eur za měsíc. Což je více než dedikovaný server na Kimsufi nebo těch 25 TB na uloz.to.

greenlinuxguru
Ten Amazon Glacier nakonec tolik použítelný nevypadá. Účtovat si za stáhnutí 1 TB 2000 Kč je docela síla. To už jsou často levnější mobilní data. Jak by pak byly účtovány jednotlivé změny v dateh, toť otázka. Ale asi to nakonec moc dobře nevyjde.