Fórum Root.cz
Hlavní témata => Server => Téma založeno: Honza1Ubuntu 16. 06. 2025, 23:51:18
-
Zdravím,
Chtěl bych se zeptat, jaké máte zkušenosti, resp. co by jste mi doporučili, jako levné úložiště nebo server pro zálohování dat. Velikost zálohovacího prostoru od vyšších stovek GB až po nižší jednotky TB. To je ale celkový objem všech dat, který bych tam postupně uploadnul a po té jednou-dvakrát do měsíce bych data aktualizoval (uploadnul jen to co se změnilo, odhadem 30-300 GB traffic za běžný měsíc podle situace).
Co jsem koukal na možnosti:
Hetzner Storage 1 TB za 3.2 Eur nebo 5 TB za 10.9 na měsíc, píšou, že funguje scp, nevím jestli půjde i rsync.
Uloz.to 5 TB za 6.5 USD, ale nevím jestli půjde použít rsync, nebo alespň scp. Možná jen možnost nahrávání přes web-aplikaci.
mega.io (dřívější megaupload) 2 TB za 207 Kč, nebo 5 TB za 414 Kč. Taky nevím, jestli bude možné použít rsync, scp, nebo jestli je tam přístup pouze přes web-aplikaci.
V případě uloz.to je možnost i 25 TB za 16 USD, což je jednoznačně nejlevnější varianta v přepočtu na 1 TB. Ale tolik místa nevyužiju.
Důležité-ideální je, aby bylo možné nahrát-stáhnout-aktualizovat data z příkazové řádky, přes rsync. Nebo aspoň přes commander (mc, Krusader). Jde mi jen o zálohu, ne o zdílení. Tajná data to nejsou, o soukromí v tomto případě obavu nemám (řešit lze šifrováním).
-
Hetzner je v pohodě použitelný.
Všechny přístupové protokoly jsou vypsány zde:
na https://www.hetzner.com/storage/storage-box
Případně pak v detailu:
https://docs.hetzner.com/storage/storage-box/access/access-ssh-rsync-borg
Rsync přes SSH funguje, stejně jako např. Rclone nebo Restic s SFTP přístupem (nástroj Restic bych použil já, data se šifrují před přenosem, umí to rovnou rozdílové zálohování, chodí to ze všech standardních platforem).
Ulož.to má přístup přes web, API nebo existuje komunitní modul do Rclone, takže se dá používat také z terminálu. Co vím, tam mají různé varianty API pro upload. Ten starší (který také používá Rclone) neumí navazování přenosů. Vypadá to celkem divoce, chvíli jsem nad tím uvažoval na nějaké odlívání, ale nakonec jsem do toho nešel.
Mega.io jsem léta nepoužíval, takže nemám aktuální praktické zkušenosti (jen občas mi někdo něco sdílel), oficiální upload je přes web nebo jejich aplikace (i na mobilní platformy). Podobně jako u toho Ulož.to je ale také modul do Rclone.
Asi si to možná otestujte, předplatné je po měsících (takže by stačilo třeba jednou zaplatit na praktické vyzkoušení, jestli o tom uvažujete na delší dobu, možná to stojí za to). Mě přijde z těch tří zmíněných nejrozumnější Hetzner.
-
Odlévám zálohy (desítky TB) na uložto. Využívám výše zmíněný rclone a nemůžu proti tomu nic říct. Funguje to spolehlivě
-
Hetzner má dost šílené ověřování důvěryhodnosti klienta. Něco se jim nelíbí a vůbec Vám účet nezaloží (důvod samozřejmě nezjistíte). A ještě Vám následně řeknou, že nemá smysl to zkoušet znovu.
https://docs.hetzner.com/general/others/fraud-prevention-faq/
Takže dejte pozor na VPN, včetně IPv6 tunelů.
-
Nejlepší je mít to doma.
-
Z hlediska bezpečnosti to není nejlepší.
Záloha by měla být ideálně geograficky oddělená od provozních dat.
Pokryje to větší rozsah mimořádných událostí, než záloha na stejném místě (nebo dokonce na stejném serveru) jako provozní data.
Případně kompromis, kdy se denní zálohy dělají lokálně a třeba 1x za týden se záloha geograficky oddělí - kopírováním nebo třeba odnesením disku se zálohou do jiné lokality.
Já mám takhle pravidelnou zálohu soukromých důležitých dat lokálně + občasnou kopii na serveru u kamaráda.
-
Podíval bych se na iDrive. Používám na zálohy osobních dat.
https://www.idrive.com (https://www.idrive.com)
-
Z hlediska bezpečnosti to není nejlepší.
Záloha by měla být ideálně geograficky oddělená od provozních dat.
Pokryje to větší rozsah mimořádných událostí, než záloha na stejném místě (nebo dokonce na stejném serveru) jako provozní data.
Případně kompromis, kdy se denní zálohy dělají lokálně a třeba 1x za týden se záloha geograficky oddělí - kopírováním nebo třeba odnesením disku se zálohou do jiné lokality.
Já mám takhle pravidelnou zálohu soukromých důležitých dat lokálně + občasnou kopii na serveru u kamaráda.
Pochopitelně, ale já nevím, kde má primární data. Jestli já má doma, ať zálohuje třeba na chalupu. Dneska na jednoduché zálohy může stačit i externí disk zapojený do USB portu routeru.
-
Podíval bych se na iDrive. Používám na zálohy osobních dat.
https://www.idrive.com (https://www.idrive.com)
Díky za tip. Mají docela zajímavé tarify, co máte za variantu a jak to používáte?
Máte iDrive E2 https://www.idrive.com/s3-storage-e2/, co má S3 rozhraní (tzn. je nejspíš rovnou použitelný s Rclone, Resticem), nebo ten levnější, standardní Backup tarif, kde mají nějaký speciální nástroj pro Linux?
https://www.idrive.com/faq_linux_scripts#linux1
-
Nejlepší je mít to doma.
To úmyslně špatně radíš ? Záloha na stejném místě je nesmysl, natož pak na stejném stroji. Záloha doma ochrání data v případě havárie HDD nebo SDD, ale ne před ohněm, povodněmi, zloději, nebo třeba jen přepětím v síti (za předpokladu že primární data i záloha jsou pořád zapojeny). Na chalupě to také nebude nejbezpečnější (zloději). A navíc co když někdo cestuje jako digitální nomád.
Martin Sivák
Kamarád má server u Hetzneru a zatím bez problémů. Ale třeba z provozem TOR nodů nebo třeba sdílení dat na torrentech by mohl být problém. S ověřováním zkušenosti nemám, ale obecně dneska problémy být mohou. Naštěstí žádná nelegální data nemám, soukromá data se dají šifrovat.
Michael Kalouš
Díky, Idrive jsem neznal. cenově vypadá dost podobně, levnější než Hetzner. 25 USD ročně za TB je přijatelná cena.
Michal Šmucr
Díky, asi zkusím to Uloz.to jako první. Hetzner je jako storage box zatím možná nejdražší, a že by tam šlo použít rsync to nevypadá. Rclone by mohlo být podobné (zatím zkušenosti nemám), a fungovat by mělo i na uloz.to. Na uloz.to lze úplně ze začátku vyzkoušet zdarma 25 GB (dřív bylo 50 GB) a pak přejít na těch 5 TB. 25 TB bych už sám nevyužil.
JanBenicek
Desítky TB, to používáš ten 25 TB účet, nebo ještě vyšší ? Řešení uloz.to vypadá nejlíp.
-
Z hlediska bezpečnosti to není nejlepší.
Záloha by měla být ideálně geograficky oddělená od provozních dat.
...
Ja sem zvedav, jak takovou zalohu budes 10 let obnovovat ...
To úmyslně špatně radíš ? Záloha na stejném místě je nesmysl
A dalsi odpornik ktery o tom vi prd.
Jakykoli zalohovani predevsim predpoklada analyzu rizik a jejich reseni. Jakykoli data nekde v riti jsou data verejna a verejne dostupna, coz je typicky radove horsi, nez o ta data prijit.
Pokud se bavime o soukromych datech, tak v pripade pozaru/povodne bude mit majitel dost jiny starosti nez par fotek v trapu.
-
Díky, asi zkusím to Uloz.to jako první. Hetzner je jako storage box zatím možná nejdražší, a že by tam šlo použít rsync to nevypadá. Rclone by mohlo být podobné (zatím zkušenosti nemám), a fungovat by mělo i na uloz.to. Na uloz.to lze úplně ze začátku vyzkoušet zdarma 25 GB...
Ano, to ozkoušení určitě dává smysl a měl by k tomu stačit ten základní neplacený účet.
Rclone samo o sobě má relativně snadné používání a dají se udělat podobné věci jako u rsyncu.
Určitě se mrkněte na https://rclone.org/ulozto/ ohledně specifických věcí k tomu Ulož.to.
Jinak ten Hetzner určitě rsync přes SSH umí, je to v detailu zmíněné přesně v těch odkazech, co jsem vám psal do předchozího postu.
-
Jakykoli zalohovani predevsim predpoklada analyzu rizik a jejich reseni. Jakykoli data nekde v riti jsou data verejna a verejne dostupna, coz je typicky radove horsi, nez o ta data prijit.
Pokud se bavime o soukromych datech, tak v pripade pozaru/povodne bude mit majitel dost jiny starosti nez par fotek v trapu.
S tím vyhodnocením rizik máš pravdu, to si každý musí vyhodnotit sám i podle toho, co je to konkrétně za data.
Jen bych to neviděl tak, že automaticky data "v řiti" jsou veřejná, riziku úniku dat se dá vcelku dobře předejít tím, že si je před posláním do té veřejné služby zašifruješ, právě proto jsem zmiňoval třeba ten Restic (může to být i třeba Borg Backup nebo nějaké z mnoha komerčních řešení).
-
Díky za tip. Mají docela zajímavé tarify, co máte za variantu a jak to používáte?
Máte iDrive E2 https://www.idrive.com/s3-storage-e2/, co má S3 rozhraní (tzn. je nejspíš rovnou použitelný s Rclone, Resticem), nebo ten levnější, standardní Backup tarif, kde mají nějaký speciální nástroj pro Linux?
https://www.idrive.com/faq_linux_scripts#linux1
Mám tarif Mini (500 GB) a nepoužívám žádné sofistikované nástroje, jen webové rozhraní a aplikaci pro Windows. Vím, že mají nějaký CLI nástroj pro Linux, ale nezkoušel jsem.
-
Osobně mi přijde nejlepší řešení mít to pod kontrolou, stačí nějaké Raspberry Pi třeba u rodičů, tchána, kamaráda, dědy s Wireguardem, který se konektí k tobě domů a na to odlévat, levnější to ani být nemůže protože člověk platí jen elektřinu, Rpi a Disk a má to pod kontrolou a zároveň v jiné lokalitě. Je pak potřeba mít doma veřejnou IPv4 či IPv6.
Já už se cloudu snažím vzdalovat, stejně je to vždy podobné, na začátku udělají levné ceny, a jakmile vyrostou do maxima a zaháčkují si lidi, tak tvrdě zdraží - aneb Vedos v praxi, kde jsou časy výkonného hostingu s podporou za 25 Kč měsíčně, že. Myslím, že jiní poskytovatelé v tomto nebudou jiní. Samozřejmě že data se asi dají přenést, ale jako dřívější přítel cloudu, co jsem tomu věřil, jsem dospěl k závěru, že on-premise má svoje kouzlo.
-
Osobně mi přijde nejlepší řešení mít to pod kontrolou, stačí nějaké Raspberry Pi třeba u rodičů, tchána, kamaráda, dědy s Wireguardem, který se konektí k tobě domů a na to odlévat, levnější to ani být nemůže protože člověk platí jen elektřinu, Rpi a Disk a má to pod kontrolou a zároveň v jiné lokalitě. Je pak potřeba mít doma veřejnou IPv4 či IPv6.
Já už se cloudu snažím vzdalovat, stejně je to vždy podobné, na začátku udělají levné ceny, a jakmile vyrostou do maxima a zaháčkují si lidi, tak tvrdě zdraží - aneb Vedos v praxi, kde jsou časy výkonného hostingu s podporou za 25 Kč měsíčně, že. Myslím, že jiní poskytovatelé v tomto nebudou jiní. Samozřejmě že data se asi dají přenést, ale jako dřívější přítel cloudu, co jsem tomu věřil, jsem dospěl k závěru, že on-premise má svoje kouzlo.
souhlasim. a kdyz jde jen o zalohu, tak to staci zalohovat na disk, disk nekam schovat a za nejaky cas zase pripojit a zazalohovat.
-
Michal Šmucr1
Díky, asi zkusím to Uloz.to jako první. Hetzner je jako storage box zatím možná nejdražší, a že by tam šlo použít rsync to nevypadá. Rclone by mohlo být podobné (zatím zkušenosti nemám), a fungovat by mělo i na uloz.to. Na uloz.to lze úplně ze začátku vyzkoušet zdarma 25 GB (dřív bylo 50 GB) a pak přejít na těch 5 TB. 25 TB bych už sám nevyužil.
Jak vám někdo psal, Hetzner Storage Boxy podporují SCP (obecně SSH), rsync, já je používám s Borgem, dá se na ně připojit přes SSH přímo na shell, zrovna ty podporují kdeco. Proto jsou taky dražší než služby jako iDrive, kde jste typicky hrozně omezený buď nějakou aplikací (kterou vůbec nemáte pod kontrolou takže nepoužitelné) nebo v lepším případě prostě nějakým flat storage a'la rclone a v nejlepším případě Resticem, který má ale pro velké datové objemy taky trochu mouchy.
Obecně tedy záleží co přesně potřebujete. Já osobně trvám na inkrementálních zálohách, které jsou schopny narozdíl od nějakého plochého uložiště nejen deduplikovat roky zpět ale hlavně jsou odolné proti nedetekovatelnému poškození dat. Což se třeba se selhávající RAM nebo i když si člověk prostě jen něco nechtě smaže a nedojde mu to hned stane jedna dvě.
-
Je pak potřeba mít doma veřejnou IPv4 či IPv6.
Ach jo, to je pořád dokola. VPS s veřejnou IP pro výrobu VPN se přece dá pořídit za euro dvě měsíčně. Veřejná IP nutně potřeba není.
-
Jen bych to neviděl tak, že automaticky data "v řiti" jsou veřejná, riziku úniku dat se dá vcelku dobře předejít tím, že si je před posláním do té veřejné služby zašifruješ, právě proto jsem zmiňoval třeba ten Restic (může to být i třeba Borg Backup nebo nějaké z mnoha komerčních řešení).
Ne, neda. Je to presne exaktne stejny, jako kdybys na ulici hodil trezor a do nej zlaty cihly.
Je jen otazka casu, kdy ti to sifrovani bude prolomeno, at uz hrubnou silou, nebo kvuli nejakymu bugu jak v sifre tak pripadne ve tvy implementaci.
Sifrovani funguje presne stejne jako dvere a na nich zamek. Vykradeni domu/bytu to nijak nezabrani, ale muze to zlodeje pracnosti/casovou narocnosti momentalne odradit.
Ty mu ovsem davas cas zcela neomezeny.
Pokud chces mit data v bezpeci, musis je mit pod kontrolou, vcetne HW na kterym jsou.
---
Navic, vlastni HW je uz strednedobe vyrazne levnejsi. Nikdy nikdo mi nenabidl zadnou storage (a nic vic, zadne dalsi sluzby sem nechtel) za min nez dvojnasobek vlastniho HW. A to se pocitalo na 5 let. Realne ti na maly zalohovani HW prezije vpohode 10-15let.
Vzhledem k popisovanymu objemu dvoudiskova krabicka nekam na chatu/k babi na pudu/...
-
Díky za tip. Mají docela zajímavé tarify, co máte za variantu a jak to používáte?
Máte iDrive E2 https://www.idrive.com/s3-storage-e2/, co má S3 rozhraní (tzn. je nejspíš rovnou použitelný s Rclone, Resticem), nebo ten levnější, standardní Backup tarif, kde mají nějaký speciální nástroj pro Linux?
https://www.idrive.com/faq_linux_scripts#linux1
Mám tarif Mini (500 GB) a nepoužívám žádné sofistikované nástroje, jen webové rozhraní a aplikaci pro Windows. Vím, že mají nějaký CLI nástroj pro Linux, ale nezkoušel jsem.
Pro Linux je k dispozici konzolový rclone nebo grafická nadstavba Rclone Browser. Také se dá připojit přes FUSE.
-
JanBenicek
Desítky TB, to používáš ten 25 TB účet, nebo ještě vyšší ? Řešení uloz.to vypadá nejlíp.
Aktuálně ano, 25TB, ale zbývá málo a budu navyšovat (zbývá cca 2TB místa a to zaplním do dvou-tří měsíců). Volil jsem uložto kvůli jeho ceně. Pro osobní užití jsem chtěl zálohovat co nejlevněji vzhledem k tomu že to je třetí kopie (Hlavní data mám na serveru v DC, první zálohu mám doma na NASce a třetí umístění je uložto)
Jakmile jsem se dostal do stavu (zatím) nízkých desítek TB dat, tak jsem si ty náklady začal hlídat.
-
Pokud máš dvě lokality s použitelnou konektivitou, tak dlouhodobě levnější je do každé dát nejlevnější dvoudiskovou DiskStation od Synology nebo obdobu od QNAPu nebo Asustoru, a přistupovat k tomu buď VPNkou (pokud nemáš veřejnou stativkou adresu tak v kombinaci s nějakou DDNS, přičemž Synology a Mikrotik (a nejspíš i Asustor a QNAP) provozují vlastní a s jejich zařízením ji máš zadax) nebo přes jejich veřejnou bránu po registraci zařízení k přístupu z internetu (u Synology QuickConnect, u Asustoru EZconnect). Kapacitu si uděláš jakou potřebuješ, a máš to geograficky oddělené. Pokud chceš hodně šetřit, tak klidně oboje jednodiskové a k tomu externí disk, kam se to bude průběžně zálohovat.
Provozní kopii pak máš na svém pecku, dá se nastavit že se to zálohuje nebo synchronizuje při změně nebo ve fixních časech / intervalech, plus každé to zařízení se může vlastní zálohovací službou zálohovat na externí disk.
Výhodou je, že ti ta data neleží nikde ve čmoudu, a bezpečnost se odvíjí hlavně od toho, jak bezpečně si nastavíš přístupy do sítě a do NASů. Plus pokud potřebuješ obnovovat, na místní síti to máš o několik řádů rychlejší, než z cloudu.
Aha, takže se nám to trochu aktualizovalo. Z malých jednotek TB jsou najednou desítky. To je ale poněkud vyšší level, vždyť to "za levno" nejde ani rozumně přenášet mezi lokalitami.
-
Aha, takže se nám to trochu aktualizovalo. Z malých jednotek TB jsou najednou desítky. To je ale poněkud vyšší level, vždyť to "za levno" nejde ani rozumně přenášet mezi lokalitami.
Prosím neplést přispěvatele. APP co vidím nic neměnil na své specifikaci. Já jsem jen dával info o mém řešení většího množství dat.
Jinak jde to levně přenášet, jen si člověk počká, což je taky výhoda. Když by mi nějakou náhodou proběhl serverem ransomware nebo něco podobného tak se to jen rychle nepropíše do záloh v případě že bych byl nějakou dobu mimo a nestihl to začít řešit před synchronizací
-
Aha, takže se nám to trochu aktualizovalo. Z malých jednotek TB jsou najednou desítky. To je ale poněkud vyšší level, vždyť to "za levno" nejde ani rozumně přenášet mezi lokalitami.
Prosím neplést přispěvatele. APP co vidím nic neměnil na své specifikaci. Já jsem jen dával info o mém řešení většího množství dat.
Jinak jde to levně přenášet, jen si člověk počká, což je taky výhoda. Když by mi nějakou náhodou proběhl serverem ransomware nebo něco podobného tak se to jen rychle nepropíše do záloh v případě že bych byl nějakou dobu mimo a nestihl to začít řešit před synchronizací
-
Aha, takže se nám to trochu aktualizovalo. Z malých jednotek TB jsou najednou desítky. To je ale poněkud vyšší level, vždyť to "za levno" nejde ani rozumně přenášet mezi lokalitami.
Prosím neplést přispěvatele. APP co vidím nic neměnil na své specifikaci. Já jsem jen dával info o mém řešení většího množství dat.
Jinak jde to levně přenášet, jen si člověk počká, což je taky výhoda. Když by mi nějakou náhodou proběhl serverem ransomware nebo něco podobného tak se to jen rychle nepropíše do záloh v případě že bych byl nějakou dobu mimo a nestihl to začít řešit před synchronizací
Chybička se vloudila při rychlém klikání a omylem jsem začal citovat sám sebe a nevšiml si toho :)
-
Ještě tu nebyla zmínka o https://aws.amazon.com/s3/storage-classes/glacier/ (https://aws.amazon.com/s3/storage-classes/glacier/)
-
Z hlediska bezpečnosti to není nejlepší.
Záloha by měla být ideálně geograficky oddělená od provozních dat.
...
Ja sem zvedav, jak takovou zalohu budes 10 let obnovovat ...
To úmyslně špatně radíš ? Záloha na stejném místě je nesmysl
A dalsi odpornik ktery o tom vi prd.
Jakykoli zalohovani predevsim predpoklada analyzu rizik a jejich reseni. Jakykoli data nekde v riti jsou data verejna a verejne dostupna, coz je typicky radove horsi, nez o ta data prijit.
Pokud se bavime o soukromych datech, tak v pripade pozaru/povodne bude mit majitel dost jiny starosti nez par fotek v trapu.
Když už jsi někoho na foru tady označil odporníkem, který o tom ví prd, zajisté jsi myslel sám sebe. Tedy klesnout tak hluboko, abych někomu nadával, to nechci. Ale evidentně sám o tom moc nevíš.
V případě požáru-povodně mohou být data jen malou ástí celkového vlastníctví, ale i tak aspoň něco se podaří zachránit (u dat je ta prevence snadná). V určitých případech ale mohou právě data mít i větší hodnotu, než zbytek majetku. Nehledě na to, že v datech mohou být smlouvy, závěť, diplomy, přístupové údaje. Pokud cestuji a pracuji jako digitální nomád, mám jen batoh s sebou, ta data jsou to nejdůležitější. Prioritou je samozřejmě záchrana životů, ale pokud řeším ostatní, tak předpokládám že tento bod byl již vyřešen.
Data kdekoliv ve firemním úložišti, v cloudu, tam samozřejmě hrozí, že někdo získá k datům přístup. Což může být horší než ztráta dat, Ovšem to se dá řešit šifrováním. Vytvoří se šifrovaný kontejner nebo obraz HDD. A nejsou vidět ani jména souborů-složek. Není pravda, že je otázkou času, kdy šifrování bude prolomeno. Pokud tedy nebudeme uvažovat kvantové počítače. Prolomení šifry i s dnešní veškerou výpočetní silou na světě by trvalo déle než existence vesmíru (složitost roste exponenciálně). Srovnání s tím, že necháme někde na ulici trezor se zlatými cihlami, to neodpovídá realitě.
Nevím, proč by se vzdlená záloha měla stahovat 10 let. Při dnešních rychlostech je to otázka jednoho nebo více dní, pokud tedy někdo nejede na 2G datech.
-
greenlinuxguru
ogdru6jahad
Nejlepší a nejlevnější by skutečně bylo mít disk (stačí jeden externí) u kamaráda nebo příbuzných a občas tam zajet nahrát data, menší aktualizace se dají zvládnout po síti. Ale takovou možnost nemam, nechci to tu vypisovat ale rodina-příbuzenstvo-známí stojí za nic, není na ně spoleh a stejně ani by nepochopili, o co mi jde. Ne každý má dobré zázemí. Pokud by mi s tím pomohl i někdo tady od tud za rozumě vysokou odměnu, tak bych to také bral.
Marek Staněk
Právě že ta možnost mít někde bezpečně vlastní disk nebo stroj tu není, už kvůli bezpečnosti a i z konektivitou by byl problém. Desítky TB má jiný přispěvatel do dizkuze, který už používá právě ulož.to a ptal jsem se ho na zkušenosti. Já jsem na těch jednotkách TB, nebo jen ta nejdůležitější data by dala vyšší stovky GB. Pokud člověk nespěchá, tak ani na ty desítky TB nepotřebuje pro přenos nic drahého. 100 Mbit/s zvládne přenést něco přes 1 TB denně a to je u serverů běžné, už i 1 Gbit/s je poměrně častý. U přenosu vyšších desítek TB nebo stovek TB bych si naložil disky do kufru a koupil jízdenku na vlak.
To mi připoměnělo jeden astronomický celo-světový projekt, konkrétně Event Horizont Telescope. Tam se při zobrazení černé díry ve středu naší galaxie a M87 zapojily observatoře po celém světě a data se musela synchronizovat. Nevím kolik dat to nakonec bylo, jestli desítky-stovky-tisíce PB (level úplně jinde). Ale disky si vzali vědci do kufru a přepravili letadlem.
-
Kit
Amazon Glacier vypadá zajímavě, hlavně u záloh na které není potřeba častý přístup (jen párkrát do roka) je to za 1 TB hodně levné. Ale i jednou za rok aktualizace-nahrávání jak bude fungovat nevím (jestli nahrát vše znova nebo jen aktualizovat data). Vzhledem k tomu, že zálohuji občas větší objem dat, je to zajímavé řešení.
-
U toho Amazon Glacier si spočti kolik skutečně spotřebuješ peněz.
Navenek ty čísla vypadají super, ale záleží na způsobu zálohování atd.
Osobně si myslím, že je to jedno z nejlepších řešení na trhu, ale cena je také adekvátní.
To AWS si můžeš otestovat. Tak nějak reálně otestuj na nějakém vzorku dat. Pošli tam 10GB, pak udělej nějaké změny, znovu tam pošli ty změny atd. Spíše jde o to, zda tam pak budeš mít 10GB+přírustek (tzn. ale i při odmazání).
Jestli to chceš používat jako externí disk tak já používám ExpanDrive.
-
greenlinuxguru
ogdru6jahad
Nejlepší a nejlevnější by skutečně bylo mít disk (stačí jeden externí) u kamaráda nebo příbuzných a občas tam zajet nahrát data, menší aktualizace se dají zvládnout po síti. Ale takovou možnost nemam, nechci to tu vypisovat ale rodina-příbuzenstvo-známí stojí za nic, není na ně spoleh a stejně ani by nepochopili, o co mi jde. Ne každý má dobré zázemí. Pokud by mi s tím pomohl i někdo tady od tud za rozumě vysokou odměnu, tak bych to také bral.
K tomu slouží serverhousing. Poskytuje energii a konektivitu.
-
To AWS si můžeš otestovat. Tak nějak reálně otestuj na nějakém vzorku dat. Pošli tam 10GB, pak udělej nějaké změny, znovu tam pošli ty změny atd. Spíše jde o to, zda tam pak budeš mít 10GB+přírustek (tzn. ale i při odmazání).
Pokud to bude jeden soubor, tak to určitě bude dalších 10 GB. Schopnosti Gitu bych od toho nečekal. Je to Object Storage.
-
Jen bych to neviděl tak, že automaticky data "v řiti" jsou veřejná, riziku úniku dat se dá vcelku dobře předejít tím, že si je před posláním do té veřejné služby zašifruješ, právě proto jsem zmiňoval třeba ten Restic (může to být i třeba Borg Backup nebo nějaké z mnoha komerčních řešení).
Ne, neda. Je to presne exaktne stejny, jako kdybys na ulici hodil trezor a do nej zlaty cihly.
Je jen otazka casu, kdy ti to sifrovani bude prolomeno, at uz hrubnou silou, nebo kvuli nejakymu bugu jak v sifre tak pripadne ve tvy implementaci.
Sifrovani funguje presne stejne jako dvere a na nich zamek. Vykradeni domu/bytu to nijak nezabrani, ale muze to zlodeje pracnosti/casovou narocnosti momentalne odradit.
Ty mu ovsem davas cas zcela neomezeny.
Pokud chces mit data v bezpeci, musis je mit pod kontrolou, vcetne HW na kterym jsou.
---
Navic, vlastni HW je uz strednedobe vyrazne levnejsi. Nikdy nikdo mi nenabidl zadnou storage (a nic vic, zadne dalsi sluzby sem nechtel) za min nez dvojnasobek vlastniho HW. A to se pocitalo na 5 let. Realne ti na maly zalohovani HW prezije vpohode 10-15let.
Vzhledem k popisovanymu objemu dvoudiskova krabicka nekam na chatu/k babi na pudu/...
Ad absurdum. Proč by se měl člověk obtěžovat s lámáním klíče, když ho z tebe vymlátí maximálně za pár minut? Většina „prolomení“ jde na vrub nejslabšímu článku = uživateli. HW můžete mít pod kontrolou leda vlastního návrhu, výroby, firmware … což je mírně řečeno nereálné a zbytek už je ta samá víra, jako šifrování. Proti Lacovi ze zastavárny, reklamačnímu technikovi, bude odolný i ten Bitlocker, který zase tak odolný údajně není. Proti agenturám, vládní průmyslové špionáži už to chce vlastní a doufat, že jste neudělal někde nějakou botu a i tak to vezmou přes "člověka".
No přeji hodně štěstí s lámáním šifrovaného kontejneru s „G0N^{-L01T6qwH<FB%W!X!HX7fn~(yItM)e>%w5gq$W|#6BT|p&iS63*OetA%Ne:)_pXH*:Xu'p-$g(UkWj.&ur4!Reh'nZ*“ … no možná za pár tisíc let. Jistě, hodně stabilních qbitů a doufat, že to nebude odolné, protože pak budete v háji a musíte zacílit na uživatele.
-
Kit
Server Housing, co jsem se koukal tady v ČR, tak tam počítají s tím, že u nich budeš mít server o výkonu vyšším než noťas i stolní PC a 24-hod může být vytížen plus trvalé připojení a využívání linky 1 Gbit obvykle. Server musí navíc mít určitý tvar, jen tak něco si tam nedáš. Od toho se odvíjí i cena - výrazně vyšší než v případě cloudového úpložiště i vyšší než dedikované servery Kimsufi nebo i dedikáče od Hetzneru. Co vdím, tak cena bez hardware vyšší než pronájem dedikovaného serveru. A požadovaný výkon (energie, konektivita) mnoho-násobně vyšší než co potřebuji.
Na občasné zapojení externího disku plus noťasu nebo i RPI to nepujde.
Buldr
Samozřejmě, otevírání zámků bez klíče (bumping, picking) je reálně technicky možné a není to nic extra drahého a složitého. To i v případě trezoru, i když tam to asi bude umění. Navíc se kamkoliv dá dostat s dostatkem hrubé síly celkem snadno. Vnik do cizího je pochopitelně trestný.
To še se dá prolomit jakákoliv šifra hrubou silou, nebo zadními vrátky, je nesmysl. I když Bitlocker třeba ty vrátka zadní má. A že se objeví nějaký bug, matematická slabina, to hodně těžko. Možnost prolomení silných šifer je naprosto technicky a s dostupnoustí zdojů nereálná a dlouho tomu tak pode všeho bude. Je to něco nejspíše technicky a dostupnostně ještě těžší, než navštívit blízké hvězdy (mezi-hvězdný let).
-
Kit
Server Housing, co jsem se koukal tady v ČR, tak tam počítají s tím, že u nich budeš mít server o výkonu vyšším než noťas i stolní PC a 24-hod může být vytížen plus trvalé připojení a využívání linky 1 Gbit obvykle. Server musí navíc mít určitý tvar, jen tak něco si tam nedáš. Od toho se odvíjí i cena - výrazně vyšší než v případě cloudového úpložiště i vyšší než dedikované servery Kimsufi nebo i dedikáče od Hetzneru. Co vdím, tak cena bez hardware vyšší než pronájem dedikovaného serveru. A požadovaný výkon (energie, konektivita) mnoho-násobně vyšší než co potřebuji.
Na občasné zapojení externího disku plus noťasu nebo i RPI to nepujde.
Díval jsi se na coolhousing.net?
Mají i možnost housingu i malých zařízeni
-
Kit
Amazon Glacier vypadá zajímavě, hlavně u záloh na které není potřeba častý přístup (jen párkrát do roka) je to za 1 TB hodně levné. Ale i jednou za rok aktualizace-nahrávání jak bude fungovat nevím (jestli nahrát vše znova nebo jen aktualizovat data). Vzhledem k tomu, že zálohuji občas větší objem dat, je to zajímavé řešení.
Glacier jsem používal, než jsem zjistil jaké jsou egress fees v AWS. Konektivita do AWS je sice zdarma, takže není problém tam ty data dostat, ale konektivita z AWS je opravdu pálka. $0.09 per GB, takže 90 USD za 1TB dat z AWS.
-
V případě požáru-povodně mohou být data jen malou ástí celkového vlastníctví, ale i tak aspoň něco se podaří zachránit (u dat je ta prevence snadná). V určitých případech ale mohou právě data mít i větší hodnotu, než zbytek majetku. Nehledě na to, že v datech mohou být smlouvy, závěť, diplomy, ...
Jinak receno, jen potvrzujes, ze o tom vis lautr kulovy, a naprosto mimo tema a dotaz tu jen blabolis. Navic trpis zcela zjevne naprostym pravnim i technickym bezvedomim. Protoze zadna zavet v tech datech byt nemuze, a stejne tak ani zanej diplom a dalsi listiny. Ale to bys musel aspon treba tusit, co ZAKON rika o zaveti ze? Napriklad ...
A chtel bych videt jakykoli soukromy data s hodoutou 10M+ ... lol.
-
https://portal.gov.cz/sluzby-vs/autorizovana-konverze-papiroveho-dokumentu-do-elektronicke-podoby-S7025
-
Mimochodem soudruzi, presne takhle dopadnete, kdyz budete davat jakykoli data do libovolnyho cmoudu. Neni to zadna novinka, kamos prisel o ucet kvuli fotce mysi (ne zivy, ty pocitacovy), pribuznej proto, ze nikam nic nekopiroval, ale stejne mu to ukradlo z profilu fotky jeho vlastnich deti.
https://www.ghacks.net/2025/06/17/story-of-microsoft-locking-a-user-account-gives-a-prime-example-of-what-you-should-never-do/
A neni to zdaleka jen o MS. Plati zcela vseobecne uplne vsude.
-
Prosím neplést přispěvatele. APP co vidím nic neměnil na své specifikaci. Já jsem jen dával info o mém řešení většího množství dat.
Jsem si toho po chvíli všimnul, ale už mi vypršelo okno pro editaci :-)
-
Mimochodem soudruzi, presne takhle dopadnete, kdyz budete davat jakykoli data do libovolnyho cmoudu.
...
co tak sa naucit citat s porozumenim?
predmetom diskusie je sifrovana zaloha pre pripad fatalneho vypadku doma.
nezmysly ako pisete je oblubeny sport auditorov/bezpecakov a podobnych nestastnikov. Zatial sa ziaden nezmohol na reakciu ked som sa ich spytal, co si predstavuju, ze sa udeje, ked z nejakou malou sancou skape tercialna zaloha.
-
Nejlepší a nejlevnější by skutečně bylo mít disk (stačí jeden externí) u kamaráda nebo příbuzných a občas tam zajet nahrát data, menší aktualizace se dají zvládnout po síti. Ale takovou možnost nemam, nechci to tu vypisovat ale rodina-(...)
kolik dat to nakonec bylo, jestli desítky-stovky-tisíce PB (level úplně jinde). Ale disky si vzali vědci do kufru a přepravili letadlem.
Jasně, to se všechno odvíjí od toho, kolik toho potřebuješ rychle, a co může počkat.
O tom zobrazování BH jsem viděl dokument, bylo to nějak kolem 100PB surových dat. Co si pamatuju, tak to sbírali z observatoří různě po světě, nejzajímavější byla Antarktida, kde naskládali asi 300 disků do nárazuodolného (v kategorii z 5m na beton) a plynotěsného kufru (a další tuším 2 kopie do dalších) a odvezli to C-130kou Herculesem přes Austrálii. A druhá sada letěla přes Chile.
Pro Tebe by mohlo být řešením data, která potřebuješ rychle, házet do lokálního NASu a z něj přes např CloudSync zálohovat online (umí to snad všechno co existuje, takhle z hlavy nad rámec klasiky One/GoogleDrive, Dropbox, Box, Elephant, Amazon S3, OpenStack, Backblaze, Rackspace, a hromadu dalších), a ta na která nespěcháš dávat na dvě sady disků, z nichž jednu po dokončení zálohy hodíš třeba do bankovní safesové schránky a tam ležící si přineseš. Samozřejmě by záleželo, jestli máš v nějakém rozumném dosahu někoho, kdo to poskytuje; otázka je kde za kolik. Třeba tady v praze 10cm vysoká schránka formátu A4 stojí v Komečce už 4,5 tisíce CZK ročně, a pokud u nich máš aktivně využívaný účet, tak máš slevu na asi 3500,-, a přístupné je to v pracovní dny od osmi do pěti odpoledne. Další možnost by byla, pokud by tě někdo nechal si k němu dát trezor.
-
Mimochodem soudruzi, presne takhle dopadnete, kdyz budete davat jakykoli data do libovolnyho cmoudu. Neni to zadna (...)
A neni to zdaleka jen o MS. Plati zcela vseobecne uplne vsude.
Ono je sice v podstatě jistý, že to není CELÁ pravda, prakticky s jistotou proto, že tam bylo něco čeho si on sám ani nebyl vědom (typicky nesmazanej dickpic nebo u fotek vlastních dětí velmi snadno uniknuvší i jen část bradavky zabírající pár pixelů, kterou stroj vyhodnotil jako dětský porno; na to stačí jedna fotka z koupání batolat v bazénku na zahradě), ale to na podstatě vůbec nic nemění: data v cloudu jsou data velmi snadno v čoudu.
Je to fajn pro synchronizaci, ale pokud nemám aspoň jednu kopii pod kontrolou, koleduju si o to o všechna lusknutím prstu přijít.
-
Mimochodem soudruzi, presne takhle dopadnete, kdyz budete davat jakykoli data do libovolnyho cmoudu.
...
co tak sa naucit citat s porozumenim?
predmetom diskusie je sifrovana zaloha pre pripad fatalneho vypadku doma.
nezmysly ako pisete je oblubeny sport auditorov/bezpecakov a podobnych nestastnikov. Zatial sa ziaden nezmohol na reakciu ked som sa ich spytal, co si predstavuju, ze sa udeje, ked z nejakou malou sancou skape tercialna zaloha.
Ale to je rozvaha a analýza rizik (ve smyslu ne pravděpodobnosti, nýbrž hrozící škody), kterou si musí udělat vlastník dat, a mělo by mu z ní vyjít, kolik má smysl utratit za opatření, která zajístí že to nenastane.
Samozřejmě že se může stát, že udělá přiměřená opatření, ale i přesto o naprosto nepostradatelná data přijde. Jenže v takové chvíli asi budeme mít úplně všichni úplně jiné starosti; zejména abychom se koordinovaně vypařili do obláčku plynů a užili si těch posledních pár sekund hrůzy a bolesti, než zhasnou všechna světla.
-
Pokud se bavime o soukromych datech, tak v pripade pozaru/povodne bude mit majitel dost jiny starosti nez par fotek v trapu.
Za 20 let po požáru/povodni ten pohled bude možná opačný. Ale pokud nemáte rodinu a 20 let vám připadá jako věčnost, tak to možná ještě nebude vnímat stejně.
-
Udržovat v běhu cokoli digitálního je i pro IT pozitivního člověka peklo. I u toho cloudu se musí udržovat platná karta, případně to prodlužovat, souhlasit s novými TOS, hlídat za neunikla hesla či to někdo nehacknul a podobně. Samo-domo řešení vyžaduje taky péči a řešení problémů.
Jako nejlepší se jeví buď fotky vytisknout v několika kopiích a ty uložit na různých místech, jebo je pravidelně ukládat na nějaké médium s dlouhou životností. To se ale asi blbě automatizuje, leda mít někde nějaký vypalovací stroj, ze kterého to rovnou "padá na hromadu".
Pak je potřeba řešit, jestli člověk potřebuje zálohovat nebo spíše archivovat. Fotky je dobré třeba jednou za rok projít, a se slzou v oku vybrat jen ty hodnotné a u těch řešit uchování. Za rok člověk vyprodukuje tolik dat, že není únosné to vše archivovat pro budoucí generaci.
Asi má smysl archivovat fotky zachycující nějaké události, zatímco fotky kdejakého vrabce a kopretinky můžeme smazat.
-
Za mě doporučuji AWS S3 / deep archive. Používám to na vlastní zálohy (cca 250G) už cca 2 roky, od doby co jsem se naučil dělat s AWS v práci. Je to absurdně levné (momentálně platím měsíčně 0.97 kč), nejspíš asi nejlevnější co se dá sehnat. Commandline utility na to jsou přímo od AWS a S3 je protokol který dneska podporuje kde co.
Za sebe můžu říct, že jsem s tím maximálně spokojený, ale vím přesně co dělám. Je nutné taky říct, že to má to svoje specifika, hlavně co se týče poplatků:
1. Jak už někdo zmiňoval, cena za egress.
To znamená že platíš za stažení dat. Ta cena se liší podle regionu. Řádově to bude u jednotek terabajtů něco jako dva tisíce ($0.09 per GB 92$ -> 1 984,26 kč).
Osobně je mi tohle jedno, protože používám tiery záloh, a prvně to mám samozřejmě na PC, pak na externím disku, pak na rPI microserveru, a až pak v S3. A pokud by došlo k takové katastrofě, že přijdu o předchozí tiery, tak ty peníze za to prostě dám. Je to pro mě pojistka kde platím 12kč ročně a kdyby náhodou došlo k problémům, tak zaplatím pár tisíc navíc.
2. Chce si to správně nakonfigurovat bucket.
Musíš si sám nastavit policy že to padá do deep archive po dni (nebo okamžitě), a taky mít dostatečně random jméno, aby ti na to nikdo neposílal GET requesty, které sice zfailují, ale stejně za ně platíš (How an empty S3 bucket can make your AWS bill explode (https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1)). Podle dokumentace za to sice amazon přestal chtít peníze, ale nespoléhal bych na to: Amazon S3 will no longer charge for several HTTP error codes (https://aws.amazon.com/about-aws/whats-new/2024/05/amazon-s3-no-charge-http-error-codes/).
Samozřejmě taky použij defaultní bucket policy že k tomu nemá přístup nikdo z venku. Boti to jinak najdou a nedoplatíš se.
Taky si nastav anomaly detection policy na costy. Tzn že ti přijde email když se najednou utratí víc než je normální. Kdybys tam třeba něco nechal válet v jiném tieru, nebo použil špatnou policy, nebo ti z toho něco tahalo data, nebo tak něco. Dobré o tom okamžitě vědět.
3. Nesyp tam hodně malých souborů.
Ideální je velká zašifrovaná záloha + větší delta soubory jednou za čas. U S3 platíš i za počty souborů a pokud bys tam nahrával spoustu malých, tak se to může prodražit.
4. Když to budeš chtít obnovit, tak rozhodně použij bulk restore.
Deep archive znamená že to cpou někam na sekundární storage a není k tomu normálně možný přístup okamžitě. Před tím než to můžeš stáhnout to musíš přesunout z deep archive zpět na standardní S3 tier. Bulk restore stojí nic, ostatní můžou stát ledvinu. Liší se to podle toho jak dlouho bude trvat než to obnoví. Bulk restore je nejpomalejší, ale zadarmo.
5. Nepoužívej EC2 ani nic dalšího.
Je to sice super co do featur, ale stojí to ledvinu (nebo dvě) a je velmi lehké utratit spoustu peněz.
6. Není to tak složité jak to vypadá.
Možná jsem to popsal jako hrozně překomplikované, reálně to naklikáš za pět minut a funguje to. Taky ta terminologie je trochu matoucí, ale reálně je to jednoduché:
- Bucket: Jakási složka v S3. Jména musí být globálně unikátní, vyber si něco dost náhodného. Třeba moje-nejlepsi-zaloha-28271190347.
- Key / object: Cesty v těch bucketech. Reálně může být key libovolný string, v praxi se typicky používají cesty jako v té složce. Třeba zalohy_pc/muj_dump.tar.zstd.gpg. Object jsou pak ty data samotná. Když to budeš chtít obnovit, tak prvně musíš provést restore z Deep archive na standard tier, k tomu vybereš ten bulk restore, počkáš den a můžeš to stáhnout.
-
No, vytisknout ... ty tisky degradují úplně stejně jako jakékoli jiné médium, kvalitu na papíře mají odvislou od kvality tiskárny a papíru, a akorát zabírají spoustu místa a hromada papíru znamená riziko nejen požární, ale i biologické (plísně, škůdci, prach), nemluvě o tom že je to težké jako prase a zabírá to spoustu místa.
Lepší je to projít a nemilosrdně zmasakrovat všechny tzv výcvaky.
Archivaci osobně dělám na DVD-RAM a DVD-RW média, a kritických dat mám doslova jednotky GB. Fotek je pár desítek GB, a to jsem důkladnou probírku pořád ještě ani neudělal. "Originály" jsou v telefonu, synchronní kopie v NASu, z něj průběžná záloha na externí disk a druhá záloha aktualizovaná cca kvartálně na dalším disku v separátní lokalitě.
Kdybych to chtěl jó důkladně a měl v druhé lokalitě lepší konektivitu, dám tam druhé NASko a zálohy pojedou po drátě a ještě se budou každou noc házet na externí disk.
Pokud katastrofa zasáhne dvě lokality vzdálené vzduchem 100+km, budu mít úplně jiné problémy než prohlížení fotek.
-
Za mě doporučuji AWS S3 / deep archive. Používám to na vlastní zálohy (cca 250G) už cca 2 roky, od doby co jsem se naučil dělat s AWS v práci. Je to absurdně levné (momentálně platím měsíčně 0.97 kč), nejspíš asi nejlevnější co se dá sehnat. Commandline utility na to jsou přímo od AWS a S3 je protokol který dneska podporuje kde co.
Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?
Já když jsem to zjišťoval přes AWS kalkulačky nebo ceníky, tak mi to vždycky u Glacier Deep házelo základní cenu 0,0018 USD za GB na měsíc + requesty (nepočítám teď retreival). To bylo v EU datacentru ve Frankfurtu, v US datacentru pak půlku.
Takže třeba pro 20TB (řekněme malý firemní NAS) to vycházelo ve Frankfurtu na 36 USD/měsíc, u Hetzneru 46 USD/měsíc - tzn. za rok 120 USD navrch. Což je samozřejmě dražší, ale nemusí se řešit žádné upload requesty, počty souborů - dostanu se na to snadno kdykoliv souborově přes x protokolů.
Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.
Takže mě ani u AWS Glacier DA nenapadlo rozpracovávat technické řešení, nepřišlo mi to vlastně vůbec cenově zajímavé. O.K. můžou tam být nějaké další garance (pásky, víc lokací), ale když jde o třeba třetí kopii dat, nemusí to mít zásadní význam.
Ale samozřejmě se můžu plést a jen jsem to blbě pochopil, nebo něco nenašel (což by nebylo poprvé :) )
-
Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?
Hele tak jsem kecal, za to se omlouvám. Když jsem to psal, tak jsem dohledával starou fakturu v emailu na mobilu a tam jsem měl nějakou slevu první rok (+ jsem tam měl 250G, část jsem potom smazal). Faktura z minulého měsíce je na 5.41 kč za 204 GB dat (ještě jsem to kontroloval v bankovnictví a potvrzeno). Datacentrum mam Stockholm.
-
Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.
Ehm. Nevím jak moc si pouštět veřejně hubu na špacír. V uložto jsem skoro rok pracoval v CDN. Už tam nedělám dlouho, ale když jsem byl před rokem naposledy na srazu s bývalými kolegy, tak říkali že všichni dostali výpověď, že majitele přestalo bavit nechat se pořád tahat po soudech, takže to balí. Chvíli ještě nechají běžet servery, aby se vrátily náklady a až klekne HW tak pak asi půjdou dál. Když teď koukám na linkedin, tak někteří kolegové to tam pořád mají psané (i když většina je už pryč), tak to asi nezabalili tak úplně jak to tenkrát vypadalo, ale jako dlouhodobé (rok+) úložiště na zálohy bych to asi nepoužíval. Samozřejmě tohle jsou takové drby a rozhodně neříkám že něco nějak je, jen co jsem slyšel.
-
Pak je potřeba řešit, jestli člověk potřebuje zálohovat nebo spíše archivovat. Fotky je dobré třeba jednou za rok projít, a se slzou v oku vybrat jen ty hodnotné a u těch řešit uchování. Za rok člověk vyprodukuje tolik dat, že není únosné to vše archivovat pro budoucí generaci.
I kdybych tím ročně strávil jenom dvě hodiny, storage je tak zhruba stejně drahý, jako čas, který strávím tím procházením. A že by to dvě hodiny nebyly. A v běhu zrovna tohle udržovat nijak náročné není. To uložiště když jednou je, tak je, TOS se mohou měnit ale data v něm mám stejně šifrovaná a stejně mám zálohu i lokální, pětiřádkový zálohovací skript jsem jednou napsal a od té doby existuje. Přičemž výhled je, že zatímco můj čas bude nejspíš dál mírně zdražovat, ceny toho úložiště budou dál klesat.
Shrnuto: dělat každoročně nějaký velký úklid moc efektivní není.
-
Pochopil jsem to blbě, nebo vám to fakt vychází na 0.97 Kč za 250 GB na měsíc?
Hele tak jsem kecal, za to se omlouvám. Když jsem to psal, tak jsem dohledával starou fakturu v emailu na mobilu a tam jsem měl nějakou slevu první rok (+ jsem tam měl 250G, část jsem potom smazal). Faktura z minulého měsíce je na 5.41 kč za 204 GB dat (ještě jsem to kontroloval v bankovnictví a potvrzeno). Datacentrum mam Stockholm.
Super a díky za objasnění. Právě že mi to pořád nevycházelo. Tohle už víceméně ano s cenou pro ta levnější datacentra. Při té příležitosti jsem zjistil, že ten původně vybraný Frankfurt je nejdražší, většina ostatních včetně Stockholmu a Irska má cenu jako ve US - tzn. půlka. Nenapadlo mě to předtím proklikat.
Při té mé ukázkové velikosti 20 TB by to tedy vycházelo 18 USD měsíčně bez requestů.
Což už pro určitá použití zajímavé určitě je. Akorát to vypadá, že si ty charakteristiky Glacier Deep Archive musí sednout s konkrétním použitím, což jste vlastně i zmiňoval. Poměrně dost zálohovacích/archivačních nástrojů, co podporuje S3, dokáže fungovat přímo s dražším Glacier Flex-Retrieval, ale ne s Deep Archive.
Takže bude opravdu záležet na co to konkrétně má člověk vymyšlené, protože to logicky není tak univerzální jako obecná on-line S3 storage, ale fakt spíš další tier a ještě si musí dát bacha na requesty, počty souborů atp. (a třeba si ty transfery opravdu ošetří sám).
Kdybych pak chtěl nutně nejlevnější on-line úložiště (s okamžitým přístupem k souborům), bude to asi ulož.to (byť samozřejmě s určitými omezeními). To u 25TB varianty vychází dokonce na 16 USD za měsíc.
Ehm. Nevím jak moc si pouštět veřejně hubu na špacír. V uložto jsem skoro rok pracoval v CDN. Už tam nedělám dlouho, ale když jsem byl před rokem naposledy na srazu s bývalými kolegy, tak říkali že všichni dostali výpověď, že majitele přestalo bavit nechat se pořád tahat po soudech, takže to balí. Chvíli ještě nechají běžet servery, aby se vrátily náklady a až klekne HW tak pak asi půjdou dál. Když teď koukám na linkedin, tak někteří kolegové to tam pořád mají psané (i když většina je už pryč), tak to asi nezabalili tak úplně jak to tenkrát vypadalo, ale jako dlouhodobé (rok+) úložiště na zálohy bych to asi nepoužíval. Samozřejmě tohle jsou takové drby a rozhodně neříkám že něco nějak je, jen co jsem slyšel.
Díky, já samozřejmě nemám insider informace, ale tak jsem si to víceméně také myslel. Že je teď cílem hlavně amortizovat HW, který byl pořízený ještě v době, kdy to bylo převážně veřejné úložiště na sdílení a spousta lidí si kupovala kredity. Takže nasadili poměrně agresivní ceny na osobní bulk storage, aby nalákali uživatele a po nějaké době třeba zhodnotí, jak se to vyvíjí.
Já jsem někde používal právě zmíněný Hetzner, protože mi to přišlo jako rozumné řešení pro danou situaci s relativně velkou flexibilitou a dobrými referencemi (+ tam mám i virtuály). O ulož.to jsem chvíli uvažoval, ale trochu jsem se bál, že to bude trochu punk (ne úplně transparentní rate limiting, jediná automatizovatelná aplikace na server byl Rclone s komunitním modulem, případně si napsat něco svého s jejich API). Ale naprosto beru, že pokud si to někdo vyzkouší jako funkční, rozchodí co potřebuje (např. nezálohuje napřímo, ale jen tam synchronizuje existující zálohu v další kopii) a chce co nejnižší cenu v rámci těch tarifů, tak to může dávat smysl.
-
Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?
-
Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?
Na samotné klíče je podle mého optimální třeba ten AWS Glacier. Test obnovitelnosti nedělám, ale ten klíč potřebuju k tomu, aby vůbec Borg mohl spustit zálohování takže prostě doufám, že je schopný vnitřní integritu repozitáře ošetřit a data u Hetznera nelikvidují.
-
Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?
Vyloženě zálohování klíčů, tím že jsou malé, není problém. Může být x různých způsobů od všemožných lokálních šifrovaných klíčenek, centrálních šifrovaných úložišť (vault store) až po různé USB disky atp. Záleží také kolik lidí k tomu má mít přístup a jak jsou nastavená pravidla, pokud je to někde ve firmě atp.
Co může být větší výzva, je jejich zabezpečení na samotném serveru při automatizovaném použití. Tam už záleží, co všechno člověk potřebuje řešit a jak moc to může být komplexní.
Od základního a nejjednoduššího se může začít tím, aby se někde neválely v plaintextu přístupné pro každého, neposílaly se rovnou přes parametry příkazů atp. Pokud zálohování běží přímo na tom serveru, kde jsou data, tak udělat speciálního lokálního uživatele na zálohování, který nemá přihlášení zvenku přes standardní protokoly a zajistit, že ty soubory s citlivými daty jsou čitelné jen pro něj (a roota).
V dalším kroku jde udělat to, že citlivé věci nejsou uložené nikde v konfiguračních souborech/profilech, ale volá se jiný příkaz, co to předá přes stdout. Hodně nástrojů s tím počítá a má ve volbách možnost nadefinovat místo xxx_password="heslo" něco jako xxx_password_command="$HOME/bin/gimme-password.sh".
Obecně se to tímhle způsobem pak přímo nebo přes wrappery nechá propojit s externími nástroji, které ta hesla/klíče získávají z nějaké šifrované podoby. A zas to může být od jednodušších věcí typu lokální gpg (i třeba s běžícím agentem, co to otevře po startu serveru interaktivním zadání hesla), systémových klíčenek až přes ty sofistikované vault servery. U nich pak můžou být také speciální agenty, co můžou autentikovat aplikaci, řešit platnosti tokenů atp.
U těch testů pak zas hodně záleží na konkrétním používání/technologii, důležitosti těch dat a také samozřejmě celkové velikosti. V implementační fázi samozřejmě testuji, pak to fakt záleží na kontextu. Někdy jen namátkové selektivní restory, u menších repozitářů i komplet jednou za čas. Mnoho zálohovacích nástrojů má i vestavěné kontroly. Třeba Restic umí otestovat buď jen strukturu repozitáře nebo i integritu dat proti checksumům, tam dokonce i možnost ověřit jejich část, aby se nemusela přenášet všechna data - např. otestuje si náhodných 10% dat.
Někdy to může být problém, viz. třeba ten zmíněný Deep Archive (nebo obecně u disaster recovery služeb), kdy se za každý restore platí extra a příp. tam ještě ověřitelné checksumy jen pro celé soubory (takže třeba u 100G dumpů, videí, blokových image souborů je to fakt nadlouho).
-
Když už v těch cloudech všechno šifrujete, jak zálohujete samotné šifrovací klíče? Provádíte nějaké pravidelné testy obnovitelnosti dat?
Používám GPG s klíčem v hardwarovém tokenu Yubikey, který nosím na klíčích, kdysi jsem o tom psal články tady: https://www.abclinuxu.cz/clanky/yubikey.-co-to-je-a-co-to-umi-1 (má to tři díly, GPG je popsané v druhých dvou). K použití tokenu k dešifrování je třeba heslo. Samotný klíč mam pak ještě zálohovaný jinde a šifrovaný jinak (symetricky).
Na tomhle řešení je hezké, že můžu šifrovat odkudkoliv, protože mi k tomu stačí veřejný klíč. Hypoteticky třeba když si půjčím notebook od někoho, tak můžu importovat veřejný klíč, zašifrovat data pro sebe a poslat si je. Praktické použití je spíš třeba na VPS, kde kdyby to někdo hacknul, tak se nedostane ke starší záloze, nebo k logům.
Samozřejmě mnohokrát jsem zkoušel jestli můžu ty data taky rozšifrovat, například když jsem potřeboval obnovit zálohu protože jsem smazal omylem nějaké soubory, tak data stáhnul z externího disku (je to externí => je to šifrované), rozšifroval, rozbalil a našel.
-
Mimochodem kdysi jsem řešil použití Optaru k zálohování dat na papír: https://www.abclinuxu.cz/blog/bystroushaak/2016/4/optar
Tldr; moc se to neosvedčilo.
-
V případě požáru-povodně mohou být data jen malou ástí celkového vlastníctví, ale i tak aspoň něco se podaří zachránit (u dat je ta prevence snadná). V určitých případech ale mohou právě data mít i větší hodnotu, než zbytek majetku. Nehledě na to, že v datech mohou být smlouvy, závěť, diplomy, ...
Jinak receno, jen potvrzujes, ze o tom vis lautr kulovy, a naprosto mimo tema a dotaz tu jen blabolis. Navic trpis zcela zjevne naprostym pravnim i technickym bezvedomim. Protoze zadna zavet v tech datech byt nemuze, a stejne tak ani zanej diplom a dalsi listiny. Ale to bys musel aspon treba tusit, co ZAKON rika o zaveti ze? Napriklad ...
A chtel bych videt jakykoli soukromy data s hodoutou 10M+ ... lol.
Ty jsi s prominutím fakt magor. Co se týče té závěti, OK, ta primárně není v mých datech, ale ukládá se obecně v centrálním registru u notáře (jel-li u notáře sepsaná). Naskenovaný může být opis závěti. V případě smrti stejně nebude nikdo vědět moje heslo do PC. Diplom je buď papírový, nebo má o absolventech data samotná universita. Diplom v elektronické podobně (nejspiše naskenovaný, s nějakou ochranou známkou) je také platný. Samotný naskenovaný diplom nemá ochranné prvky proti padělání, tudíž není úplně platný. Ale v mém případě zatím vždy stačilo ukázat poslat kopii diplomu jak ze školy tak z absolvování nějakého kurzu. Pokud by mě někdo nařkl z podvodu, dalo by se to ověřit.
Ano data s hodnotou nad 10 milionů skutečně existují (i nad 10 milionů Eur). Tato data mohou být i soukromá celkem snadno. Spíše je mi záhadou, jak jsi došel k tomu, že vlastnictví mimo počítač a doma bude v hodnotě 10 MKč. Takovou hodnotu má pouze nemovitost, nebo nějaké zběratelské, umělecké předměty. A to fakt moc lidí nevlastní (ani tu nemovitost). Naopak u velké části populace je celková hodnota vlastnictví (mimo peněž na účtu a mimo dat) pod 1 M, často i pod 100 k. Rozsah soukromého vlastnictví mimo dat a peněz na účtu, mimo vozidel, může být i jen 10 k (a tím nemyslím bezdomovce).
-
JanBenicek
Na coolhousing.net jsem se koukal až dneska, dříve jsem o nich nevěděl. V případě malých zařízení je tam limit průměrné spotřeby 50 W, což samozřejmě bohatě stačí (v případě pouhých záloh bude ta průměrná spotřeba i pod 5 W). Průměrná vytíženost sítě sotva 10 Mbit/s. Ale i tak je ta cena docela vysoko, přes 20 Eur za měsíc. Což je více než dedikovaný server na Kimsufi nebo těch 25 TB na uloz.to.
greenlinuxguru
Ten Amazon Glacier nakonec tolik použítelný nevypadá. Účtovat si za stáhnutí 1 TB 2000 Kč je docela síla. To už jsou často levnější mobilní data. Jak by pak byly účtovány jednotlivé změny v dateh, toť otázka. Ale asi to nakonec moc dobře nevyjde.
-
Marek Staněk
Do astronomie dělám a vím o co šlo. Byl to obrovský projekt. Šlo o to, mít teleskop s co největším průměrem, aby bylo rozlšení úhlové co nejvyšší (úhlové rozlišení lineárně roste s velikostí teleskopu). Tak to teleskop s průměrem jako Zeměkoule ? To jde takovým trikem. Více menších (o monho řádů) teleskopů se zapojí do pozorování a kompletně se zaznamenají data z příjmu radiových vln. Pak se ty data na jednom místě ze všech teleskopů synchronizují dohromady, jako by šlo o teleskop s průměrem Země. Musí se zaznamenat kompletní průběh radiových vln a dat je hodně. 100 PB dat, to by přenos i s plně vytíženou linkou 10 Gbit/s trval 100 dní. Nevím, jestli těch 100 PB dat je ze všech observatoří dohromady, nebo z jedné. Z Antarktidy taková přenosová kapacita nebude a i mezi kontinenty by to byl na síť záhul, i když ne takový. Ta přenosová kapacita tady už dneska je. Ale asi by ten přenos po síti byl dražší, než přeprava letadlem.
Ta možnost disku do schránky-trezoru v bance by tu byla. Zase to není tak drahé. Ale jakmile budu někde mimo ČR a podělá se mi noťas, tak by to nešlo využít. Problém je právě s tím připojením. Disk se dá samozřejmě šifrovat a tak hrozba, že by se disk dostal do nepovolaných rukou, nevadí.
-
Ten Amazon Glacier nakonec tolik použítelný nevypadá. Účtovat si za stáhnutí 1 TB 2000 Kč je docela síla. To už jsou často levnější mobilní data. Jak by pak byly účtovány jednotlivé změny v dateh, toť otázka. Ale asi to nakonec moc dobře nevyjde.
Chce si to prostě dopředu spočítat, není to úplně ideální, ale jako storage je to fakt levné.
Jinak samozřejmě tohle se týká hlavně použití na zálohy. Typické použití je že máš compute taky v rámci datacentra, kde tě ty přenosy nic nestojí. Ono i ty zálohy jde afaik ohackovat, třeba pustit nejlevnější t2.nano (nebo něco s víc EBS) EC2 instanci, stáhnout si soubor z S3 tam, vybalit si z něj co mě zajímá a stáhnout jen to. Plus tam máš 100G transferu měsíčně zdarma. Lidi na redditu radili Lightsail (https://aws.amazon.com/lightsail/pricing/), kde máš terabajty přenosu v ceně. Ale je to oser, to jo. Za mě je tohle fakt jen pojistka, kde počítám s tím že ty data z toho normálně nemám důvod stahovat, a kdyby na to náhodou došlo, tak to prostě zaplatím.
-
Pro Amazon Glacier musíš chápat zálohovací principy.
Zjednodušeně a dá se o tom všem polemizovat, je to tak že:
1. máš RAID na serveru
2. máš zálohu na externím disku, či spíše discích a je jedno jestli se o to stará Veeam či něco jiného, a/nebo LTO
3. a teprve zde nastupuje Amazon Glacier, pakliže ještě před tím nemáš něco podobné vlastního např. od Veeam
ev. za 4. máš extrémně důležitá data která pak zálohuješ ještě na DVD/BR
Takže skutečné využití Amazon Glacier je v tom, že když přilétne z vesmíru meteorit který rozmlátí celou fabriku vč. lokálních záloh, a sám jsi porušil zálohovací pravidlo o tom, že mají být nezapojené externí disky (např. měsíční zálohy) mimo objekt a úplně v jiné lokaci, tak toto ti má pomoci.
Ev. ten Amazon Glacier lze nakonfigurovat (object) na "neměnnost dat" kdy např. zálohuješ 1TB a pak přírůstky/úbytky, a pak přijde ransomware a opět proběhne záloha nových=zašifrovaných 1TB dat. Ty pak platíš za 2TB+. Síla je právě v tom, že máš jistotu že data jsou k nějakému datumu (retenci) stále k dispozici, i když máš všechny lokální data a zálohy zašifrované.
Amazon Glacier je pouze poslední jistota kterou nechceš nikdy využívat směrem k tobě. Ale když už k tomu to dojde, tak chceš aby jsi měl za jakoukoliv (dle smlouvy) cenu data k dispozici. Tam je spíše problém s rychlostí obnovení.
-
Udržovat v běhu cokoli digitálního je i pro IT pozitivního člověka peklo. I u toho cloudu se musí udržovat platná karta, případně to prodlužovat, souhlasit s novými TOS, hlídat za neunikla hesla či to někdo nehacknul a podobně. Samo-domo řešení vyžaduje taky péči a řešení problémů.
Jako nejlepší se jeví buď fotky vytisknout v několika kopiích a ty uložit na různých místech, jebo je pravidelně ukládat na nějaké médium s dlouhou životností. To se ale asi blbě automatizuje, leda mít někde nějaký vypalovací stroj, ze kterého to rovnou "padá na hromadu".
Pak je potřeba řešit, jestli člověk potřebuje zálohovat nebo spíše archivovat. Fotky je dobré třeba jednou za rok projít, a se slzou v oku vybrat jen ty hodnotné a u těch řešit uchování. Za rok člověk vyprodukuje tolik dat, že není únosné to vše archivovat pro budoucí generaci.
Asi má smysl archivovat fotky zachycující nějaké události, zatímco fotky kdejakého vrabce a kopretinky můžeme smazat.
Vytisknout ? To snad ne. Fotka rodinná, z akce, z výletu, nebo z jakékoliv běžné činnosti zabírá do 3 MB (většinou 1-2 MB, nebo i pod 1 MB). U BFU fotek nemá cenu uchovávat fotky ve velkém rozlišení, neboť o co tam jde, to tam vidět je už u 1 MB fotky celkem dobře a přibližovat detaily nemá cenu. Běžně člověk na cestách za celá léta může pořídit desetitisíce fotek, což jsou desítky GB. Data velikosti jednotek TB by znamenala milion(y) fotek.
V případě tisíců-desetitisíců fotek - Cena barevného tisku, doba tisku, spotřeba papíru, hmotnost a velikost vytištěných dat, možnost požkození. To asi nemusíme rozebírat. Kolik stojí tisk byť jedné A4 ? To by pak stálo snad 1 M. Přitom desetitisíce fotek jsou desítky GB. Nemluvě o nemožnosti použití-editace a obtížnosti hledání i prohlížení. Navrhovat tisk místo zálohy, je nesmysl pochopitelně.
Procházení desetitisíců fotek netrvá pár hodin, ale dní nebo rovnou týdnů. A to jde jen o desítky GB dat.
Něco jiného je vypalování na optická Blue Ray media. Tam se na jeden disk vejde 25 GB tuším. Nebo podobně. Cena vypalovačky není závratná, cena medií také ne. Ale tohle fakt nejde automatizovat. Navíc se občas může disk vypálit blbě, nebo rovnou všechny disky se začnou vypalovat blbě při poruše. A bez kontroly dat po vypálení to nepoznáš. U té vypalovačky ale fakt musíš sedět a ládovat to tam. To samé při obnově dat. Dříve, když jsem měl dat desítky GB před 20 lety, tak jsem také zálohoval na DVD.
Spíše by měla smysl záloha na pásky. Nemůžeš ale samozřejmě aktualizovat zálohu soubor po souboru. Pouze kompletně přehrát. Cena za TB je pod 100 Kč a pásky nějakou dobu vydrží.
Jediná výhoda optických disků je ta, že přežijou elektro-magnetický impulz EMP.
-
No, vytisknout ... ty tisky degradují úplně stejně jako jakékoli jiné médium, kvalitu na papíře mají odvislou od kvality tiskárny a papíru, a akorát zabírají spoustu místa a hromada papíru znamená riziko nejen požární, ale i biologické (plísně, škůdci, prach), nemluvě o tom že je to težké jako prase a zabírá to spoustu místa.
Lepší je to projít a nemilosrdně zmasakrovat všechny tzv výcvaky.
Vytisknout - tam ten čas, cena, ekologie, je úplně na jiném levelu. To pomalu Euro za MB dat. Nehledě na čas, hmotnost a velikost vytištěných dat. A papíry také degradují. Dále nemožnost použít data dále. A problémy s prohlížením, přepravou, skladováním ...
Spíše nerzumím tomu, proč všichni považují zálohu dat jako zálohu fotek (multimédií). Data jsou přeci i jiná.
-
Amazon Glacier je pouze poslední jistota kterou nechceš nikdy využívat směrem k tobě. Ale když už k tomu to dojde, tak chceš aby jsi měl za jakoukoliv (dle smlouvy) cenu data k dispozici. Tam je spíše problém s rychlostí obnovení.
Na rychlosti obnovení nespěchám, měsíce-roky to snad nepotrvá. Cena za přenos dat k tobě je větší, než cena disků o stejné kapacitě. Firmu, nebo místo, kde se pohybuji, nemusí rozmlátit meteorit. Stačí právě katastrofa typu povodně, požár, tornádo,
-
Marek Staněk
Do astronomie dělám a vím o co šlo. Byl to obrovský projekt. Šlo o to, mít teleskop s co největším průměrem, aby bylo rozlšení úhlové co nejvyšší (úhlové rozlišení lineárně roste s velikostí teleskopu). Tak to teleskop s průměrem jako
(...)
dohromady, nebo z jedné. Z Antarktidy taková přenosová kapacita nebude a i mezi kontinenty by to byl na síť záhul, i když ne takový. Ta přenosová kapacita tady už dneska je. Ale asi by ten přenos po síti byl dražší, než přeprava letadlem.
Je to asi půl roku, co jsem o tom koukal na dokument. Byla to dost fascinující záležitost. Ne tím, že nakreslili rozmazanou koblihu a potvrdili tím teorie Kipa Thorna, ale tou obrovskou mašinérií kolem sběru dat z jednotlivých radioteleskopů složených do interferometru o rozměru prakticky rovníkového průměru Země. A ano, těch cca 100PB dat bylo z jednoho teleskopu a navíc těch svozů bylo v průběhu "experimentu" snad 5 (teď nevím jestli jeden nebo dva ročně). A moc se mi líbilo, jak s tím manipulovali jako kdyby každý disk byl odjištěná atomová bomba :-) Holt když každá neopatrnost znamená zvýšení rizika, že ten disk nepůjde přečíst a někdo bude muset poslat extra letadlo 10kkm tam a 10 zpátky, aby přivezl další kopii, dáváš si majzla.
On by hlavně přenos po síti byl dramaticky pomalejší, a čas těch lidí podílejících se na projektu je na tom to úplně nejdražší. A když bude někde cestou problém, může se klidně stát, že ti nová data budou přirůstat rychleji, než je budeš stíhat přenášet a zpracovávat. Takže je nejen levnější, ale pro v podstatě všechny účely lepší ke zdroji dat přivézt lodní kontejner disků, postavit tam masivně redundantní úložiště pořizující x kopií dat (což stejně chceš jak kvůli dostupnosti, tak kvůli odolnosti), a v pravidelných intervalech jednu sadu disků poslat zpátky letadlem co přivezlo nové disky, a jednu kopii odpojit a dát do "deep-cold-storage" (v Antarktidě doslova). Má to i tu výhodu, že nová data sypeš rovnou na nové disky s nižší pravděpodobností selhání. Už proto bys je stejně v nějakém cyklu musel měnit, tak proč to nevyužít a rovnou tím nevyřešit i odpadové hospodářství?
Ta možnost disku do schránky-trezoru v bance by tu byla. Zase to není tak drahé. Ale jakmile budu někde mimo ČR a podělá se mi noťas, tak by to nešlo využít. Problém je právě s tím připojením. Disk se dá samozřejmě šifrovat a tak hrozba, že by se disk dostal do nepovolaných rukou, nevadí.
Tam máš právě ten konflikt mezi dvěma potřebami, a to dostupností a ochranou před znehodnocením při útoku.
Zálohu "poslední instance" prostě chceš mít offline, aby nemohla být znehodnocena kompromitovaným systémem. A pak samozřejmě potřebuješ někoho, kdo ti ji zpřístupní, pokud tu možnost nemáš sám.
A pokud jde o riziko, že záloha bude znehodnocena během obnovy proto, že ji připojíš ke kompromitovanému stroji, musíš k ní mít extra stroj určený výhradně k provedení obnovy, a nesmíš na něm dělat dokonce ani zálohu; právě proto, abys vyloučil možnost napadení mezi pořízením zálohy a pokusem o obnovu.
"Jen" to teda zvyšuje náklady na hardware a hlavně čas, potřebný k provádění rotace záloh poslední instance na bezpečnou lokalitu.
-
Já používám Scaleway Glacier. Stejně jako u toho Amazonu Glacier, není k datům okamžitý přístup, cena měsíčně ~€0.002/GB, při zpětném stažení €0.009/GB za přesun dat z Glacier úložiště na Object Storage, z kterého se ty data dají stáhnout a to je 75 GB zdarma každý měsíc a po překročení €0.01/GB, čili zpětné stažení vyjde např. €18.25 za 1 TB najednou.
-
Marek Staněk
Přepočítal jsem se. Při rychlosti 10 Gbit/s je možné za den přenést 100 TB dat (na lince 100 Mbit/s je možné přenést 1 TB denně přibližně, ve skutečnosti o něco málo více). To znamená, že oněch 100 PB dat by bylo přenášeno rychlostí 10 Gbit/s plných 1000 dní a rychlostí 100 Gbit/s pak 100 dní. Nevím, jestli vůbec exisuje možmost připojení na 1 Tbit/s, ale pro koncové firmy spíše ne. 100 Gbit/s linka stojí okolo 3000 Eur na měsíc tuším, tak by přenesení 100 PB dat stálo něco okolo 250 000 Kč resp. 10 000 Eur, ale bylo by tam to zpoždění 100 dní nebo více. Navíc na Antarktidě rozhodně taková linka není.
Nakonec tedy vyla efektivněji ta přeprava disků letadlem. Předpokládám ale, že skladování a zálohy tak obrovských dat budou ještě nákladnější než přenos. Tak jako tak, je to naprostý zlomek ceny celkového projektu, pozorování je mnoho-násobně dražší a samotné zpracování dat také potřebuje enormní výpočetní výkon. Tak jako tak pravděpodobně jde o nejdražší a pracnější fotku v dějinách lidstva. Byly vyfoceny dvě černé díry, ta ve středu naší galaxie a ta ve středu galaxie M87. U středu M87 je i nový polarizovaný obrázek. A proč tyhle černé díry - jsou největší na obloze co do úhlového rozměřu.Střed naší galaxie je naštěstí klidný (jinak tu nejsme), M87 je aktivní galaxie s obří černou dírou a tedy ten objekt zájmu je jasnější. Úhlový průměr černé díry jak v naší galaxii tak ve středu M87 je nižší desítky mikrosekund, obrázek M87 i s akrečním diskem má v průměru 0.00005 úhlové vteřiny. Pro srovnání - úhlové rozlišení Hublova teleskopu je okolo 0.05 úhlové vteřiny, černá díra M87 i snejbližším okolím je 10 000x menší.
Odkazů a obrázků je na webu hodně, ten první odkaz jsou přímo stránky projektu (Event Horizont Telescope - EHT):
https://eventhorizontelescope.org/blog/astronomers-reveal-first-image-black-hole-heart-our-galaxy
https://en.wikipedia.org/wiki/Messier_87
https://en.wikipedia.org/wiki/Sagittarius_A*
https://www.space.com/black-hole-milky-way-new-image-hidden-feature
https://science.nasa.gov/resource/first-image-of-a-black-hole/
-
... , tak by přenesení 100 PB dat stálo něco okolo 250 000 Kč resp. 10 000 Eur, ale bylo by tam to zpoždění 100 dní nebo více. Navíc na Antarktidě rozhodně taková linka není.
Nakonec tedy vyšla efektivněji ta přeprava disků letadlem.
Kolik váží těch vašich 100 PB dat?
Dal by se využít StarLink?
-
Kit
Tak moje data to skutečně nejsou a nejspíše nikdo z nás nemá 100 PB dat. Oněch 100 PB dat bylo vyprodukováno při věděckém projektu, nevím, jestli z jednoho, nebo ze všech teleskopů dohromady. Běžný 3.5 HDD váží stovky gramů, nevím jaká byla tenkrát použita kapacita disků, 6-8-12 TB. Dejme tomu, tedy že 20 TB dat váží kilo (váha úložného média). Pak by těch 100 PB dat vážilo 5 tun. Dneska už jsou vyšší kapacity disů, ale stále to bude řádově menší jednotky tun, pod tunu to nepůjde. Už kvůli objemu těc všech disků, natož pak kvůli hmotnosti, to muselo být přepraveno nákladním letadlem.
100 Gbit/s je rychlost optické linky, někde na páteřní síti. Běžný server je připojen na max. 10 Gbit/s. Starlink není pro takto extrémní datové přenosy a těžko by šel použít. Spojení po kabelu je výrazně rychlejší a tady stále nestačilo.
Moje všechna data ani nedosahují 0.01 % velikosti dat z vybraného projektu.
Další a možná ještě více datově náročný projekt bude v Chile přehlídkový teleskop Vera Rubin, jež dost změní astronomii. Data bude tentokrét zpracovávat AI, jinak to vzhledem k objemu dat neppůjde. Očekává se i 17 miliard nových objektů v katalogu. Z Chile od teleskopu povede datová linka nejméně 100 Gbit/s, možná i více.
Marek Staněk
Tady je jeden dokument o zobrazení stínu černé díry, kde to velice dobře vysvětlují:
https://www.youtube.com/watch?v=Q1bSDnuIPbo
How did they actually take this picture? (Very Long Baseline Interferometry)
K tomu zálohování. Je možnost i někde si nechat nahrát data na pásky ? Jednou za 1-2 roky. Nevím, jestli někdo takovou službu nabízí.
-
Honza1Ubuntu
Co vím, těch 100 peta bylo z jednoho každého teleskopu při jednom svozu.
Kit
Haha, jako vtip dobrý ;D
Na starlinku je běžná rychlost kolem 100Mbps, to bys jednu sadu přenášel 3 roky, a to ještě jen za podmínky, že by to bylo bez chyb, výpadků, a fluktuace rychlosti. Dát jich víc paralelně by ti moc nepomohlo, protože 1) je otázka jak by se na to tvářil downlink ze satelitů na zem, 2) v tak vysoký zeměpisný šířce budeš mít problém vůbec nejaký satelit zaměřit, protože bude nízko nad obzorem, pokud vůbec nad ním (na polární dráze starlinky AFAIK nejsou a sklon dráhy mají cca 60°, takže tak daleko na jih ani nelítají a chytáš je někde nad jižní Afrikou a Tasmánií). Lepší šanci bys asi měl s EuTelSatem, ale ten má max 50Mbps a je na geostacionární dráze nad rovníkem, takže budeš mít stejný problém s malou výškou nad horizonem (u nás máš elevaci antény 37°, a to jsme na 50° severní šířky). Satelity na polární dráze mají spojení jen dočasný, šířka pásma tam bude maximálně desítky megabitů, a rozhodně tam nebudeš sám kdo bude chtít něco přenášet.
Lodí by to asi bylo levnější, ale 1) o pár týdnů pomalejší, a 2) musel bys to dopravit na pobřeží, což je velký problém sám o sobě.
-
Marek Staněk
I když by to bylo 100 PB dohromady, byla by to darda. Pravděpodobnější je varianta 100 PB z každého radio-telescopu, dohromady se tedy můžeme dostat až někam k 1 EB (nevím, jestli jich bylo 10, nebo méně, musel bych hledat). Každopádně i když se všechna data sešla, samotné zpracování dat vyžadovalo rovněž obrovské kapacity.
Já mám dohromady všech svých dat okolo 12 TB, zálohovat s přístupem a upgrade chci jen 10-20 %, u zbytku max. jednou za 1-2 roky připojit disk a aktualizovat data.
Na té Antarktidě není infrastruktura a i přenos dat přes satelit je tam limitovaný. Do vnitrozemí kabel těžko povede. Mezi Irskem a New Yorkem jsou velko-kapacitní kabely, kde se i stovky PB dají přenést, ale chvilku to potrvá. Ale k odlehlým místům s teleskopy nic velko-kapacitního nepovede. Tak jediná možnost je přenos dat letadlem, lodí a kamionem by to šlo z jiných koutů světa.
Sám jsem s linkou 100 Mbit/s zálohoval, když jsem dělal větší upgrade. 1 TB se 100 Mbit/s přeneseš za den, to znamená 1 PB za necelé tři roky. Těch 100 PB z jednoho teleskopu by se přenášelo skoro 100 let (za tu dobu věda a technologie pokročí). Jak do jednoho místa dostat ohromné množství dat ? Možná přes torrenty a každý primární zdroj s linkou min 100 Gbit/s. Což je na antarktidě nemožné. Nejpomalejší bude přenos dat z primárního zdroje, pak už s více seedy to půjde rychleji.
Tady je o tom jeden dokument (zobrazení stínu černé díry):
https://www.youtube.com/watch?v=Q1bSDnuIPbo
How did they actually take this picture? (Very Long Baseline Interferometry)
Ve videu s sebou berou disky jako příruční zavazadlo, což se mi nezdá. Na jakémkoliv médiu se se 100 PB pod tunu nejspíšenedostaneš (rok 2019) a prostor to také zabere velký.
-
DO vnitrozemí kabel určitě nevede, protože přes ledovec kabel sice položíš, ale během sezóny se ti kvůli pohybům minimálně jednou (spíš víckrát) přetrhne, a jako na potvoru nejspíš na místě, kde bude zatraceně nebezpečný k němu lézt a pokoušet se ho napojit :-)
Bezdrát kvůli počasí nebude stát za nic a stejně budeš potřebovat desítky retrů, který musíš nějak napájet, takže pokud k nim nedáš izotopový generátor, musíš k nim tahat silovinu opět kabelem.
Satelit má spojení pomalý a jen občasný při přeletu, plus pro něj platí že každej mráček, natož bouře, to dokáže shodit.
Ergo v úvahu přichází jen staromódní přenos kabelový, tzn šup diskety do kabely a tradá na letadlo.
-
Marek Staněk
Zase jsem to zvoral. Rychlost přenosu 100 Mbit/s je jeden TB za den, 1 PB tedy za necelé 3 roky. Ovšem těch 100 PB by netrvalo necelých 100 let, ale déle - přibližně těch 100 000 dní, tedy mi to vychází 274 let (1 PB za 2.74 let).
Dneska už je běžně dostupný ve městech i Gbit/s. Nicméně přenesení desítek-stovek TB dat není zase tak drahé - odvíjí se od ceníku Českých drah. Naložim disky do kufru a jedu. Autobus ne, tam je zavazadlo dole a nemám ho pod kontrolou.
Nějak na té Antarktidě komunikovat musí, ale bude to přes satelit. Kabel by tam fakt nefungoval. Byl jsem v horách např. v Nosku a chození po ledovci je nebezpečné. Natož tam mít infrastrukturu.
-
Jeste tu nezaznelo storj.io. Neni z lacinych - 4$/TB/mesic, holt je to hot zaloha a rychlost up i down je CDN grade, ale zasadni vyhoda je, ze ja hostuju jejich data a oni moje, takze za to neplatim nic. Vychazi to zhruba 1:3. Momentalne hostuju 8 TB a mam tam ulozeno 3 TB a vychazi +-0, vlastne nepatrne mi tam kredit narusta. A vsechno to bezudrzbove bezi na Synology 923+, jejich appka v Dockeru a moje zalohovani dela HyperBackup. Zatizeni zpusobuje zanedbatelny. Je tam nejaky 7$ za egress ale to u 3 nebo 4 vrstvy zalohy nehraje roli...
-
jméno příjmení
Tady už je levnější ten Hetzner storage box. Tam můžeš zálohovat i přes rsync nebo scp a další. A podle všeho to skutečně jede na serveru. Když hostuješ něčí data a máš naopak data u nich, tak je to výhoda, že neplatíš nic. Ale musíš mít kromě úložiště i slušný připojení. To co hostuješ, musí být pořád k dizpozici, což není jen tak.
-
No, v tomto setupu by nevyslo levneji nic. Tech 8 TB mam rozlozeny po discich kde je shodou okolnosti nejaky volny misto a ktery by tam sedely nevyuzity tak jak tak, a casem az je budu potrebovat tak je zmensim nebo smazu a pouziju pro sebe. Driv jsem to mel na normalnim Windows 10 PC, zatizeni zanedbatelny.
Pristup to ma pres S3, API, Web, nebo jejich commandline aplikaci, primo podporuji rclone, Truenas, atd.
Co se tyce pripojeni, mam normalni domaci 100/100 a provoz toho toolu nepresahuje kolem 1 mbs. A availability - nekolik hodin vypadku nic neznamena, a povolujou max 30 dni offline. Je toho vic zajimavyho, ale nejsem jejich agent takze viz storj.io. Osobne si myslim ze je to celkem genialni myslenka a pro zalohovani je to bezva.
-
STORJ.IO
Tak jsem na to koukal, je to zajímavé. Nicméně na webu storj.io jsem vůbec nic o decentralizačnímu uložení souborů nenašel. Správný web je asi storj.dev .. ?
-
Jeste tu nezaznelo storj.io. Neni z lacinych - 4$/TB/mesic, holt je to hot zaloha a rychlost up i down je CDN grade, ale zasadni vyhoda je, ze ja hostuju jejich data a oni moje, takze za to neplatim nic. Vychazi to zhruba 1:3. Momentalne hostuju 8 TB a mam tam ulozeno 3 TB a vychazi +-0, vlastne nepatrne mi tam kredit narusta
Zkoumám to celou neděli ale není mi jasné jak docílím tohoto stavu ? Co jsem pochopil, tak jsem nainstaloval NODE a spároval s pěněženkou, ale jak to spáruju zase se storj.io, abych to co vydělám, poplatil moje úložky?
Můžeš jen nějak nastínit?
-
No ani nevim proc maji 2 weby, uz dlouho jsem se na jejich stranky nekoukal, ono to bezi stylem nastav a zapomen.
Rek bych ze io je spis pro business a dev dokumentace a vyvoj. Zaklad asi viz https://www.storj.io/cloud-object-storage dole FAQ, a detaily https://storj.dev/learn/concepts/data-structure
Nevim na kolik technickych detailu by tady byl tady prostor, tak asi spis to realny pouziti:
1. Storage Node. Node je jejich aplikace nebo jak bych to nazval, ktera bezi ve Windows jako sluzba v pozadi nebo v Linuxu (taky v Synology, Qnap, apod.) jako docker kontejner. Nastavis mu kolik GB/TB muze pouzit. Oni plati storj tokenem https://coinmarketcap.com/cs/currencies/storj/ ten bezi pod Ethereum (na burzovniu cene nezalezi, oni vzdycky poslou tolik storj kolik v tu chvili odpovida castce USD co mas dostat). Adresa ETH penezenky se dava do configu toho Nodu. Bud muzes mit vlastni a delat si s tim co chces, nebo ja jsem tam dal adresu kterou mi vygeneroval uzivatelsky ucet.
2. Uzivatelsky ucet - ten je pro zakaznika ktery chce u nich uklada sve data. Za sluzbu muzes platit kartou nebo primo storj tokenama - takze deposit adresu kterou dostanes v uctu das jako vyplatni adresu do Nodu. A je vystarano. Navic pri tomto nastaveni davaji +10% bonus.
Funguje to roky skvele. Akorat je treba myslet na to, ze ono trva tak pul roku nez Node zacne jakz takz vydelavat, tj. nez se zaplni aspon tak 2 - 4 TB. Ta rychlost zaplneni se meni tak moc, ze se neda predpovedet. Tj. jak zakaznici ruzne nahravaji a mazou data. Takze urcite prvnich par mesicu musis bud platit nebo naopak zacit tam ukladat svoje data az se Node trochu zaplni, odhadem tak pul roku.
A jeste musis mit verejnou IPv4 adresu, muze byt i dynamicka.
-
Díky, ještě se zeptám. Musím mít pro každé úložiště znovu vygenerovanou novou identitu nebo stačí jedna a používat ji na víc místetch?
EDIT: AI říká že ne, co storage to identita. Příspěvek nejde smazat tak si odpovídám sám :-)
-
Novou identitu. A samostatne bezici Node. ETH adresu stejnou.
-
Jeste tu nezaznelo storj.io. Neni z lacinych - 4$/TB/mesic, holt je to hot zaloha a rychlost up i down je CDN grade, ale zasadni vyhoda je, ze ja hostuju jejich data a oni moje, takze za to neplatim nic. Vychazi to zhruba 1:3. Momentalne hostuju 8 TB a mam tam ulozeno 3 TB [...]
Jakože k tomu, abych mohl zálohovat svých cca 5 TB potřebuji nakoupit dalších 15 TB storage a někam je ještě do skříně nacpat ? No to tedy pěkně děkuju. Jako jo, pro trochu dat se to možná hodí ale pro větší objemy je to celkem na dvě věci. To radši u Hetznera zaplatím těch asi 13 EUR za měsíc a mohu si s těmi pěti terabajty, navíc bez závazků, dělat celkem co chci a zálohovat víceméně čím chci.
-
To jo. Ale taky platis celych 5TB bez ohledu na to kolik tam mas. A celkem to mas 4000 Kc za rok, takze za rok jim zaplatis 6 TB HDD, a kazdy rok znova dalsi.
A neni to uplne 3x, ted kdyz mi to vychazi - kredit je nepatrne vyssi nez bill (+14.11$, -13.41$), mam u nich 3.09TB, a ulozeno jejich mam 7.2TB.
Kazdopadne nikomu to nenutim, nic z toho nemam. Je to varianta.
-
Jakože k tomu, abych mohl zálohovat svých cca 5 TB potřebuji nakoupit dalších 15 TB storage a někam je ještě do skříně ...
Kdo to nechce číst celý: bez sepsání požadavků a rizik a spočtení rozvahy se to kvalifikovaně rozhodnout nedá.
Volba se odvíjí od nároků.
Když to bude mět být RAID5 + záloha, tak ano, je to 4:1. Pokud to má být RAID6 + lokální záloha + offsite kopie v RAID5 + lokální záloha, tak je to 9:1 (+ 2x odpovídající NAS). Což už je docela nepříjemná vstupní investice, ale:
- lokální odezva je naprosto nesrovnatelně rychlejší
- není potřeba to nakupovat hned všechno najednou, dá se to klidně rozložit, už proto že riziko selhání u nových disků je nižší
- provozní náklady jsou výrazně nižší než u cloudu, takže čím déle se to bude využívat a čím větší bude požadovaná kapacita, tím spíš to bude výhodnější; dá se s velkou mírou jistoty počítat s tím, že prvních 5 až 10 let budou provozní náklady jen na elektriku, zatímcu u cloudu jsou platby za kapacitu trvalé za celou dobu používání a přibližně odpovídají pořizovací ceně 1ks enterprise disku s požadovanou kapacitou každý rok
- při umístění v lokalitě s uživatelem to není závislé na tom, jestli funguje internet
- i když po nějaké době (budu počítat 5 let, a to je hodně paranoidní odhad) začnou disky postupně odcházet (řekněme tempem 1ks/ročně, což je taky hodně paranoidní), tak původní modely už stejně nebudou na trhu, a náhrada bude 1) levnější a 2) s vyšší kapacitou, takže eventuální nárůst nároků na kapacitu se vyřeší v podstatě sám. U cloudu by to vyžadovalo přechod na vyšší paušál.