Fórum Root.cz

Hlavní témata => Server => Téma založeno: xhonzik 22. 02. 2022, 08:52:47

Název: Záloha desítek GB u kamaráda
Přispěvatel: xhonzik 22. 02. 2022, 08:52:47
Radi bysme si s kamaradem vzajemne zalohovali data. Nicmene bysme oba byli radsi kdyby data byla v zaloze sifrovana. K dispozici mame nejake disky, ja orangePi, on notebook jako server, oba verejne adresy, bezici linux/ssh.

Neznate nekdo nejake dobre reseni nejakeho transparentniho sifrovani? Jak se pripadne branit pri takove zaloze ransomware? Nejaka reseni me napadaji, ale prijde me to vse takove na kolene. Nejlepsi by me prisel rsync pres ssh.
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: alex6bbc 22. 02. 2022, 09:14:59
oba mejte partisnu na zalohy, kterou pripojite jen na kratkou dobu pro nahrati zalohy. na par desitek gb staci zasifrovany archiv a poslat to tam scp. nebo cron a scp by si to obcas stahlo a ulozilo. ma smysl z toho delat elektrarnu?
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: JmJ 22. 02. 2022, 09:18:16
Predem se omlouvam, ze me reseni neni univerzalni a realizace ani neni ciste linuxova, ale resil jsem neco podobneho. Na jedne strane stolni PC, ze ktereho se chtelo data zalohovat nekam pryc - na linuxovy server. Pozadavek byl, aby data byla sifrovana.

Chvili jsem hledal neco, co zasifruje soubor a idealne zazipuje a to provede s kazdym souborem zvlast. Nakonec sem si neco napsal v C#.

Na strane desktop PC se udelalo to, ze dulezite adresare se kazdy den presypaly na jine misto na disku, vzdy do extra adresare pro dany den v tydnu. Na to jsem nasel nejaky sw, ktery umel toto kopirovani delat chytre, nekopiroval co se nemenilo, coz proces hodne urychlilo.

Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw. Pokud se soubor nezmenil, byl i po sifrovani a zipovani vzdy stejny.

Vznikla denni zasifrovana zaloha se pak pomoci Winscp, ktere umi take kopirovat jen zmenem veci, prenesou na server.

Tedy jednim sw se delaji denni zalohy, druhym si to zasifruju za zazipuju kazdy soubor zvlast, tretim to zkopiruju na vzdaleny stroj.

Na jinem mechanismu zalohovani pouzivam to, ze denni zaloha se dela co hodinu, prvni ranni zaloha udela plnou synchronizaci, tedy smaze smazane soubory a prida nove, ale ostatnich 23 zaloh behem dne stare soubory nemaze. Takze kdyz behem dne neco udelate, pak to smazete, tak je rozumna nadeje se se souborem jeste shledat.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: nocturne.op.15 22. 02. 2022, 09:34:57
Pokud chcete hotovou věc, navrhuju použít Resilio sync - komerční, hotový multiplatformní produkt.

 - běží to prakticky na všem
 - v základní verzi  je to free (samozřejmě, na free užití jsou jisté požadavky) - https://www.resilio.com/individuals/
 - Family verze bývá v 50% akci pravidelně, u příležitosti "sysadmin day" apod.
 - P2P protokol, prakticky nulové požadavky na infrastrukturu - není nutná VPN apod.
 - jedním ze způsobů synchronizace je i šifrovaný uzel, kde ani jeho majitel nevidí data
 - ta věc prostě funguje, a funguje bez práce. Při změně souboru okamžitě synchronizuje do ostatních uzlů (takhle řeším "hot standby" notebook pro okamžitou práci v případě, kdy mi primár chcípne)
 - nemá problém ani s větším množstvím dat (v mém balíku je to cca 40GB dat)

Používám dlouhodobě pro synchronizaci hot-standby dat na notebook. Mimo to i pro synchronizaci důležitých dat mimo primární site, kde se verzuje  pro případy jako je napadení malwarem atd.



Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: czechsys 22. 02. 2022, 09:42:47
Proc vymyslite kolo? Kupte si kazdy treba synology, nebo pouzivejte uz vytvorene backup systemy typu borg apod.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: pruzkumbojem 22. 02. 2022, 09:55:29
ten Synology jako koupit do obou mist? Moje zkusenosti s Qnapem jsou pomerne tristni...

Kdyz jsem se na tohle koukal, tak zrovna snad Borg jeste neumel ani sifrovani (coz bylo sokujici zjisteni), ale to uz je historie.

POkud by slo o synchronizaci jednoho 30GB souboru, tak pri normalni rychlost uploadu to je sebevrazda, pokud uz to vubec jde u zasifrovaneho souboru?

Co OpenZFS? to puvodni ZFS na BSD neumelo snapshoty posilat zasifrovane (skrz sifrovani tunel jo, ale ne zasifrovana data), ale OpenZFS 2.* to ma uz bezproblemu delat.V tom pripade by to mohlo byt dalece nejlepsi  reseni.

Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Logik 22. 02. 2022, 10:34:34
Co syncthing na šifrovanou partition?
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: Filip Jirsák 22. 02. 2022, 10:55:25
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: nemem9aa 22. 02. 2022, 10:57:07
Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: alex6bbc 22. 02. 2022, 11:08:02
sifrovat archiv lze i s gpg.
zasifrovani archivu si udelas u sebe, nesifrovany archiv na sifrovanem disku si kamos muze cist :-)
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: xhonzik 22. 02. 2022, 16:39:57
Dekuji za namety, jedna se predevsim o staticka data - fotky, videa, tzn. nepocitam ze by v jednotlivych souborech dochazelo k nejakym zmenam.

oba mejte partisnu na zalohy, kterou pripojite jen na kratkou dobu pro nahrati zalohy. na par desitek gb staci zasifrovany archiv a poslat to tam scp. nebo cron a scp by si to obcas stahlo a ulozilo. ma smysl z toho delat elektrarnu?
To by vyzadovalo jistou soucinnost, to nedame. Ohledne elektrarny - nerozumim, pokud myslite, ze by to zbytecne zralo elektrinu, obe zarizeni beztak bezi 24/7.

Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html

@Duplicity jsem kdysi pouzival, dobre ze jste me to pripomnel. Melo to tedy znacny problem s velkymi soubory (a zmenami v nich), nicmene toto neni muj pripad.

@Syncthing pouzivam, to je dobra vec, nicmene neresi to moc ten problem ze mu budu moci koukat na fotky (i kdyz partition bude sifrovana).

Na borg se podivam. OpenZFS to je teda uz poradny aparat, zkusim.

@Resilio bude asi fajn, ale na subscription to nevypada, to by si kamos spis koupil misto na google disku (coz taky stoji za uvahu).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Karmelos 22. 02. 2022, 17:03:49

@Syncthing pouzivam, to je dobra vec, nicmene neresi to moc ten problem ze mu budu moci koukat na fotky (i kdyz partition bude sifrovana).


Jen nápad, neřeší váš problém se šifrováním na cílovém disku toto? https://docs.syncthing.net/branch/untrusted/html/users/untrusted.html (https://docs.syncthing.net/branch/untrusted/html/users/untrusted.html)
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Tomáš G. 22. 02. 2022, 17:09:51
Kdysi mi Wedos, nebo někdo takový, dal "zdarma" k VPS nějaké úložiště přístupné po Sambě.
Úplně jsem to mu nevěřil, tak jsem tenkrát používal EncFS.

Vůbec netuším, do jaké míry to je ještě dnes použitelné.

https://www.root.cz/clanky/encfs-sifrovani-souboru-jinak-a-bez-problemu/
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: pruzkumbojem 22. 02. 2022, 17:39:59
co se tyce zfs, je to jednoduse instalovatelny aparat. je to vicemene souborovy system.

tak posledni odstavec "Sending incremental snapshot to a backup server" na https://zewaren.net/freebsd-zfs-encryption-with-open-zfs.html
popisuje presne co chces.

BTW Koukam, ze to ted umi i veci jako "redacted replication".
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 22. 02. 2022, 17:43:34
Neznate nekdo nejake dobre reseni nejakeho transparentniho sifrovani?
Uděláš si velký prázdný soubor, připojíš ho přes sshfs, naformátuješ jako LUKS oddíl, přimountuješ a zálohuješ do něj rsyncem.

Pokud jsi dobrodruh, můžeš použít NBD, a exportovat LVM LV. Je to trochu rychlejší než sshfs v souboru.

V tom souboru si můžeš udělat btrfs, zapnout kompresi (=rychlejší, úspornější) a dělat snapshoty (=máš i historii).

Jak se pripadne branit pri takove zaloze ransomware?
Nelze.

Nejlepsi by me prisel rsync pres ssh.
Ten není end-to-end šifrovaný.

Ještě můžeš použít encfs v reverzním módu, to pak jde rsyncovat, ale je to ještě dobrodružnější než to NBD.

Proc vymyslite kolo? Kupte si kazdy treba synology
Jednak Synology jsou basliči (např. https://twitter.com/richfelker/status/1357733309737021444) a možná jako nechceš mít další proprietární řešení které se budeš muset učit adminovat, jednak mi není jasné jak „kup si synology“ řeší dotaz na šifrování dat.

nebo pouzivejte uz vytvorene backup systemy typu borg apod.
To vypadá dobře (přečetl jsem si jejich úvodní stránku).

Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html
To mělo problém v tom, že se udělala jedna plná záloha a pak tam byly neustále inkrementy a staré nešly smazat a musela se udělat další plná záloha, což může být při přenosu přes internet obtížné.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: pruzkumbojem 22. 02. 2022, 17:46:32
btrfs jsou taky bastlici.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: uwe.filter 22. 02. 2022, 17:49:41
Jen tak v rámci "akademické debaty" - co na serveru zpřístupnit alokovaný soubor nebo rovnou celý oddíl či disk jako iSCSI target a na klientovi připojit (skrz nějaký šifrovaný tunel) jako blokové zařízení, se všemi výhodami i neduhy z toho plynoucími? Nezkoušel někdo nějakou takovou šílenost v praxi? :-)
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 22. 02. 2022, 17:55:20
Jen tak v rámci "akademické debaty" - co na serveru zpřístupnit alokovaný soubor nebo rovnou celý oddíl či disk jako iSCSI target a na klientovi připojit (skrz nějaký šifrovaný tunel) jako blokové zařízení, se všemi výhodami i neduhy z toho plynoucími? Nezkoušel někdo nějakou takovou šílenost v praxi? :-)
Vždyť to píšu, já to tak používám. Teda místo iSCSI používám NBD (přes openvpn) nebo sshfs (na kterém je soubor co se připojí přes loopback).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: AtomicFS 22. 02. 2022, 18:26:05
Já osobně bych doporučil https://rclone.org/ (https://rclone.org/). Je to OpenSource a je to udržovaný projekt.

Co se týče ransomware, asi nejlepší je offline záloha (disk v šuplíku, připojený jenom pro zálohování nebo obnovu dat). Ale pokuď jde o něco aplikovatelného na server/NAS, tak bych doporučl nějaký filesystém který podporuje snapshoty, jako například BTRFS (zde je detailní popis co a jak https://wiki.archlinux.org/title/Btrfs (https://wiki.archlinux.org/title/Btrfs)), ZFS nebo OpenZFS (mám zkušenost jenom s BTRFS).

Já mám 24/7 běžící NAS, vlastní stavby, kde beží GNU/Linux, disky jsou v RAID6 pomocí mdadm, nad RAID pak je LUKS a nad LUKS je BTRFS. Pravidelná záloha je pak pomocí systemd pravidelně spouštějící se rclone synchronizační script (script obsahuje jenom rclone příklad s argumenty).

Systémový disk je též šifrovaný a dá se odemknout na dálku pomocí SSH. Na systémové disku pak mám uložený keyfile (klíč) který odemyká zmíněný RAID. Systém je také na BTRFS a s pomocí timeshift vytváří pravidelně snapshoty root a home, do kterých je možné nabootovat pomocí grub-btrfs v případě že se update systému nepovede (https://github.com/teejee2008/timeshift (https://github.com/teejee2008/timeshift); https://github.com/Antynea/grub-btrfs (https://github.com/Antynea/grub-btrfs)). timeshift je naneštěstí omezen pouze na root a home, ale pro moje účely to stačí.
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: FKoudelka 22. 02. 2022, 19:02:09
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: Filip Jirsák 22. 02. 2022, 20:25:03
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.
Těch formátů, které jsou interně komprimované (typicky stejným algoritmem, jako používá ZIP), je daleko víc – javovské JAR, všechny moderní koncelářské formáty (jak Microsoftu tak OpenOffice.org), obvykle PDF, PNG… Řešit u každého souboru, zda se má nebo nemá komprimovat, by asi bylo zbytečně komplikované. Ale když se komprimuje a šifruje a je to pouze otázka správného pořadí kroků, je nesmysl dělat to systematicky špatně.
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: FKoudelka 22. 02. 2022, 20:41:02
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.
Těch formátů, které jsou interně komprimované (typicky stejným algoritmem, jako používá ZIP), je daleko víc – javovské JAR, všechny moderní koncelářské formáty (jak Microsoftu tak OpenOffice.org), obvykle PDF, PNG… Řešit u každého souboru, zda se má nebo nemá komprimovat, by asi bylo zbytečně komplikované. Ale když se komprimuje a šifruje a je to pouze otázka správného pořadí kroků, je nesmysl dělat to systematicky špatně.
Jasně že je nesmysl dělat to systematicky špatně, však píšu “Hezky” :-)
Ale pokud OP píše, že tam má hlavně fotky a videa, tak je komprimace  zbytečná protože neuspoří.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: FKoudelka 22. 02. 2022, 21:08:25
Ne, že bych ryl, ale IMHO málokdo, kdo chce nebo zde navrhuje sofistikovaná zálohovací řešení si uvědomuje, že obnova bude nejen přinejmenším stejně složitá jako zálohování, ale složitost bude umocněná zapomněním (daným časovou prodlevou) a momentálním stresem. ”Jak jsem to vlastně tehdy udělal?” “Jaká jsou hesla, kde mám klíče?”

Podle mne je třeba buď zálohovat jednoduše nebo zálohování svěřit metodice obsažené v komplexnějším SW, ne bastlit.

Co se týče ochrany před ransomware, samozřejmě je třeba mít více generací záloh a mít aspoň starší off-line.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: nocturne.op.15 22. 02. 2022, 21:27:18
@fkoudelka - good point. Proto jako systémák nesnáším různé skriptbastly, které mi občas padají do klína když přebíráme nestandartní systémy po blbečkách, co mají utkvělou představu, že hotový SW je fuj a nutně si to napíšou líp, než to dělá Veeam/Commvault/Veritas a spol.

Když dojde na obnovu, je k nezaplacení, když jde všecko přesně podle dokumentace...
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: by_cx 22. 02. 2022, 22:32:46
nesnáším různé skriptbastly, které mi občas padají do klína když přebíráme nestandartní systémy po blbečkách, co mají utkvělou představu, že hotový SW je fuj a nutně si to napíšou líp

Tak díky. Máme zálohování řešené bashovými skripty pomocí rsync a Btrfs snapshotů. Bylo to hotové rychle, nepoužívá to žádný proprietární formát, obnova se zase dělá přes rsync a hlavně se to perfektně integrovalo přes service discovery. Normálně to funguje, občas i něco klientům obnovujeme a nemáme problém to z toho Btrfs vykopírovat.

Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Jose D 22. 02. 2022, 23:10:27
Už to tu padlo, borgbackup . Je to hotové, má to deduplikaci, jede to po ssh, má to šifrování, není to blackbox mamut typu veeam.

Zalohuju a obnovuju tím desítky TB už pár let, a dá se nad tím postavit udržitelné workflow.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: luvar 22. 02. 2022, 23:12:16
Mal som pokus (vdaka extra nestabilnej linke neuspesny), kde som si nazdielal disk z druheho (kamaratovho) PC cez iscsi a nasledne lokalne pouzil cryptoloop (alebo luks?) a na tento block device som uz len "lokalne" robil btrfs send z druheho btrfs.

Moja sprava pre tento topik je, že použitie iscsi po sieti a nasledne kryptovaciu vrstvu nad to (už na svojom PC) by mohlo byť riešením, ale mrknúť sa na zložitosť iscsi a tiež na problémy pri packet loss na linke (asi 3 percentný robil problém pri niekoľko desiatkach gigabajtov pre btrfs send).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: nocturne.op.15 22. 02. 2022, 23:18:27
Máme zálohování řešené bashovými skripty pomocí rsync a Btrfs snapshotů.

Pokud je k tomu dokumentace a není oneman show typu "mám to v hlavě", pokud je to inhouse vyvíjené (tedy ne za odpoledne spíchnuté a navzdy zapomenuté), pokud to validujete, updatujete a kontrolujete - nic proti tomu.

Realita bastličů je obvykle někde jinde - kolikrát jsem slyšel "tady by to někde mělo být" v okamžiku, kdy chci předvést, kde přesně jsou zálohy. Následuje "hmm, podívám se po tom a ozvu se",  málokdy to dojde do stavu "testovací obnova OK, tady je protokol"

EDIT: málem jsem zapomněl nejpopulárnější kus- "ještě minulý týden to fungovalo, to jsem si jistý" :-D
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 22. 02. 2022, 23:54:42
Realita bastličů je obvykle někde jinde - kolikrát jsem slyšel "tady by to někde mělo být" v okamžiku, kdy chci předvést, kde přesně jsou zálohy. Následuje "hmm, podívám se po tom a ozvu se",  málokdy to dojde do stavu "testovací obnova OK, tady je protokol"
Zajímavé, prezentované řešení typicky vede k tomu, že zálohy máš přímo dostupné v /mnt/backups/snapshot/datum jako soubory.

Ne, že bych ryl, ale IMHO málokdo, kdo chce nebo zde navrhuje sofistikovaná zálohovací řešení si uvědomuje, že obnova bude nejen přinejmenším stejně složitá jako zálohování
Obnova se provádí prohozením source a destination parametru rsyncu (nebo si vybraný soubor z /mnt/backup zkopíruješ někam jinak a třeba ho porovnáš s aktuální verzí - nebo verze z různých snapshotů mezi sebou, když hledáš třeba "poslední funkční verzi")
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Death Walker 23. 02. 2022, 05:28:24
Bacula? Ma vsetko co pozadujete a kopu veci naviac.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: jmk 23. 02. 2022, 07:33:08
Synology NAS + Encfs. Funguje to perfektně. Provozuji již několik let.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Filip Jirsák 23. 02. 2022, 08:56:06
Obnova se provádí prohozením source a destination parametru rsyncu
Celý popis vypadal docela dobře – a pak najednou tohle, nejlepší způsob, jak o zálohu přijít. Stačí zapomenout prohodit parametry, nebo je prohodit dvakrát. Přimlouval bych se za to, aby skript pro obnovy a celý postup obnovy byl napsaný už v okamžiku startu zálohování – aby nikdo nemusel ve stresu při obnově řešit nějaké prohazování parametrů. Dále je dobré, když se po dokončení jednoho kola zálohy ta záloha uzamkne pro zápis.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 23. 02. 2022, 09:27:28
Přimlouval bych se za to, aby skript pro obnovy a celý postup obnovy byl napsaný už v okamžiku startu zálohování
Já asi nedokážu napsat „skript pro obnovy“, protože ty požadavky jsou typu „před pár dny jsem omylem smazal adresář ve svém webu a potřebuju ho obnovit“ - a pak se musím podívat do /mnt/backup/snapshot/různá_čísla/home/uživatel/public_html/XYZ a ručně zjistit který den tam ty soubory ještě jsou, a typicky mu je radši vykopíruju bokem, ne zpátky tam kde tehdy byly. To readonly je ale dobrý nápad, koukám že to jde na btrfs snapshotům nějak nastavit, tak bych to mohl udělat.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Filip Jirsák 23. 02. 2022, 09:49:44
Já asi nedokážu napsat „skript pro obnovy“, protože ty požadavky jsou typu „před pár dny jsem omylem smazal adresář ve svém webu a potřebuju ho obnovit“ - a pak se musím podívat do /mnt/backup/snapshot/různá_čísla/home/uživatel/public_html/XYZ a ručně zjistit který den tam ty soubory ještě jsou, a typicky mu je radši vykopíruju bokem, ne zpátky tam kde tehdy byly. To readonly je ale dobrý nápad, koukám že to jde na btrfs snapshotům nějak nastavit, tak bych to mohl udělat.
Já jsem myslel kompletní obnovu při havárii disku. Tahle obnova jednoho souboru je něco jiného – ale to pak ručně hledáte konkrétní soubor a nejspíš ho ručně zkopírujete, takže asi nehrozí, že kvůli špatnému parametru přepíšete celou zálohu. Nicméně při ručním kopírování se o to víc hodí readonly režim. Když máte v mc na jedné straně zálohu, na druhé straně aktuální stav, je adresářová struktura velmi podobná – kdo ještě nikdy v takové situaci nepřepsal správnou verzi souboru tou špatnou, ať jako první hodí kamenem…
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Martin Sivák 23. 02. 2022, 10:33:22
Popravdě, proč vymýšlet nějakou šílenost, když je tu Borg, který jede přes SSH, umí deduplikaci a e2e šifrování? K tomu nějaké UI jako Vorta a je to skoro bezúdržbové.

https://www.borgbackup.org/
https://vorta.borgbase.com/

Obojí open source a free. Součástí distribucí (Vorta je tedy na flathubu).

Někdo tu zmiňoval duplicity, ta se dá použít, existuje k ní UI, ale neumí deduplikaci, není založená na "snapshotech" a obnovy hrozně trvají, protože se musí procházet milion těch změnových archivů.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: SB 23. 02. 2022, 12:20:44
Veeam/Commvault/Veritas a spol.

Tak otázkou je, zda to není nějaké složité, velké, placené, uzavřené, neprůhledné řešení pro velké firmy. To zjevně tazatel nehledá.
Název: Re:Zaloha desitek GB u kamarada
Přispěvatel: SB 23. 02. 2022, 12:23:10
oba mejte partisnu na zalohy, kterou pripojite jen na kratkou dobu pro nahrati zalohy. na par desitek gb staci zasifrovany archiv a poslat to tam scp. nebo cron a scp by si to obcas stahlo a ulozilo. ma smysl z toho delat elektrarnu?

Prosím vás, když už toužíte poslat první příspěvek, tak by to podle toho mělo vypadat (nejen formou, ale především obsahem).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: by_cx 23. 02. 2022, 12:49:56
Celý popis vypadal docela dobře – a pak najednou tohle, nejlepší způsob, jak o zálohu přijít.

Snapshoty jsou read only.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Nuphar lutea 23. 02. 2022, 13:48:38
Já většinou používám duplicity. Rozdílové archivy jsou šifrované GPG a dají se odeslat kamkoliv, v tomto případě bude asi nejjednodušší SSH/SFTP. Jinak mám velmi dobrou zkušenost s NASy od Synology. Když si člověk pořídí dva, mohou se vzájemně zrcadlit (mají na to klikátko, ale tohle jsem nezkoušel). Jinak taky používám Turris router s NAS boxem - dá se tam nainstalovat NextCloud (ten používám, má podporu šifrování), anebo opět použít duplicity.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 24. 02. 2022, 00:49:10
Já většinou používám duplicity. Rozdílové archivy jsou šifrované GPG a dají se odeslat kamkoliv, v tomto případě bude asi nejjednodušší SSH/SFTP.
No ale to ty rozdílové furt přibývají, ne? Není možné říct "drž mi x verzí dozadu, starší mažeme".
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Death Walker 24. 02. 2022, 04:49:06
Já většinou používám duplicity. Rozdílové archivy jsou šifrované GPG a dají se odeslat kamkoliv, v tomto případě bude asi nejjednodušší SSH/SFTP.
No ale to ty rozdílové furt přibývají, ne? Není možné říct "drž mi x verzí dozadu, starší mažeme".

Starsie verzie nie je dobry napad zmazat, ak to dany softvare dokaze, tak sa spravi merge tych rozdielov ktore nepotrebujeme. Je to nieco ako aktualny stav je a1+a0, ak si a0 zmazete tak rozdiel ulozeny v a1 je vam k nicomu...
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: dj-bobr 24. 02. 2022, 12:55:42
Pro tyto účely vidím jako ideální externí HDD s Veracrypt enkrypcí + Veeam Backup Agent (bezplatný).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Hobbit 24. 02. 2022, 20:11:37
Pokud zrojovy pocitac je na windowsech, existuje (stary dobry) cobian backup. Pokud je zdrojem linux a spol, bude tu jiny soft, nicmene pozadavky asi budou stejne.

Resil jsem to nekolikrat a vzdycky bylo reseni +- stejne:
Jednou tydne plna zaloha, kazdy den rozdilova vuci plne. Nu a drzel jsem 4 plne zalohy + vsechny aktualni rozdilove.

Kazda zaloha znamenala zabalit, zasifrovat, odeslat na vzdalenou lokalitu. Co tam slouzi jako uloziste je vicemene jedno, vzhledem k tomu, ze zaloha uz je zasifrovana. Odesilalo se to pres ftp nebo scp, dulezite je, aby vzdalene uloziste nebylo trvale pripojene ke zdroji dat, pak vam ho nesezere ransomware a mate se k cemu vratit. Uz nekolikrat se mi tento postup vyplatil.

V kazdem pripade si obcas overte, ze zalohu dokazete rozbalit, abyste po nejake nehode nemel hromadu nepouzitelnych zaloh.

Ostrych dat nebyva mnoho, ve vysledku nejvic zaberou rodinne fotky/videa.

Vyplatilo se mi delat vice archivu, ale urcite ne archiv per soubor - to silene zdrzuje jak pri baleni/sifrovani, tak pri vlastnim prenosu.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 24. 02. 2022, 20:36:14
Starsie verzie nie je dobry napad zmazat, ak to dany softvare dokaze, tak sa spravi merge tych rozdielov ktore nepotrebujeme. Je to nieco ako aktualny stav je a1+a0, ak si a0 zmazete tak rozdiel ulozeny v a1 je vam k nicomu...
No právě. A merge se udělá těžko když to jsou zašifrované archivy ke kterým vzdálený počítač nemá přístup…

Jednou tydne plna zaloha, kazdy den rozdilova vuci plne. Nu a drzel jsem 4 plne zalohy + vsechny aktualni rozdilove.
To zní strašně neefektivně (4x zabrané místo a každý týden přenos celé zálohy - to bych třeba já se svým domácím internetem nedal). A pro obnovu jednoho souboru je potřeba stáhnout celou zálohu?
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Hobbit 25. 02. 2022, 06:46:57
Citace
Jednou tydne plna zaloha, kazdy den rozdilova vuci plne. Nu a drzel jsem 4 plne zalohy + vsechny aktualni rozdilove.
To zní strašně neefektivně (4x zabrané místo a každý týden přenos celé zálohy - to bych třeba já se svým domácím internetem nedal). A pro obnovu jednoho souboru je potřeba stáhnout celou zálohu?

nerikam, ze to je extra efektivni, ale je to extra levne, jednoduche a funkcni.
Neresim zalohy vyssich stovek GB, ale dulezitych dat (co si budeme povidat, nejdulezitejsi data jsou rodine fotky, pak nejake ucto a pak tuny dokumnentu). Pro male firmicky to je jeste jednodussi.  A jak jsem psal - pokud jsou archivy trosku logicky rozdelene, neni potreba sosat celou zalohu, ale jenom spravnou cast (+ rozdilovku k dane casti).
Navic co se tyka tech linek do internetu - vzdyt je jedno, jestli zaloha odtece za 10 minut, nebo za 6 hodin.  (za 6 hodin na 10Mb lince odsypete cca 20GB dat).

btw u male firmy s cca 40ti zamestnanci maji kompletni ostra data vcetne X let ucta, po zabaleni asi 12GB. To odleze po (takrka) cemkoliv.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: pruzkumbojem 25. 02. 2022, 08:14:28
jedine podstatne je, aby  v tom nehral roli lidsky faktor (typu " on clovek jen kazdej den zmackne ten cudlik") a aby se to kontrolovalo, ze to do cile dorazi v poradku a nepocuchany.

protoze jinak z toho toho garantovane bude jednoho dne tragikomedie. bez vyjimky.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: Hobbit 25. 02. 2022, 09:07:30
to nebude tragikomedie, ale proste pru$er.

Osobne jsem zazil, jak firma prisla o komplet data (ransomware), no ve vysledku jeden den na to prisli, druhej den v poledne fungovali uz na 100%. Stacilo vymenit disky v serveru (stejne to potrebovaly, puvodni byly jeste plotny), nasypat system, nainstalit ucto, ze zaloh natahnout komplet data a bylo hotovo.

Naklady cca 10kKc (cas + disky). Ztraty zpusobene vypadkem veskere nulove.

Cim jednodussi je system zalohovani, tim snaz se to pak obnovuje.

Samozrejme jsou firmy, kde takovy vypadek serveru znamena daleko vetsi pru$er, ale tam taky nepatri tyto primitivni styly zalohovani a obnovy, to uz je ale jine tema.

A ano, znam nekolik firem (nastesti jsem se tam nepodilel na jakekoliv sprave), ktere o data prisly - no, neni to hezky pohled.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: 55.lukas 25. 02. 2022, 19:39:35
Otázka: Firemný NAS okrem iného obsahuje aj kopu súborov, ktoré vznikli pred x rokmi a viem že ich na 99.9999% už nikto nikdy nepoužije.

Rozmýšľam som, že by som ich kvôli zrýchleniu zálohovania dal do archívu (napríklad namiesto 100000  súborov by archivačný software kontroloval len 100 archívov). Aký druh archívu je na toto vhodný? Postačí aj zip?
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 25. 02. 2022, 20:15:55
Rozmýšľam som, že by som ich kvôli zrýchleniu zálohovania dal do archívu (napríklad namiesto 100000  súborov by archivačný software kontroloval len 100 archívov). Aký druh archívu je na toto vhodný? Postačí aj zip?
Já jsem teda na výkonnostní problém způsobený tímto nenarazil, ale jinak na podobné účely používám squashfs. Oproti zipu jde totiž normálně namountovat, takže máš soubory stále jednoduše dostupné.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: 55.lukas 25. 02. 2022, 20:43:45
Myšlienka je taká, že sa budú robiť zálohy aj na externé miesta. Dotyčné miesto má wifi prípojku a na nas sa pripája cez vpn.

Je to stroj s Windows 10. Obávam sa toho, ako dlho mu bude trvať, kým spravi kontrolu - že čo všetko treba zálohovať. Myslel som ,že ak niektoré dáta dám do zip, bude mať menej súborov na spracovanie.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: JmJ 27. 02. 2022, 15:55:04
Kontrola bude mozna o neco rychlejsi, na druhou stranu jestli se pocita nejaky "crc" z 10x1mb nebo z 10mb nebude az takovy rozdil. Na druhou stranu detekce rozdilu podle nejakych jinych atributu souboru bude jiste rychlejsi.

Na treti stranu, kdyz se zmeni 1 kb soubor, bydlici v 100mb zipu, tak je usporeny cas ten tam.

A ted jeste kdyz se neco v zipu zmeni kazdy den, tak presouvate more zbytecnych dat.

Ja preferuju vice mensich (komprimovanych) souboru.
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: _Jenda 28. 02. 2022, 00:32:39
Kontrola bude mozna o neco rychlejsi, na druhou stranu jestli se pocita nejaky "crc" z 10x1mb nebo z 10mb nebude az takovy rozdil.
Typicky to funguje tak, že se vylistují adresáře a porovnávají se velikosti a datum změny. Checksumy se porovnávají jen když si to vynutíš (rsync -c).
Název: Re:Záloha desítek GB u kamaráda
Přispěvatel: 55.lukas 01. 03. 2022, 07:15:16
Rozhodol som sa, že najlepšie bude to najprv otestovať a potom vymýšľať. Na zálohy sa bude používať http://synchronicity.sourceforge.net/ (http://synchronicity.sourceforge.net/).

Otestoval som to na lokálnej sieti, NAS obsahuje (aktuálne) celkovo 588427 súborov v 55340 priečinkoch. Jedná sa o 279 GB dát. Na lokálnej sieti prebieha samotná kontrola rýchlosťou okolo 800 súborov za sekundu. Takže vytvorenie zoznamu trvá 12 až 15 minút. Plus samotné kopírovanie súborov.

Cez víkend spravím reálny test cez VPN a Wifi a následne uvidím aká bude rýchlosť. Ak bude rýchlosť veľmi nízka (napríklad pri rýchlosti 100 súborov / 1 s by vytvorenie zoznamu trvalo cca 1 h 40 min. To je ešte v pohode. Ale ak by to robilo do 20 súborov za sekundu ...) budem riešiť*.

*budem riešiť = určité roky nepoužité a pravdepodobne nikdy viac nepoužiteľné priečinky dám do ZIP. Jedná sa napríklad o dáta z 15 rokov starého PC a podobne.