Záloha desítek GB u kamaráda

Re:Záloha desítek GB u kamaráda
« Odpověď #15 kdy: 22. 02. 2022, 17:46:32 »
btrfs jsou taky bastlici.


Re:Záloha desítek GB u kamaráda
« Odpověď #16 kdy: 22. 02. 2022, 17:49:41 »
Jen tak v rámci "akademické debaty" - co na serveru zpřístupnit alokovaný soubor nebo rovnou celý oddíl či disk jako iSCSI target a na klientovi připojit (skrz nějaký šifrovaný tunel) jako blokové zařízení, se všemi výhodami i neduhy z toho plynoucími? Nezkoušel někdo nějakou takovou šílenost v praxi? :-)

_Jenda

  • *****
  • 1 166
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #17 kdy: 22. 02. 2022, 17:55:20 »
Jen tak v rámci "akademické debaty" - co na serveru zpřístupnit alokovaný soubor nebo rovnou celý oddíl či disk jako iSCSI target a na klientovi připojit (skrz nějaký šifrovaný tunel) jako blokové zařízení, se všemi výhodami i neduhy z toho plynoucími? Nezkoušel někdo nějakou takovou šílenost v praxi? :-)
Vždyť to píšu, já to tak používám. Teda místo iSCSI používám NBD (přes openvpn) nebo sshfs (na kterém je soubor co se připojí přes loopback).

Re:Záloha desítek GB u kamaráda
« Odpověď #18 kdy: 22. 02. 2022, 18:26:05 »
Já osobně bych doporučil https://rclone.org/. Je to OpenSource a je to udržovaný projekt.

Co se týče ransomware, asi nejlepší je offline záloha (disk v šuplíku, připojený jenom pro zálohování nebo obnovu dat). Ale pokuď jde o něco aplikovatelného na server/NAS, tak bych doporučl nějaký filesystém který podporuje snapshoty, jako například BTRFS (zde je detailní popis co a jak https://wiki.archlinux.org/title/Btrfs), ZFS nebo OpenZFS (mám zkušenost jenom s BTRFS).

Já mám 24/7 běžící NAS, vlastní stavby, kde beží GNU/Linux, disky jsou v RAID6 pomocí mdadm, nad RAID pak je LUKS a nad LUKS je BTRFS. Pravidelná záloha je pak pomocí systemd pravidelně spouštějící se rclone synchronizační script (script obsahuje jenom rclone příklad s argumenty).

Systémový disk je též šifrovaný a dá se odemknout na dálku pomocí SSH. Na systémové disku pak mám uložený keyfile (klíč) který odemyká zmíněný RAID. Systém je také na BTRFS a s pomocí timeshift vytváří pravidelně snapshoty root a home, do kterých je možné nabootovat pomocí grub-btrfs v případě že se update systému nepovede (https://github.com/teejee2008/timeshift; https://github.com/Antynea/grub-btrfs). timeshift je naneštěstí omezen pouze na root a home, ale pro moje účely to stačí.

Re:Zaloha desitek GB u kamarada
« Odpověď #19 kdy: 22. 02. 2022, 19:02:09 »
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.


Re:Zaloha desitek GB u kamarada
« Odpověď #20 kdy: 22. 02. 2022, 20:25:03 »
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.
Těch formátů, které jsou interně komprimované (typicky stejným algoritmem, jako používá ZIP), je daleko víc – javovské JAR, všechny moderní koncelářské formáty (jak Microsoftu tak OpenOffice.org), obvykle PDF, PNG… Řešit u každého souboru, zda se má nebo nemá komprimovat, by asi bylo zbytečně komplikované. Ale když se komprimuje a šifruje a je to pouze otázka správného pořadí kroků, je nesmysl dělat to systematicky špatně.

Re:Zaloha desitek GB u kamarada
« Odpověď #21 kdy: 22. 02. 2022, 20:41:02 »
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.
Hezky !
A jpeg fotky taky ne.
Těch formátů, které jsou interně komprimované (typicky stejným algoritmem, jako používá ZIP), je daleko víc – javovské JAR, všechny moderní koncelářské formáty (jak Microsoftu tak OpenOffice.org), obvykle PDF, PNG… Řešit u každého souboru, zda se má nebo nemá komprimovat, by asi bylo zbytečně komplikované. Ale když se komprimuje a šifruje a je to pouze otázka správného pořadí kroků, je nesmysl dělat to systematicky špatně.
Jasně že je nesmysl dělat to systematicky špatně, však píšu “Hezky” :-)
Ale pokud OP píše, že tam má hlavně fotky a videa, tak je komprimace  zbytečná protože neuspoří.

Re:Záloha desítek GB u kamaráda
« Odpověď #22 kdy: 22. 02. 2022, 21:08:25 »
Ne, že bych ryl, ale IMHO málokdo, kdo chce nebo zde navrhuje sofistikovaná zálohovací řešení si uvědomuje, že obnova bude nejen přinejmenším stejně složitá jako zálohování, ale složitost bude umocněná zapomněním (daným časovou prodlevou) a momentálním stresem. ”Jak jsem to vlastně tehdy udělal?” “Jaká jsou hesla, kde mám klíče?”

Podle mne je třeba buď zálohovat jednoduše nebo zálohování svěřit metodice obsažené v komplexnějším SW, ne bastlit.

Co se týče ochrany před ransomware, samozřejmě je třeba mít více generací záloh a mít aspoň starší off-line.
« Poslední změna: 22. 02. 2022, 21:14:06 od FKoudelka »

Re:Záloha desítek GB u kamaráda
« Odpověď #23 kdy: 22. 02. 2022, 21:27:18 »
@fkoudelka - good point. Proto jako systémák nesnáším různé skriptbastly, které mi občas padají do klína když přebíráme nestandartní systémy po blbečkách, co mají utkvělou představu, že hotový SW je fuj a nutně si to napíšou líp, než to dělá Veeam/Commvault/Veritas a spol.

Když dojde na obnovu, je k nezaplacení, když jde všecko přesně podle dokumentace...

by_cx

  • ***
  • 175
    • Zobrazit profil
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #24 kdy: 22. 02. 2022, 22:32:46 »
nesnáším různé skriptbastly, které mi občas padají do klína když přebíráme nestandartní systémy po blbečkách, co mají utkvělou představu, že hotový SW je fuj a nutně si to napíšou líp

Tak díky. Máme zálohování řešené bashovými skripty pomocí rsync a Btrfs snapshotů. Bylo to hotové rychle, nepoužívá to žádný proprietární formát, obnova se zase dělá přes rsync a hlavně se to perfektně integrovalo přes service discovery. Normálně to funguje, občas i něco klientům obnovujeme a nemáme problém to z toho Btrfs vykopírovat.


Jose D

  • *****
  • 755
    • Zobrazit profil
Re:Záloha desítek GB u kamaráda
« Odpověď #25 kdy: 22. 02. 2022, 23:10:27 »
Už to tu padlo, borgbackup . Je to hotové, má to deduplikaci, jede to po ssh, má to šifrování, není to blackbox mamut typu veeam.

Zalohuju a obnovuju tím desítky TB už pár let, a dá se nad tím postavit udržitelné workflow.

luvar

  • ***
  • 201
    • Zobrazit profil
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #26 kdy: 22. 02. 2022, 23:12:16 »
Mal som pokus (vdaka extra nestabilnej linke neuspesny), kde som si nazdielal disk z druheho (kamaratovho) PC cez iscsi a nasledne lokalne pouzil cryptoloop (alebo luks?) a na tento block device som uz len "lokalne" robil btrfs send z druheho btrfs.

Moja sprava pre tento topik je, že použitie iscsi po sieti a nasledne kryptovaciu vrstvu nad to (už na svojom PC) by mohlo byť riešením, ale mrknúť sa na zložitosť iscsi a tiež na problémy pri packet loss na linke (asi 3 percentný robil problém pri niekoľko desiatkach gigabajtov pre btrfs send).

Re:Záloha desítek GB u kamaráda
« Odpověď #27 kdy: 22. 02. 2022, 23:18:27 »
Máme zálohování řešené bashovými skripty pomocí rsync a Btrfs snapshotů.

Pokud je k tomu dokumentace a není oneman show typu "mám to v hlavě", pokud je to inhouse vyvíjené (tedy ne za odpoledne spíchnuté a navzdy zapomenuté), pokud to validujete, updatujete a kontrolujete - nic proti tomu.

Realita bastličů je obvykle někde jinde - kolikrát jsem slyšel "tady by to někde mělo být" v okamžiku, kdy chci předvést, kde přesně jsou zálohy. Následuje "hmm, podívám se po tom a ozvu se",  málokdy to dojde do stavu "testovací obnova OK, tady je protokol"

EDIT: málem jsem zapomněl nejpopulárnější kus- "ještě minulý týden to fungovalo, to jsem si jistý" :-D
« Poslední změna: 22. 02. 2022, 23:20:28 od nocturne.op.15 »

_Jenda

  • *****
  • 1 166
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #28 kdy: 22. 02. 2022, 23:54:42 »
Realita bastličů je obvykle někde jinde - kolikrát jsem slyšel "tady by to někde mělo být" v okamžiku, kdy chci předvést, kde přesně jsou zálohy. Následuje "hmm, podívám se po tom a ozvu se",  málokdy to dojde do stavu "testovací obnova OK, tady je protokol"
Zajímavé, prezentované řešení typicky vede k tomu, že zálohy máš přímo dostupné v /mnt/backups/snapshot/datum jako soubory.

Ne, že bych ryl, ale IMHO málokdo, kdo chce nebo zde navrhuje sofistikovaná zálohovací řešení si uvědomuje, že obnova bude nejen přinejmenším stejně složitá jako zálohování
Obnova se provádí prohozením source a destination parametru rsyncu (nebo si vybraný soubor z /mnt/backup zkopíruješ někam jinak a třeba ho porovnáš s aktuální verzí - nebo verze z různých snapshotů mezi sebou, když hledáš třeba "poslední funkční verzi")

Re:Záloha desítek GB u kamaráda
« Odpověď #29 kdy: 23. 02. 2022, 05:28:24 »
Bacula? Ma vsetko co pozadujete a kopu veci naviac.