Zálohování souborů z produkčních serverů

Papi

Zálohování souborů z produkčních serverů
« kdy: 16. 01. 2018, 10:57:45 »
Zdravím.
Chtěl bych se zeptat jaký byste mi doporučili nástroj na zálohování souborů v produkčním prostředí. Moje představa je taková, že například každý týden budu dělat úplnou zálohu, a pak několikrát denně inkrementální zálohu (z poslední úplné).

Koukal jsem na webu po nástrojích jako jsou rsync, rdiff-backup, rsnapshot nebo BorgBackup. Z těch jsem ale vyškrtl rsync a rdiff-backup. Rsync, protože se úplně nehodí pro můj use case a musel bych hodně věci doskriptovávat, a rdiff-backup, protože už není ve vývoji. Co jsem koukal na arch wiki, tak se mi nejvíce líbil BorgBackup, ale připadá mi, že ho skoro nikdo nezná/nepoužívá, tudíž nevím jestli by se hodil pro produkční prostředí.

Ještě dodám, že preferuji nekomerční, open-source řešení, které bude stabilní a nebude si nějakou dobu žádat nějaký zásadní upgrade :)


Re:Zálohování souborů z produkčních serverů
« Odpověď #1 kdy: 16. 01. 2018, 11:00:50 »
Moc hezky popsáno, ale chybí zásadní informace:
1) virtuální prostředí, nebo fyzický stroj,
2) jaký OS,
3) jaký je požadavek na rychlé kompletní obnovení vs. granularitu záloh,
4) jaký typ dat je zálohován (zejm. databáze, otevřené, intenzivně zapisované soubory apod.)
5) jaký je požadavek na archiv záloh (tedy schopnost vracet se zpět v čase v krocích)

kolemjdouci

Re:Zálohování souborů z produkčních serverů
« Odpověď #2 kdy: 16. 01. 2018, 11:03:52 »
Zdravím.
Chtěl bych se zeptat jaký byste mi doporučili nástroj na zálohování souborů v produkčním prostředí. Moje představa je taková, že například každý týden budu dělat úplnou zálohu, a pak několikrát denně inkrementální zálohu (z poslední úplné).

Koukal jsem na webu po nástrojích jako jsou rsync, rdiff-backup, rsnapshot nebo BorgBackup. Z těch jsem ale vyškrtl rsync a rdiff-backup. Rsync, protože se úplně nehodí pro můj use case a musel bych hodně věci doskriptovávat, a rdiff-backup, protože už není ve vývoji. Co jsem koukal na arch wiki, tak se mi nejvíce líbil BorgBackup, ale připadá mi, že ho skoro nikdo nezná/nepoužívá, tudíž nevím jestli by se hodil pro produkční prostředí.

Ještě dodám, že preferuji nekomerční, open-source řešení, které bude stabilní a nebude si nějakou dobu žádat nějaký zásadní upgrade :)

Nekomerční a pro produkci :-)

Mrkni na
https://blog.bacula.org/
https://sourceforge.net/projects/bacula/

zda vyhovuje tomu co chceš.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Zálohování souborů z produkčních serverů
« Odpověď #3 kdy: 16. 01. 2018, 11:10:52 »
A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.

Papi

Re:Zálohování souborů z produkčních serverů
« Odpověď #4 kdy: 16. 01. 2018, 11:15:17 »
Moc hezky popsáno, ale chybí zásadní informace:
1) virtuální prostředí, nebo fyzický stroj,
2) jaký OS,
3) jaký je požadavek na rychlé kompletní obnovení vs. granularitu záloh,
4) jaký typ dat je zálohován (zejm. databáze, otevřené, intenzivně zapisované soubory apod.)
5) jaký je požadavek na archiv záloh (tedy schopnost vracet se zpět v čase v krocích)

1) Převážně virtuální stroje, nicméně do budoucna budou asi převažovat fyzické.
2) Debian 8/9
3) Asi úplně nevím co tím přesně máte na mysli. Každopádně na rychlost nemám nějaké extrémní nároky.
4) Převážně dokumenty a fotky, které se nějak intenzivně nemění.
5) Určitě by bylo dobré, kdybych se mohl pohodlně vracet ke starším zálohám v rámci balíku inkrementálních záloh. Představoval bych si něco jednoduchého jako `git checkout commit_id`.


A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.
Pokud je spolehlivý a funguje, tak to asi velký problém není. Nicméně je mi mnohem příjemnější používat software s aktivní developerskou komunitou.


Re:Zálohování souborů z produkčních serverů
« Odpověď #5 kdy: 16. 01. 2018, 11:20:12 »
Asi se na to hodí bacula / bareos, ale není to tak stabilní, jako komerční řešení a celá filozofie toho systému je víc než prehistorická. Bohužel, komerční řešení se většinou nezaměřují na linux, když už agenta mají, tak jen okrajově.

Pokud něco moderního, pak má smysl provozovat virtuální stroje, a ty zálohovat pomocí Veeam Backup. To nemá ve světě OSS žádnou rozumnou alternativu.

Pokud nemáte požadavek na archiv (vracení se v čase), pak je rsync dobrým jednoduchým řešením.
Pokud chcete k rsyncu přidat aspoň nějakou možnost vracení se v čase, pak stojí za to zvážit a) zálohování na ZFS + deduplikace (náročné na RAM!), b) ZFS + snapshoty.

Řešení je hafo, musíte najít to, co bude sedět nejen na situaci, ale i Vašemu naturelu.

Boban

Re:Zálohování souborů z produkčních serverů
« Odpověď #6 kdy: 16. 01. 2018, 11:29:56 »
4) Převážně dokumenty a fotky, které se nějak intenzivně nemění.
5) Určitě by bylo dobré, kdybych se mohl pohodlně vracet ke starším zálohám v rámci balíku inkrementálních záloh. Představoval bych si něco jednoduchého jako `git checkout commit_id`.
Myslím, že na uvedené se zrovna rdiff-backup docela hodí. Sám používám několik let, jednoduché i na restore.

Papi

Re:Zálohování souborů z produkčních serverů
« Odpověď #7 kdy: 16. 01. 2018, 12:43:56 »
Myslím, že na uvedené se zrovna rdiff-backup docela hodí. Sám používám několik let, jednoduché i na restore.
Asi neumím používat google, ale nepodařilo se mi zjistit jak s rdiff-backup pohodlně "cestovat" mezi různými verzemi zálohy. Mohl bych to potřebovat v případě, že přesně nevím kterou zálohu potřebuji.

george

Re:Zálohování souborů z produkčních serverů
« Odpověď #8 kdy: 16. 01. 2018, 13:52:40 »
Pouzivam ke spokojenosti rsnapshot. konfortni relativne lehce nastavitelne. Jen jedna nevyhoda zalohy nejsou sifrovane.

Dik

Re:Zálohování souborů z produkčních serverů
« Odpověď #9 kdy: 16. 01. 2018, 14:03:02 »
rsync + btrfs snapshots se zapnutou kompresí

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Zálohování souborů z produkčních serverů
« Odpověď #10 kdy: 16. 01. 2018, 14:06:26 »
A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.
Pokud je spolehlivý a funguje, tak to asi velký problém není. Nicméně je mi mnohem příjemnější používat software s aktivní developerskou komunitou.

Jenze pokud z toho nema vzniknout nejaka redmondska Godzilla, tak uz nejspis neni co vyvijet a tak by se u toho akorat dloubali v nose. Dulezite je, jestli nekdo lepi chyby, coz netusim. Ja s tim zalohuju doma a rikam si, ze i kdyby trakare padaly, tak k posledni zaloze se vzdycky nejak dostanu, protoze ta je vzdy otevrena a rovnou dostupna, na rozdil od predchozich, ktere jsou jen jakysi delta bordel.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Zálohování souborů z produkčních serverů
« Odpověď #11 kdy: 16. 01. 2018, 14:10:02 »
Asi neumím používat google, ale nepodařilo se mi zjistit jak s rdiff-backup pohodlně "cestovat" mezi různými verzemi zálohy. Mohl bych to potřebovat v případě, že přesně nevím kterou zálohu potřebuji.

Nejmensi opruz je rdif-backup-fs., jinak pres prikazovou radku.

blacknoisex

Re:Zálohování souborů z produkčních serverů
« Odpověď #12 kdy: 16. 01. 2018, 21:56:49 »
rsync bych neodepisoval, verzovat se s tím dá. (--link-dest, hardlinky)

pro představu třeba https://github.com/laurent22/rsync-time-backup

Používám to jako time-machine na tupých NAS Synology. Na GitHUBu je toho k dohledání dost, chce to jen trochu poladit skripty(=napsat znovu) a otestovat.

//  Moc jsem tomu nevěřil, po drsných 4 měsících s powershellem jsem si u bash dost zanadával, ale nelituji :D dá se to naskriptovat jednoduše i s údržbou historie a hlášením výsledků na mail.
 
Z Bacule apod jsem vyléčený.

Re:Zálohování souborů z produkčních serverů
« Odpověď #13 kdy: 16. 01. 2018, 22:40:41 »
Zrovna BorgBackup bych nezavrhoval. Používám již 3 roky bez jakéhokoli problému. Vývoj je celkem aktivní přidávají se nové vlastnosti.
Na zálohy virtuálek by to bylo vhodné protože má deduplikaci.  Jednoduché nastavení zachování záloh např  7 denních, 4 týdenní, 6 měsíčních,1 roční.
Zálohy jsou mountovatelné přes FUSE.
A mnoho dalších zajímavých vlastností.
Zatím bych neměnil.

easy

Re:Zálohování souborů z produkčních serverů
« Odpověď #14 kdy: 16. 01. 2018, 22:41:30 »
rsync + btrfs snapshots se zapnutou kompresí

jo presne toto je super. pozor vsak na spravne nastaveni btrfs, dostatek pameti, a  nutnosti je ups.
kdyz vam totiz btrfs "spadne" neexistuje rozumny nastroj, jak ho opravit.

pokud dodrzite sekvenci:
- pripojim btrfs
- rsync ze zdroje na btrfs volume
- btrfs snapshot toho volume
- odpojite btrfs

tak to funguje paradne.

nesmite vsak behem tech operaci nic posrat.
posrat se to da:
- dojde ram
- dojde AC 220/110V
- pokazi se neco na disku (proto je lepsi pouzit jako podkladovy 'disk' nejaky raid - i kdyz tu mnozi budou argumentovat 'silent data corruption', sam pouzivam md raid1. raidu u btrfs neverim)
- mozna nejaky dalsi shit,

ale jinak mam pres vsechny krehkosti rad diky jeho deklaraci toho co by mel delat - staci si jen pohlidat tu spravnou implementaci.