Fórum Root.cz
Hlavní témata => Server => Téma založeno: Papi 16. 01. 2018, 10:57:45
-
Zdravím.
Chtěl bych se zeptat jaký byste mi doporučili nástroj na zálohování souborů v produkčním prostředí. Moje představa je taková, že například každý týden budu dělat úplnou zálohu, a pak několikrát denně inkrementální zálohu (z poslední úplné).
Koukal jsem na webu po nástrojích jako jsou rsync, rdiff-backup, rsnapshot nebo BorgBackup. Z těch jsem ale vyškrtl rsync a rdiff-backup. Rsync, protože se úplně nehodí pro můj use case a musel bych hodně věci doskriptovávat, a rdiff-backup, protože už není ve vývoji. Co jsem koukal na arch wiki, tak se mi nejvíce líbil BorgBackup, ale připadá mi, že ho skoro nikdo nezná/nepoužívá, tudíž nevím jestli by se hodil pro produkční prostředí.
Ještě dodám, že preferuji nekomerční, open-source řešení, které bude stabilní a nebude si nějakou dobu žádat nějaký zásadní upgrade :)
-
Moc hezky popsáno, ale chybí zásadní informace:
1) virtuální prostředí, nebo fyzický stroj,
2) jaký OS,
3) jaký je požadavek na rychlé kompletní obnovení vs. granularitu záloh,
4) jaký typ dat je zálohován (zejm. databáze, otevřené, intenzivně zapisované soubory apod.)
5) jaký je požadavek na archiv záloh (tedy schopnost vracet se zpět v čase v krocích)
-
Zdravím.
Chtěl bych se zeptat jaký byste mi doporučili nástroj na zálohování souborů v produkčním prostředí. Moje představa je taková, že například každý týden budu dělat úplnou zálohu, a pak několikrát denně inkrementální zálohu (z poslední úplné).
Koukal jsem na webu po nástrojích jako jsou rsync, rdiff-backup, rsnapshot nebo BorgBackup. Z těch jsem ale vyškrtl rsync a rdiff-backup. Rsync, protože se úplně nehodí pro můj use case a musel bych hodně věci doskriptovávat, a rdiff-backup, protože už není ve vývoji. Co jsem koukal na arch wiki, tak se mi nejvíce líbil BorgBackup, ale připadá mi, že ho skoro nikdo nezná/nepoužívá, tudíž nevím jestli by se hodil pro produkční prostředí.
Ještě dodám, že preferuji nekomerční, open-source řešení, které bude stabilní a nebude si nějakou dobu žádat nějaký zásadní upgrade :)
Nekomerční a pro produkci :-)
Mrkni na
https://blog.bacula.org/
https://sourceforge.net/projects/bacula/
zda vyhovuje tomu co chceš.
-
A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.
-
Moc hezky popsáno, ale chybí zásadní informace:
1) virtuální prostředí, nebo fyzický stroj,
2) jaký OS,
3) jaký je požadavek na rychlé kompletní obnovení vs. granularitu záloh,
4) jaký typ dat je zálohován (zejm. databáze, otevřené, intenzivně zapisované soubory apod.)
5) jaký je požadavek na archiv záloh (tedy schopnost vracet se zpět v čase v krocích)
1) Převážně virtuální stroje, nicméně do budoucna budou asi převažovat fyzické.
2) Debian 8/9
3) Asi úplně nevím co tím přesně máte na mysli. Každopádně na rychlost nemám nějaké extrémní nároky.
4) Převážně dokumenty a fotky, které se nějak intenzivně nemění.
5) Určitě by bylo dobré, kdybych se mohl pohodlně vracet ke starším zálohám v rámci balíku inkrementálních záloh. Představoval bych si něco jednoduchého jako `git checkout commit_id`.
A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.
Pokud je spolehlivý a funguje, tak to asi velký problém není. Nicméně je mi mnohem příjemnější používat software s aktivní developerskou komunitou.
-
Asi se na to hodí bacula / bareos, ale není to tak stabilní, jako komerční řešení a celá filozofie toho systému je víc než prehistorická. Bohužel, komerční řešení se většinou nezaměřují na linux, když už agenta mají, tak jen okrajově.
Pokud něco moderního, pak má smysl provozovat virtuální stroje, a ty zálohovat pomocí Veeam Backup. To nemá ve světě OSS žádnou rozumnou alternativu.
Pokud nemáte požadavek na archiv (vracení se v čase), pak je rsync dobrým jednoduchým řešením.
Pokud chcete k rsyncu přidat aspoň nějakou možnost vracení se v čase, pak stojí za to zvážit a) zálohování na ZFS + deduplikace (náročné na RAM!), b) ZFS + snapshoty.
Řešení je hafo, musíte najít to, co bude sedět nejen na situaci, ale i Vašemu naturelu.
-
4) Převážně dokumenty a fotky, které se nějak intenzivně nemění.
5) Určitě by bylo dobré, kdybych se mohl pohodlně vracet ke starším zálohám v rámci balíku inkrementálních záloh. Představoval bych si něco jednoduchého jako `git checkout commit_id`.
Myslím, že na uvedené se zrovna rdiff-backup docela hodí. Sám používám několik let, jednoduché i na restore.
-
Myslím, že na uvedené se zrovna rdiff-backup docela hodí. Sám používám několik let, jednoduché i na restore.
Asi neumím používat google, ale nepodařilo se mi zjistit jak s rdiff-backup pohodlně "cestovat" mezi různými verzemi zálohy. Mohl bych to potřebovat v případě, že přesně nevím kterou zálohu potřebuji.
-
Pouzivam ke spokojenosti rsnapshot. konfortni relativne lehce nastavitelne. Jen jedna nevyhoda zalohy nejsou sifrovane.
-
rsync + btrfs snapshots se zapnutou kompresí
-
A vadi, ze rdiff-backup neni vyvijen? Co byste na nem jeste chtel vyvinout? Cilem neni vytvorit dalsi bloatware.
Pokud je spolehlivý a funguje, tak to asi velký problém není. Nicméně je mi mnohem příjemnější používat software s aktivní developerskou komunitou.
Jenze pokud z toho nema vzniknout nejaka redmondska Godzilla, tak uz nejspis neni co vyvijet a tak by se u toho akorat dloubali v nose. Dulezite je, jestli nekdo lepi chyby, coz netusim. Ja s tim zalohuju doma a rikam si, ze i kdyby trakare padaly, tak k posledni zaloze se vzdycky nejak dostanu, protoze ta je vzdy otevrena a rovnou dostupna, na rozdil od predchozich, ktere jsou jen jakysi delta bordel.
-
Asi neumím používat google, ale nepodařilo se mi zjistit jak s rdiff-backup pohodlně "cestovat" mezi různými verzemi zálohy. Mohl bych to potřebovat v případě, že přesně nevím kterou zálohu potřebuji.
Nejmensi opruz je rdif-backup-fs., jinak pres prikazovou radku.
-
rsync bych neodepisoval, verzovat se s tím dá. (--link-dest, hardlinky)
pro představu třeba https://github.com/laurent22/rsync-time-backup
Používám to jako time-machine na tupých NAS Synology. Na GitHUBu je toho k dohledání dost, chce to jen trochu poladit skripty(=napsat znovu) a otestovat.
// Moc jsem tomu nevěřil, po drsných 4 měsících s powershellem jsem si u bash dost zanadával, ale nelituji :D dá se to naskriptovat jednoduše i s údržbou historie a hlášením výsledků na mail.
Z Bacule apod jsem vyléčený.
-
Zrovna BorgBackup bych nezavrhoval. Používám již 3 roky bez jakéhokoli problému. Vývoj je celkem aktivní přidávají se nové vlastnosti.
Na zálohy virtuálek by to bylo vhodné protože má deduplikaci. Jednoduché nastavení zachování záloh např 7 denních, 4 týdenní, 6 měsíčních,1 roční.
Zálohy jsou mountovatelné přes FUSE.
A mnoho dalších zajímavých vlastností.
Zatím bych neměnil.
-
rsync + btrfs snapshots se zapnutou kompresí
jo presne toto je super. pozor vsak na spravne nastaveni btrfs, dostatek pameti, a nutnosti je ups.
kdyz vam totiz btrfs "spadne" neexistuje rozumny nastroj, jak ho opravit.
pokud dodrzite sekvenci:
- pripojim btrfs
- rsync ze zdroje na btrfs volume
- btrfs snapshot toho volume
- odpojite btrfs
tak to funguje paradne.
nesmite vsak behem tech operaci nic posrat.
posrat se to da:
- dojde ram
- dojde AC 220/110V
- pokazi se neco na disku (proto je lepsi pouzit jako podkladovy 'disk' nejaky raid - i kdyz tu mnozi budou argumentovat 'silent data corruption', sam pouzivam md raid1. raidu u btrfs neverim)
- mozna nejaky dalsi shit,
ale jinak mam pres vsechny krehkosti rad diky jeho deklaraci toho co by mel delat - staci si jen pohlidat tu spravnou implementaci.
-
rsync bych neodepisoval, verzovat se s tím dá. (--link-dest, hardlinky)
pro představu třeba https://github.com/laurent22/rsync-time-backup
Pokud ale budou caste male zmeny ve velkych souborech, bude tohle mnohem mene usporne nez rdiff-backup.
-
rsync bych neodepisoval, verzovat se s tím dá. (--link-dest, hardlinky)
pro představu třeba https://github.com/laurent22/rsync-time-backup
Pokud ale budou caste male zmeny ve velkych souborech, bude tohle mnohem mene usporne nez rdiff-backup.
To jo, třeba pst soubory z outlooku :D ale na ty mám zas jiný skript, tam rotuji počet verzí.
Záleží, na co se to použije. Na zálohy dokumentů to stačí. Na virtuálku je to nepoužitelné.
...ono stačí změnit název složky, která má třeba 100GB a všechno se tam nahrká znovu. Že se změnily jen cesty nepozná.Znám pár takových, co pořád uklízí v počítači :D
ani nevím jestli u rsync nebyl nějaký strop na velikost souboru.
rdiff-backup na NAS Synology nemám - nějak se tam dostat dá, ale neměl jsem z toho dobrý pocit.
Na normálním železe není problém.( U pastiček typu DS215 si moc vymýšlet nemůžu, jsou to takové domácí hračky)
-
...ono stačí změnit název složky, která má třeba 100GB a všechno se tam nahrká znovu. Že se změnily jen cesty nepozná.Znám pár takových, co pořád uklízí v počítači :D
Tak tohle bohuzel nepozna ani rdiff-backup. To by byl dost velky opruz naprogramovat, asi by se musely pocitat hashe nebo co.
rdiff-backup na NAS Synology nemám - nějak se tam dostat dá, ale neměl jsem z toho dobrý pocit.
Tak on tam snad byt nemusi, pokud tedy zalohuji od nekud na NAS, ne tak, ze z NASu zalohuju vzdaleny stroj. Takze by melo stacit SSH, mozna rdiff. Nevim, ja to zatim pouzil jen lokalne.
-
Se divim, ze jeste nikdo nezminil BackupPC. Umi diferencialni i inkrementalni zalohy, ma deduplikaci i zip zaloh. Pro nekoho je nevyhoda, ze nema klienta, ale zase podporuje zalohy pres rsync, ssh, smb a ftp. A jako bonus ma pekne WWW rozhrani, pres ktere se necha spustit i obnova dat ze zalohy. Pokud nechces zalohovat na pasky, tak nic lepsiho (zadarmo) neni.
-
U backuppc by bylo dobré se podívat rovnou na verzi 4, která již nepoužívá hardlinky a tudíž lze souborovou strukturu snadnou přesunout na jiný filesystém. A/nebo rovnou umístit na ZFS/btrfs, aby se to snadno zálohovalo snapshoty na offline zálohy.
-
IMHO ti uplne bude stacit Duplicity, pripadne duply pokud si chces zjednodusit konfiguraci.
-
Díky za všechny návrhy. Nakonec jsem se rozhodl pro BackupPC. Je ve velmi aktivním vývoji, při restoru souborů vrací chmody a vlastníky, a je vysoce konfigurovatelný.
-
Díky za všechny návrhy. Nakonec jsem se rozhodl pro BackupPC. Je ve velmi aktivním vývoji, při restoru souborů vrací chmody a vlastníky, a je vysoce konfigurovatelný.
Ten aktivni vyvoj by me trochu desil.
Prava a vlastniky dostanu z rsync nebo rdiff-backup take (pokud tedy chci). To je snad normalni pozadavek, ne?
-
Aktivní v tomto případě znamená, že se do něj dodělávají nové featury, že projekt žije.
Přechod od hardlinků (v. 3) k "zástupcům" (v. 4) je dost zásadní posun dopředu. Zrovna řeším přesun 11TB XFS s 15 lety záloh backuppc na ZFS. Zkusil jsem zvol + XFS, ale rychlost čtení kvůli maličkým 4kB blokům spadla na desetinu, což je na provoz nereálné. Takže nezbude než zkonvertovat pool na v. 4 bez hardlinků, aby to šlo překopírovat. Naštěstí je na to nástroj = aktivní vývoj.
-
Aktivní v tomto případě znamená, že se do něj dodělávají nové featury, že projekt žije.
To ano, ale potencialne take nove bugy a nekdy nekompatibility se starimi verzemi, napriklad zde by mohla vzniknout nekompatibilita se starymi zalohami. Nevim, jak to zalohuje a jestli by to byl problem, to byl jen priklad.
Jde take o to, aby tam nebyly pridavane nove ficury jen za ucelem pridavani novych ficur.