Zálohování po pomalé lince

[Peter]

Zdravim,
Prosim vas, viete niekto poradit?
potrebujem robit obcasny mirror (nie v realnom case, skor povedzme raz za tyzden) na vzdialeny server, na ktory mam ale velmi pomale spojenie. rad by som na to pouzil software, ktory vie vyrabat nejaky lokalny katalog s informaciami o vzdialenej kopii, ktoru potom aktualizuje na zaklade porovnania lokalnej kopie s katalogom a samozrejme katalog pri tom updatuje.
Ide mi teda o to, aby sa pri mirrorovani neporovnavali subory na lokali so subormi na vzdialenom stroji, ale aby sa porovnanie robilo lokalne a cez siet aby sa prenasali len zmeny.
Rad by som pouzil nieco standardne a pokial mozno otvorene (bnapriklad tsync toto vie, ale otvoreny nieje).
vdaka za ake kolvek napady

[Reklama]

[Petr Krčmář]

Hledáš Duplicity (článek na Rootovi). Ukládá si informace o zálohách u sebe a vyrobí archiv se změnami, který pošle na hloupé úložiště (nemusí tam být nic nainstalováno). Všechno se děje u tebe a až výsledek se posílá ven. Znamená to minimum komunikace s tím úložištěm.

[phejl]

No mozna hleda spis Duply
http://duply.net/wiki/index.php/Duply-documentation

[peter]

Dobry den,
Vdaka za tipy,
ja by som ale potreboval robit mirror, duplicity vytvara nejake archivy.

[OMG]

proc ten lokalni katalog? proc ne rovnou rsync?

[Reklama]

[peter]

Pretoze to velmi dlho trva. Ocakavam, ze ak budem mat lokalny katalog, tak usetrim velke mnozstvo zbytocnej komunikacie. rsync bi bol idealny, keby vedel robit lokalny katalo.

[JardaP .]

Co kdybyste si pri kazdem rsyncu ulozil timestamp, kdy jste to delal a nasledne pomoci find nasel soubory, ktere se zmenily (modify cas mladsi, nez timestamp) a ty predhodil rsyncu, aby se nevytvarely sahodlouhe katalogy souboru na kazde strane, ktere je pak potreba porovnat?

Nejake takove reseni mate treba tady: http://serverfault.com/questions/115945/synchronizing-very-large-folder-structures , ale asi to bude chtit priohnout.

[Filip Jirsák]

rsync vedle změn posílá navíc jen kontrolní součty bloků, to by oproti posílání změn neměl být velký nárůst. Takže pokud to velmi dlouho trvá s rsyncem, bude to při posílání pouze změn jen o málo rychlejší. Pokud tedy rsync používáte správně.

[peter]

no predstavte si takuto situaciu:
- mam priecinok ktory obsahuje v podpriecinkoch 10000 suborov
- od posledneho mirrorovania sa zmenili 3 subory
- ak mi bude rsync porovnavat lokalnu kopiu so vzdialenou, tak to bude trvat strasne dlho a uplne zbytocne.
suhlasite? Alebo pri pouziti rsyncu prehliadam nieco, cim by som mohol rozumne riesit taketo situacie?

vdaka za navrh s pamatanim timestampu, uvazoval som o tom, ze si nieco naprogramujem, povedal som si ale, ze sa najprv opytam, aby som nekodil zbytocne.

[Lol Phirae]

- ak mi bude rsync porovnavat lokalnu kopiu so vzdialenou, tak to bude trvat strasne dlho a uplne zbytocne.
suhlasite? Alebo pri pouziti rsyncu prehliadam nieco, cim by som mohol rozumne riesit taketo situacie?

Ano, když to budeš používat jako debil, tak ti to bude bitově porovnávat lokální a vzdálenou kopii úplně zbytečně. Zkus RTFM.

[JardaP .]

16:09:17. Nechce se mi opakovat. Podle me schudna cesta, jen to dopilovat.

[peter]

Myslim, ze si trochu nerozumieme. Skusim vysvetlit este raz a vy zase mozete skusit jednat trochu normalnejsie. Ak sa neda, tak nevadi, pochopim, kazdy ma nieco, co je nad jeho schopnosti. Ak v dalsej odpovedi dokazete zformulovat aj nieco konstruktivne, tak pokojne aj v takomto jazyku.
Samozrejme mi ani nenapadlo porovnavat obsahy suborov. Ak ale porovnavam len datumy zmien, tak sa takisto musi rsync opytat na kazdy jeden subor druhej strany a musi to urobit cez siet. Teda urobi velmi vela dotazov, ktore su uplne zbytocne, pretoze v konecnom dosledku zisti, ze na lokalnej strane (na strane odkial uploadujem) sa zmenili len 3 subory. Ak by som mal nejaky lokalny katalog, tak by som vykonal vsetky testy na zmeny bez jedineho requestu po sieti a posieti by som riesil len upload zmenenych suborov alebo nebodaj len casti suborov.

[j]

Chjo ... na prasaka, udelas si pro data fs, kterej umi snap. Vyrobis uvodni repliku (tu na remote stroj proste nejak dostat musis) a nasledne uz prenasis jen ten snap = zmeny.

Samo existujou nastroje, ktery umej deduplikovat data na ruznych urovnich, ale nevim o nicem zadarmo ani free.

[JardaP .]

@peter: Reseni, ktere jsem vam podstrcil, cpe do rsyncu jen ty soubory, ktere se zmenily, rsync pak prenese jen zmeny (pokud mate rsync na obou koncich, jinak na to zapomente a pouzijte cp). Porovnavani kontrolnich bloku souctu snad jeste unesete, pokud ne, bude to problem. Snad leda, ze byste to delal pomoci duplicity, jak rikal pan Krcmar a na druhe strane to rourou cpal zase do duplicity, ktere to bude rozbalovat, kam to patri. Jestli to nejak jde, ja duplicity neznam.

Jinak me napada leda zsync, coz vzdalene zni jako to, co asi hledate. Ale je otazka, jestli to pujde priohnout tak, aby to nebyl prilis velky porod. Je potreba web server, ktery by se musel spustit asi na strane zdroje, napriklad na lokalu, na ktery si pak udelate tunel pres ssh a do nej poslete zsync. Ale neberte me moc vazne, fantaziruji, zsync znam jen podle nazvu. Vice v manualu.

[peter]

@JardaP dakujem, pustim sa do vlastneho riesenia, tu som sa opytal len pre pripad, ze existuje nejake riesenie ktore nepoznam.