Zálohování po pomalé lince

[Filip Jirsák]

Tak to budeš psát přesně ten unison, akorát ten navíc finálně synchronizuje algoritmy rsyncu.

Takže pokud se spustí nad WebDAVem připojeným jako disk, bude se ten soubor přenášet mnohokrát sem a tam.

Myslím, že ta „pomalá linka“ v názvu tématu je součástí zadání, není to cíl, ke kterému se snažíme dojít, ať už bude původně linka jakkoli kapacitní…

[Reklama]

[crown]

Tak to budeš psát přesně ten unison, akorát ten navíc finálně synchronizuje algoritmy rsyncu.

Takže pokud se spustí nad WebDAVem připojeným jako disk, bude se ten soubor přenášet mnohokrát sem a tam.

Myslím, že ta „pomalá linka“ v názvu tématu je součástí zadání, není to cíl, ke kterému se snažíme dojít, ať už bude původně linka jakkoli kapacitní…

To ne, ja chci (co nejvice to jde) prenaset data jen jednosmerne. Unison taha i zpatky.

Pripominku s nemoznosti castecneho prepisu pres WebDav beru - nevedel jsem to. Musim rict, ze me ani nenapadlo zkouset sam prepisovat pouze cast souboru. Taky je to tim, ze tam asi nemam zadny velky soubor s malymi zmenami. Treba na virtualni disk by to byl velky problem.

Skoda, ze nemuzu pouzit original synchronizacniho klienta. (deaktivovan u nas centralne).

[dustin]

A nestačil by parametr --fastcheck?

[dustin]

To ne, ja chci (co nejvice to jde) prenaset data jen jednosmerne. Unison taha i zpatky.

Unison umí tahat i jen jednosměrně a i přitom využívá svou lokální databázi již přenesených změn. Parametr --force http://superuser.com/a/296663

[crown]

To ne, ja chci (co nejvice to jde) prenaset data jen jednosmerne. Unison taha i zpatky.

Unison umí tahat i jen jednosměrně a i přitom využívá svou lokální databázi již přenesených změn. Parametr --force http://superuser.com/a/296663

Ted to testuju, dekuju za napad.

Unison -force localfolder localfolder remotefolder

Vypada to ale, ze to stale testuje zmeny souboru v obou adresarich

S parametrem fastcheck true je to znatelne rychlejsi, ale stejne to zrejme saha na remotefolder a taha datum modifikace a delku souboru

[Reklama]

[crown]

Tak se omlouvam - treti synchronizace uz je velmi rychla - podstatne rychlejsi nez prvni (jasne, kopiruje se), ale i nez druha, kde se uz nic nezmenilo.

Uvidim jeste, jestli si necha ulozeny stav neomezene dlouho, nebo jen urcity cas.

[JardaP .]

Jeste mozna zkuste mrknout sem: https://github.com/egorFiNE/bigsync/blob/master/README.md

Je to neco, jako zsync, ale pro upload. Je to sice puvodne navrzeno na velke soubory, ale to by asi nevadilo, da se nastavit velikost bloku. Kazde spusteni prenasi jen jeden soubor, ale to by slo doskriptovat. Akorat je otazka, kde a jak to uklada ty kontrolni soucty, protoze jestli to je pohromade s temi zdrojovymi soubory, tak to by byl asi trochu bordel. Takze by to nekdo musel preorat, aby je to ukladalo jinde.

[artom]

Dobrý den,

pěkná diskuze, když jsem v tom, chci se Vás zeptat, mám lokalní adresář ve kterém se pravidelně v noci ukládájí data, vždy v přesný čas, jak vhodně tento adresář zálohovat na FTP, aktuálně používám jednoduchý vlastní script v bash, ale problém je, že starší podadresáře musím na FTP mazat, protože to není 1:1 kopie, občas nějaký podadresář ve zdroji dat se odstraní, lze to synchronizovat směřem na FTP jako přesnou kopii, např. mountovat FTP a pak to dělat přes rsync? Umí rsync smazat soubory co nejsou v source datech?

Artom

[JardaP .]

man rsync. Mazat samozrejme umi.

 --delete                delete extraneous files from dest dirs
 --delete-before         receiver deletes before xfer, not during
 --delete-during         receiver deletes during the transfer
 --delete-delay          find deletions during, delete after
 --delete-after          receiver deletes after transfer, not during
 --delete-excluded       also delete excluded files from dest dirs


Ale pres namontovany FTP si rsyncu moc neuzijete. Bez podpory na druhe strane to neni ten spravny orgasmus.

[artom]

OK, ale co s tím, když na truhé straně je pouze FTP, myslel jsme, že lze rsync pustit na lokalní adresáč a jako cíl mu předhodit ten FTP mount a říct mu, synchronizuj a co je navíc v destination proti source tak to smaž, vlastně z toho pohledu je to jen porovnání dvou adresářů, to zkusím s nějakým diff.

man rsync. Mazat samozrejme umi.

 --delete                delete extraneous files from dest dirs
 --delete-before         receiver deletes before xfer, not during
 --delete-during         receiver deletes during the transfer
 --delete-delay          find deletions during, delete after
 --delete-after          receiver deletes after transfer, not during
 --delete-excluded       also delete excluded files from dest dirs


Ale pres namontovany FTP si rsyncu moc neuzijete. Bez podpory na druhe strane to neni ten spravny orgasmus.

[JardaP .]

OK, ale co s tím, když na truhé straně je pouze FTP, myslel jsme, že lze rsync pustit na lokalní adresáč a jako cíl mu předhodit ten FTP mount a říct mu, synchronizuj a co je navíc v destination proti source tak to smaž, vlastně z toho pohledu je to jen porovnání dvou adresářů, to zkusím s nějakým diff.

Ano, to mozne je. Akorat kdyz mate FTP server namontovany pres nejaky bazmek, jako nejaky ftpfs, tak nevyuzijete hlavni vyhodu rsync, tedy prenaseni pouze zmenenych bloku. Na to potrebujete rsync i z druhe strany a ulozist, ktere tohle maji, je strasne malo a zadara jsem nenasel zadne.  Soudruzi uloznici totiz dosud nepochopili, ze by to bylo vyhodne i pro ne, protoze ne kazdy chce pouzivat jejich uchylne synchronizacni utility a rsync by jim usetril bandwidth.

[fedorac]

obcas to resim, at nemusim vymyslet kolo - nemate tip na nejake RSYNC placene uloziste - nejlepe vyzkousene ?

gugl nasel : https://www.google.cz/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=rsync%20storage%20online

treba tenhle nabizi free up to 1 GB 'taste plane'
https://www.strongspace.com/plans

dik

[crown]

Tak nakonec se Unison prece jenom neukazal jako pouzitelne reseni.

V default nastaveni (tj. nerikam, ze urcite nejde nastavit, tolik casu jsem tomu nedal)

• nenastavuje spravne datum zalozeni a posledni modifikace souboru
• nektera uloziste neumoznuji pouzit urcite znaky (priklad #), je potreba je prekladat
• je to porad pomale

delam testy se svym velmi omezenym resenim (lokalni databaze + lokalni klient, uloziste uplne hloupe). Jestli to nekoho zajima, tak muzu hodit detaily.

[Filip Jirsák]

obcas to resim, at nemusim vymyslet kolo - nemate tip na nejake RSYNC placene uloziste - nejlepe vyzkousene ?

Používám Axfone Disk.

[karlik]

Tak nakonec se Unison prece jenom neukazal jako pouzitelne reseni.

V default nastaveni (tj. nerikam, ze urcite nejde nastavit, tolik casu jsem tomu nedal)

• nenastavuje spravne datum zalozeni a posledni modifikace souboru
• nektera uloziste neumoznuji pouzit urcite znaky (priklad #), je potreba je prekladat
• je to porad pomale

delam testy se svym velmi omezenym resenim (lokalni databaze + lokalni klient, uloziste uplne hloupe). Jestli to nekoho zajima, tak muzu hodit detaily.

Určitě mě/nás to zajímá, zálohování po pomalé lince je velice zajímavé.
Jakákoliv linka se totiž může zdát pomalá, záleží na velikosti a struktuře dat.
Mě by například zajímalo, jak zálohovat pouze rozdíly při záloze obrazů virtuálních strojů.