Synchronizace velkého souboru mezi servery

hugochavez

Re:Synchronizace velkého souboru mezi servery
« Odpověď #15 kdy: 02. 08. 2017, 19:29:11 »
"potřebuju synchronizovat obraz disku virtuálu. Soubor má asi 40 GBa změn je relativně málo. Zkoušel jsem rsync, ale ten má raději sync na úrovni celých adresářů a tohle mu moc nevonělo"

Jeste sem si vzpomel ze onehda se vyvojari FreeBSD bavili jak replikovat velky soubory pres internet, z USA do EU kde maj dalsi datacentrum = delaj to pres ZFS send s  parametrem "rozdil v timestamps" kdy system porovnava bitove rozdily mezi 2ma snapshotama s rozdilnyma timestamps a tyto =pouze tyto rozdily pak posila pres net na cilovej stroj.
Presne si vzpominam ze Allan Jude tam mluvil o tom jak je pro tenhle ukol Rsync nepouzitelnej, protoze toho hashuje zbytecny quanta, bohuzel si nevzpomenu ve kterym konkretnim dile to bylo......  Kazdopadne v poslednich 5ti maximalne poslednich 10ti to bejt musi:
 http://www.jupiterbroadcasting.com/show/bsdnow/


Jenda

Re:Synchronizace velkého souboru mezi servery
« Odpověď #16 kdy: 02. 08. 2017, 20:17:50 »
Rsync má parametry
Kód: [Vybrat]
--verbose a
Kód: [Vybrat]
--progress

Má, ale v téhle fázi nefungují. Vypíše si to to své "receiving incremental file list" a já netuším, co to dělá a jak dlouho ještě bude.

FYI progress jakéhokoli programu, který čte soubor, se dá zjistit tak, že si z /proc/pid/fd/ zjistíš deskriptor a pak se koukneš do /proc/pid/fdinfo/deskriptor. Dokonce existuje program "progress", který se to snaží nějak automatizovat a vykresluje progressbar.