Zálohování mnoha malých souborů

[peter34]

Caute,

pracujem ako webdesigner s open source CMS a knižnicami, preto potrebujem zálohovať veľké mznožstvo malých súborov. Kedysi som zálohoval tak, že som si pracovný adresár zabalil a nahral na externý disk, no z dôvodu veľkého objemu dát to už nie je možné.

Skúšal som rsync, no vypadá to tak, že kým sa všetko zozálohuje je to práca rsyn-cu možno aj na deň.

Chcel by som sa opýtať na najlepší a najrýchlejší spôsob zálohovania dát, veľkého množstva malých súborov. Čo používate?

Diki

[Reklama]

[JardaP .]

Zkousel jste ten rsync nechat dobehnout a pak znovu, treba po dni prace? Prvni beh rsyncu trva pochopitelne dlouho a ne, ze by vas dosavadni zpusob byl nejak vyrazne rychlejsi. Nasledny beh pak zalohuje jen to, co se zmenilo a mel by tak trvat podstatne kratsi dobu, pokud ovsem nemenite uplne vsechny ty soubory. Obavam se, ze vyrazne rychlejsi nastroj nenajdete, protoze rsync zrovna je dost rychly a ta data se musi fyzicky prenest, at chcete nebo ne a to minimalne do doby, kdy budete moci disk kopirovat duplikatorem predmetu.

Jinak pokud treba potrebujete pristup i ke starsim kopiim souboru, mrknete se na rdiff-backup. Ze zmenenych souboru uchovava akorat deltu a tak mesic zaloh vas prijde o dost levneji, nez kompletni kopie kazdy den.

[Dusan Zatkovsky]

Aky cas zabere prekopirovanie suborov normalnym sposobom a aky cas si nechal bezat rsync? Kolko radovo tych suborov je, ake velke, aky filesystem ( zdroj, ciel )?

Namiesto rsync inak pouzivaj rdiff-backup, mas to aj s inkrementami a historiou pre pripad, ze nieco prepises/zmazes a prides na to az po odzalohovani :-).

[peter34]

Práveže mi neprebehol ani prvý rsync, mal som ho spustený možno aj 5 hodín a skopíroval asi 10%. Moje dáta: 3,83 GB v 141 000 suborov. Chcem si spraviť zálohu celého localhostu na externý disk cez usb 2.0(možno tam je slabé miesto). Históriu zmien potrebujem iba pri malej časti, to budem riešiť samostatne.

Rsync spúšťam cez cygwin, ale to by na výkon mať vplyv nemalo.

Skusím nechat rsync spustený cez noc, koľko dát sa zálohuje, potom už asi iba ostáva kúpiť USB 3.0 alebo LAN disk.

Ale každopádne ďakujem za odpovede.

[Mordae]

cygwin => Windows

Bohuzel, NTFS je extremne spatny souborovy system pro praci s velkym mnozstvim malych souboru. MS optimalizoval pro dokumenty, jejichz velikost je nekolik malo MB. Budete si holt muset pockat, protoze tady nepomuze nic.

[Reklama]

[Mordae]

Bohuzel, NTFS je extremne spatny souborovy system pro praci s velkym mnozstvim malych souboru.

Chtel jsem rict extremne pomaly.

[Kit]

Pro kopírování velkého množství souborů se mi osvědčil postup:

Kód: [Vybrat]

tar cf - zdrojový_adresář | (cd cílový_adresář; tar xf -)

Je na zvážení, zda by se nehodil nějaký verzovací systém, např. Git nebo Mercurial. Inkrementální zálohy jsou v nich velmi rychlé, udržují historii a je možné projekt větvit.

[Martin Ladecky]

Rsync spúšťam cez cygwin, ale to by na výkon mať vplyv nemalo.

Cygwin je slabe miesto. Neviem, cim to je, ale pri praci so subormi v cygwine ide vsetko pomaly. Pred par tyzdnami som spracovaval velke mnozstvo suborov cez cygwin a tiez problem s casom. Ked som to spustil na linuxe, tak rychlost radovo zvysila.

[JardaP .]

Aha. To jste take mohl napsat rovnou, ze to chcete provozovat na Widlich. Mozna byste mohl zkusit DeltaCopy, coz by mela byt Widlacka implementace rsyncu. Kdyz je to nativni, snad to pojede rozumneji rychle. Osobni zkusenosti s tim nemam, provozuji rsync akorat na Linuxu. Tak sem kdyztak napiste, jak to chrochta.

[JardaP .]

Ta hovno hovno, slavny soude. DeltaCopy pouziva cygwin, takze to je, jak z deste pod okap.

[James_Scott]

Na Windows používám Cobian Backup

[Madrabbit]

A co rsync po částech, třeba 10 adresařů a postupně přidávat. Další zálohy už projetých adresářů jsou rychlé. Otázkou je, kolik z těch souborů se mění.

[dustin]

Pokud jde o soubory nějakého projektu, pak mi jako nejvhodnější řešení přijde nějaké moderní scm nativně fungující ve windows (mercurial?)

[peter34]

SCM zaiatiaľ nepotrebujem, skúšam cobian backup, no je to stále bieda, budem to musiet nechat par noci prebehnut, rozdiely potom už pôjdu dúfam rýchlo.

Bohužiaľ som odkázaný na win... musím si kúpiť rýchlejší notebook(koli virtualizácii), v niečom je win fajn, ale linux milujem-:)

[JardaP .]

A co si udelat bootovaci USB disk s Linuxem a napsat si zalohovaci skript s rdiff-backup?