Fórum Root.cz
Hlavní témata => Software => Téma založeno: peter34 13. 07. 2011, 07:20:21
-
Caute,
pracujem ako webdesigner s open source CMS a knižnicami, preto potrebujem zálohovať veľké mznožstvo malých súborov. Kedysi som zálohoval tak, že som si pracovný adresár zabalil a nahral na externý disk, no z dôvodu veľkého objemu dát to už nie je možné.
Skúšal som rsync, no vypadá to tak, že kým sa všetko zozálohuje je to práca rsyn-cu možno aj na deň.
Chcel by som sa opýtať na najlepší a najrýchlejší spôsob zálohovania dát, veľkého množstva malých súborov. Čo používate?
Diki
-
Zkousel jste ten rsync nechat dobehnout a pak znovu, treba po dni prace? Prvni beh rsyncu trva pochopitelne dlouho a ne, ze by vas dosavadni zpusob byl nejak vyrazne rychlejsi. Nasledny beh pak zalohuje jen to, co se zmenilo a mel by tak trvat podstatne kratsi dobu, pokud ovsem nemenite uplne vsechny ty soubory. Obavam se, ze vyrazne rychlejsi nastroj nenajdete, protoze rsync zrovna je dost rychly a ta data se musi fyzicky prenest, at chcete nebo ne a to minimalne do doby, kdy budete moci disk kopirovat duplikatorem predmetu.
Jinak pokud treba potrebujete pristup i ke starsim kopiim souboru, mrknete se na rdiff-backup. Ze zmenenych souboru uchovava akorat deltu a tak mesic zaloh vas prijde o dost levneji, nez kompletni kopie kazdy den.
-
Aky cas zabere prekopirovanie suborov normalnym sposobom a aky cas si nechal bezat rsync? Kolko radovo tych suborov je, ake velke, aky filesystem ( zdroj, ciel )?
Namiesto rsync inak pouzivaj rdiff-backup, mas to aj s inkrementami a historiou pre pripad, ze nieco prepises/zmazes a prides na to az po odzalohovani :-).
-
Práveže mi neprebehol ani prvý rsync, mal som ho spustený možno aj 5 hodín a skopíroval asi 10%. Moje dáta: 3,83 GB v 141 000 suborov. Chcem si spraviť zálohu celého localhostu na externý disk cez usb 2.0(možno tam je slabé miesto). Históriu zmien potrebujem iba pri malej časti, to budem riešiť samostatne.
Rsync spúšťam cez cygwin, ale to by na výkon mať vplyv nemalo.
Skusím nechat rsync spustený cez noc, koľko dát sa zálohuje, potom už asi iba ostáva kúpiť USB 3.0 alebo LAN disk.
Ale každopádne ďakujem za odpovede.
-
cygwin => Windows
Bohuzel, NTFS je extremne spatny souborovy system pro praci s velkym mnozstvim malych souboru. MS optimalizoval pro dokumenty, jejichz velikost je nekolik malo MB. Budete si holt muset pockat, protoze tady nepomuze nic.
-
Bohuzel, NTFS je extremne spatny souborovy system pro praci s velkym mnozstvim malych souboru.
Chtel jsem rict extremne pomaly.
-
Pro kopírování velkého množství souborů se mi osvědčil postup:
tar cf - zdrojový_adresář | (cd cílový_adresář; tar xf -)
Je na zvážení, zda by se nehodil nějaký verzovací systém, např. Git nebo Mercurial. Inkrementální zálohy jsou v nich velmi rychlé, udržují historii a je možné projekt větvit.
-
Rsync spúšťam cez cygwin, ale to by na výkon mať vplyv nemalo.
Cygwin je slabe miesto. Neviem, cim to je, ale pri praci so subormi v cygwine ide vsetko pomaly. Pred par tyzdnami som spracovaval velke mnozstvo suborov cez cygwin a tiez problem s casom. Ked som to spustil na linuxe, tak rychlost radovo zvysila.
-
Aha. To jste take mohl napsat rovnou, ze to chcete provozovat na Widlich. Mozna byste mohl zkusit DeltaCopy, coz by mela byt Widlacka implementace rsyncu. Kdyz je to nativni, snad to pojede rozumneji rychle. Osobni zkusenosti s tim nemam, provozuji rsync akorat na Linuxu. Tak sem kdyztak napiste, jak to chrochta.
-
Ta hovno hovno, slavny soude. DeltaCopy pouziva cygwin, takze to je, jak z deste pod okap.
-
Na Windows používám Cobian Backup :)
-
A co rsync po částech, třeba 10 adresařů a postupně přidávat. Další zálohy už projetých adresářů jsou rychlé. Otázkou je, kolik z těch souborů se mění.
-
Pokud jde o soubory nějakého projektu, pak mi jako nejvhodnější řešení přijde nějaké moderní scm nativně fungující ve windows (mercurial?)
-
SCM zaiatiaľ nepotrebujem, skúšam cobian backup, no je to stále bieda, budem to musiet nechat par noci prebehnut, rozdiely potom už pôjdu dúfam rýchlo.
Bohužiaľ som odkázaný na win... musím si kúpiť rýchlejší notebook(koli virtualizácii), v niečom je win fajn, ale linux milujem-:)
-
A co si udelat bootovaci USB disk s Linuxem a napsat si zalohovaci skript s rdiff-backup?
-
Vzhledem k tomu ze tech dat je 3,8GB (tedy relativne malo), tak bych zkusil vytvorit +- stejne velkou partition na kterou data ukladat a pak tuto partition bitove zalohovat.
-
To by fungovalo slusne, pokud by ta data byla na specialnim oddilu, ne o moc vetsim, nez velikost dat. Predpokladam ale, ze budou na jednom oddilu s Widlemi, tim padem by se muselo zalohovat pokazde hodne dat a nejsem si jist, jestli by se tim neco usetrilo. Akorat by clovek mel zazalohovano vse a pri krachu disku by stacilo prehodit disky. Udelat by to slo, dd pro Widle tusim existuje. Pokud ale disk ma treba 1TB, tak jak dlouho by to dd mohlo trvat?
-
3,8 GB skoro nic neni, 141k souboru uz mozna ano - jak dluho trva zazipovani? Ale nativnim programem pro windows! Cygwin pouzivam a je fajn, ale je zoufale neefektivni jak pri praci se soubory, tak pri pouziti pipe apod. - je to spis vhodne na male skriptiky, prototypovani a tak.
-
Tak už som to vyriešil. Spustil som rsync z linuxu, skoro 500 000 suborov, 8 GB za 1.5 hod. Vo win by som sa nedočkal. Niekedy existuju aj jednoduche riešenia, ale skoda ze mňa napadajú ako posledné.
Dik za pomoc, bez vás by mňa linux použiť možno ani nenapadlo.
-
Ano, zaplatpanbuh, ze na reseni problemu s Widlemi mame Linux.
-
Ano, zaplatpanbuh, ze na reseni problemu s Widlemi mame Linux.
Zdaleka ne všichni zde by souhlasili :)