Fórum Root.cz
Hlavní témata => Server => Téma založeno: ra3662 06. 11. 2016, 18:21:09
-
Zdravím všechny, snad někdo pomůže. Jedná se mi o to že používám na OSX přes automator akci kde pomocí rsync provedu zálohu.
rsync -avi --log-file=/Volumes/Zaloha/rsync_txt/_prace-v-OSX-`date +%F`.txt /Volumes/IO960GB/Zalohuje-se/zaloha/_prace-v-OSX/ /Volumes/Zaloha/_prace-v-OSX/Na dané místo se mi uloží i log.
2016/11/02 19:33:17 [355] receiving file list
2016/11/02 19:33:48 [355] created directory /Volumes/DS216/Zalohy_IO960/Canon_foto
2016/11/02 19:33:48 [355] cd+++++++ ./
2016/11/02 19:33:49 [355] >f+++++++ .DS_Store
2016/11/02 19:33:49 [355] >f+++++++ .com.greenworldsoft.syncfolderspro
2016/11/02 19:33:49 [355] cd+++++++ 2004_04_30 krista stana/
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/.DS_Store
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0007.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0008.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0009.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0010.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0011.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0012.JPGDotaz zní, je nějak možné aby druhý log nebyl stejně velký jakpo první, ale aby obsahoval pouze informace o nových datech. Žádná data neodmazávám poze připisuji.
Předem všem děkuji.
-
Nikdo neví jak udělat přírustový log ma OSX?
-
Mam podezreni, ze rsync loguje to, co by slo na konzoli. Se ted do logu nepodivam, nemam s sebou prislusny zalohovaci disk. No a kdyz si pustite rsync s parametrem -v (verbose), tak holt tam je uplne vsechno. Zkuste -v vyhodit a pouzit rsync --info=..... Pustte si rsync --info=help, abyste zjistil, co se tam da zadat. Treba tam najdete, co hledate.
Pokud to nezabere, mozna by sel ten log progrepovat tak, aby tam bylo jen zadouci.
-
nevim jak v OSX, ale me v GNU/Linux rsync pokud dam:
rsync -av /odkud /kamtak to zobrazi jen prirustky(+ souhrn), nezobrazuje to soubory ktere preskakuje protoze jsou totozne...
pokud pridam --log-file=logfile.log tak v nem mam take jen prirustky (+ souhrn)...
nepredpokladam ze bys mel rsync tak zprasenej, neni spis mozne ze se ti soubory prenasev vzdy protoze treba na cilovek stroji je spatne datum, nebo jinej filesystem, nebo proste neco jinak?
-
...treba na cilovek stroji je spatne datum, nebo jinej filesystem, nebo proste neco jinak?
Mozna dobry postreh. Mozna OSX pouziva jine rozliseni timestampu na FS a tak by to asi chtelo pouzit parametr --modify-window=1.
-
Děkuji všem za snahu, ale opět jsem v koncích.
Příkaz je takto:
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
první log:2016/11/15 12:31:29 [18102] receiving file list
2016/11/15 12:31:29 [18102] .d...p... ./
2016/11/15 12:31:29 [18102] .f...p... .DS_Store
2016/11/15 12:31:30 [18102] >f+++++++ 1.ai
2016/11/15 12:31:30 [18102] >f+++++++ 2.ai
2016/11/15 12:31:30 [18102] >f+++++++ 3.ai
2016/11/15 12:31:30 [18102] >f+++++++ popis.rtf
2016/11/15 12:31:30 [18102] cd+++++++ slozka/
2016/11/15 12:31:30 [18102] >f+++++++ slozka/11.ai
2016/11/15 12:31:30 [18102] >f+++++++ slozka/22.ai
2016/11/15 12:31:30 [18102] >f+++++++ slozka/33.ai
2016/11/15 12:31:30 [18102] sent 196 bytes received 207 bytes total size 5817781
druhý log:
2016/11/15 12:32:18 [18116] receiving file list
2016/11/15 12:32:18 [18116] .d...p... ./
2016/11/15 12:32:18 [18116] .f...p... .DS_Store
2016/11/15 12:32:18 [18116] .f...p... 1.ai
2016/11/15 12:32:18 [18116] .f...p... 2.ai
2016/11/15 12:32:18 [18116] .f...p... 3.ai
2016/11/15 12:32:18 [18116] .f...p... popis.rtf
2016/11/15 12:32:18 [18116] .d...p... slozka/
2016/11/15 12:32:18 [18116] .f...p... slozka/11.ai
2016/11/15 12:32:18 [18116] .f...p... slozka/22.ai
2016/11/15 12:32:18 [18116] .f...p... slozka/33.ai
2016/11/15 12:32:18 [18116] sent 84 bytes received 207 bytes total size 5817781
Pokud by někdo věděl jak odstranit zbyteční řádky ".d...p..." a ".f...p...", bylo by to fajn.
Určitě k něčemu jsou, ale jelikož nemažu a pouze připisuji data, jedná se mi pouze o příruskový log.
Záloha probíhá z disku formátu afp://xxx formátu AppleShare na disk s formátem smb://XXX SMB(NTFS)
Tak snad v druhém kole budeme úspěšnější a docílíme výsledku.
Ještě jednou děkuji.
Zajímavé je že v terminálu kde to testuji je vše OK
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
created directory /Volumes/DS216/Test
./
.DS_Store
1.ai
2.ai
3.ai
popis.rtf
slozka/
slozka/11.ai
slozka/22.ai
slozka/33.ai
sent 5819076 bytes received 208 bytes 3879522.67 bytes/sec
total size is 5817781 speedup is 1.00
a podrué je to takto
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
.DS_Store
slozka/
sent 6467 bytes received 96 bytes 13126.00 bytes/sec
total size is 5817781 speedup is 886.45
-
man rsync
--log-file-format=FORMAT ?
-
man rsync
--log-file-format=FORMAT ?
Ještě trošku žduchnout, jsem takový malý nekňuba.
Děkuji
-
Dalsi napad: Rsyncujete s parametrem -a, coz odpovida -rlptgoD, tedy recursive, links, permissions, mod times, group, owner, devices + special. Neco z toho asi na cilovem FS bude jinak a rsync z druhe strany dostane nespravnou odpoved a snazi se stav upravit a to pro kazdy soubor, i kdyz vlastne soubor neprenasi.
Tohle: .f...p... 1.ai znamena, jestli to spravne interpretuji, ze soubor 1.ai nebyl prenesen (neni tam sipka), ale rsync zjistil odlisna prava (p). Protoze byla zjistena zmena a rsync se pokusil o napravu, je to v logu. A bude to tam priste zase, protoze budto prava na Macu jsou resena nejak jinak (coz nevim, nemam Mac, abych se podival) nebo je rsync z Macu nejak blbe vraci nebo co. Eventuelne treba zalohovaci medium pouziva FS, ktery *nixova prava nepodporuje. Nevim, nejak to v dotazu nevidim.
Takze zkuste misto -a dat -rlptgoD a procistit to o problemove volby. -D asi vubec nepotrebujete, vypustte i -p, tedy -rltgo. A pokud to procisti log, muzete si lamat hlavu, proc se nechteji ulozit prava.
-
Opět děkuji všem. Dostal jsem se do stádia kde už to chce jen trošku vyšperkovat.
rsync -avI --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f" /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
vypustí log
2016/11/15 16:49:09 [19958] receiving file list
2016/11/15 16:49:09 [19958] ./
2016/11/15 16:49:09 [19958] slozka/
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/.DS_Store_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/1.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/2.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/3.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/.DS_Store_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/11.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/22.ai_new
2016/11/15 16:49:10 [19958] Volumes/DS216/Test/slozka/33.ai_new
2016/11/15 16:49:10 [19958] sent 212 bytes received 204 bytes total size 5823596
což je OK.
Druhý lo je už přírustkový a dá mi
2016/11/15 16:49:13 [19962] receiving file list
2016/11/15 16:49:13 [19962] ./
2016/11/15 16:49:13 [19962] slozka/
2016/11/15 16:49:13 [19962] Volumes/DS216/Test/.DS_Store_new
2016/11/15 16:49:13 [19962] sent 100 bytes received 204 bytes total size 5823596
Problém teď mám jak odstranit tyto řádky, hlava už mi to nebere, jak říkám jsem laik
2016/11/15 16:49:13 [19962] ./
2016/11/15 16:49:13 [19962] slozka/
2016/11/15 16:49:13 [19962] Volumes/DS216/Test/.DS_Store_new
Jedná se o to že položka "slozka" je od každé složky a pokud jich mám v archívu fotek za 10 let mraky tak vždy ve výpisu budou mraky složek.
Položka "DS_Store" a "./" je záležitost MAC OSX a vždy když se podívá někdo někam na foto tak se změní.
Pomůže někdo jak odstarnit "./" a "slozka/" a ".DS_Store_new"???
-
Slozka nevim, ale .DS_Store_new by melo jit pres --exclude nebo --filter
Priklad z jednoho meho skriptu
--exclude=*/.googleearth/Cache/* \
--exclude=*/.googleearth/Temp/* \
--exclude=*/NTUSER.DAT \
--exclude=*/ntuser.* \
--exclude=*/Apple/"Installer Cache"/* \
--exclude=*/Local\ Settings/Data\ aplikací/Google/GoogleEarth/* \
--exclude=*/Local\ Settings/Temp/* \
--filter='- */.opera/opcache/*' \
--filter='- */.opera/cache/*' \
--filter='- */.opera/images/*' \
--filter='- */.mozilla/firefox*/*/Cache/*' \
--filter='- */.cache/*' \
Uz se nepamatuju, proc jsem pomichal --exclude a --filter, tusim s jednim z nich byl nejaky opruz, ktery jsem nejak neskousl a tak jsem dalsi zacal delat tou druhou cestou.
-
Díky exclude funguje.
Teď už zbývají pouze ty složky. V terminálu se to tváří:
.d...p... ./
.d...p... slozka/
.f...p... slozka/11.ai
a v logu to furt zůstává.
-
Tak si jeste jednou prectete moje https://forum.root.cz/index.php?topic=14184.msg186612#msg186612 . Jestli se nemyslim, tyhle zaznamy jsou o tom, ze rsync nasel odlisna prava a snazi se problem korigovat. Vice viz odkaz.
-
Tak příkaz:
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
první log:
2016/11/15 18:35:29 [20598] receiving file list
2016/11/15 18:35:29 [20598] ./
2016/11/15 18:35:29 [20598] slozka/
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/1.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/2.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/3.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/Menší log pro rsync jen s novými soubory.webloc_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/popis.rtf_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/11.ai_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/22.ai_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/33.ai_new
2016/11/15 18:35:30 [20598] sent 212 bytes received 251 bytes total size 5823156
v terminálu:
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
1.ai
2.ai
3.ai
Mens?\#214i?\#201 log pro rsync jen s novy?\#201mi soubory.webloc
popis.rtf
slozka/
slozka/11.ai
slozka/22.ai
slozka/33.ai
sent 5824495 bytes received 208 bytes 3883135.33 bytes/sec
total size is 5823156 speedup is 1.00
druhý log:
2016/11/15 18:35:41 [20613] receiving file list
2016/11/15 18:35:41 [20613] ./
2016/11/15 18:35:41 [20613] slozka/
2016/11/15 18:35:41 [20613] sent 84 bytes received 251 bytes total size 5823156
v terminálu:
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
slozka/
sent 323 bytes received 80 bytes 806.00 bytes/sec
total size is 5823156 speedup is 14449.52
bez D stejné a bez p je to OK.
Takže teď to mám:
rsync -rltgov --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
Hurá děkuji, teď otestuji jak se to bude chovat.
Jde vidět že dobří lidé eště existují.
Zajímalo by mne co je tam navíc, furt se přidávalo ale hlavní je že to funguje.
Při prvním testu jsem se asi někde překlepl.
-
Ovsem pozor, bez -p se vam neukladaji prava. Pokud na tom zalezi, mate roblem a mel byste studovat proc. Treba nevhodny cilovy FS? Eventuelne mozna jde ulozit prava nejak extra do souboru, jestli nekdo takovy problem uz resil.
-
Takže dotaz teď zní jinak.
Poradí někdo jak docílit příruskový log a zachovat práva?
Příkaz:
rsync -avi --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt /zdroj/ /cil/
zachová práva, ale není příruskový log.
Příkaz:
rsync -rltgov --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /zdroj/ / cil/
docíli příruskový log, ale zruší práva.
Kopíruji z afp://xxx formátu AppleShare na disk s formátem smb://XXX SMB(NTFS)
Nebo existuje jiné řešení jak docílit příruskového logu?
Vím že řešení je log vynechat, ale toto beru jako poslední možnost, pokud budou práva na škodu.
-
otazka neni "jak docílit příruskový log a zachovat práva", ale "jak docilit aby zdrojova prava se ukladali do cile", pak totiz budes mit v logy stejne jako ted jen prirustky, ale do toho se nebude pocitat snaha znovu-a-znovu nastavit v cili prava...
zkus (pro zkousku) rsyncnout do cile s jinym filesystem-formatem...
-
Aneb rsync se pri kazdem spusteni pokusi prenest prava, ta se ale na cili zretelne neukladaji a tak pri pristim spusteni to znovu hodi cely seznam, dlouhy, jak lovosice. Takze byste nam mel konecne prozradit, jaky je zdrojovy a jaky je cilovy FS. Jestli plati Kopíruji z afp://xxx formátu AppleShare na disk s formátem smb://XXX SMB(NTFS) , tak opravdu nevim, zemu se porad divite. Zdrojovy disk je nejake HPFS nebo jak se to a co to ted Apple pouziva. OS X bude asi pouzivat standardni nixova prava a ta nemaji na NTFS ekvivalent, takze opravdu nechapu, jak byste je tam chtel ukladat. Budto budete ukladat na disk, ktery umi nixova prava nebo ta prava ozelite a nejak nastavite sam pri restore, eventuelne si muzete pokazde poridit nejaky soubor stylu ls -lR > prava.log a napisete si skript, ktery to projede soubor po souboru, adresar po adresari a nastavi to podle toho logu, jak to bylo. Mozna, ze jiz nekdo vymyslel reseni, jak ukladat prava k zalohovanym souborum extra. Jestli se nepletu, tak neco takoveho existuje na linuxove ACLs.
-
Hergot, krome toho, kdybyste si poradne precetl, co vam lidi pisou, tak to vsechno na pretres uz prislo. Mozna i vicekrat.
-
Omlouvám se jestli jsem se někoho dotkl, ale jsem laik a myslím že fóra jsou od toho aby se radilo.
Jinak kopíruji z MAC OSX 10.8.5 na NAS Synology DS216.
Nevím možná je možnost na synology nastavit něco pro OSX, ale nepřišel jsem na to a proto žádám o pomoc.
Testuji to již delší dobu a všechno možné jsem už otestoval a nedobral jsem se ke kloudnému výsledku.
Tuším že je problém asi někde ve skrytých souborech pro OSX které se mění při každém podívání do složky. Když provedu zálohu se složkou kde je zkomprimovaný soubor tak je vše v pohodě.
Na NAS se přistupuje minimálně z WIN, 99% přístupu je z OSX.
pokud je potřeba ještě něco popsat rád zodpovím dotaz.
-
Omlouvám se jestli jsem se někoho dotkl, ale jsem laik a myslím že fóra jsou od toho aby se radilo.
Staci cist a kdyz tomu nerozumim, tak se zeptam.
Jinak kopíruji z MAC OSX 10.8.5 na NAS Synology DS216.
Rekl bych, ze to kopirujete asi blbe. Synology bude nejspis pouzivat FS ExtX, asi Ext4. Mozna jiny, ale v kazdem pripade takovy, ktery podporuje nixova prava. Takze logicky postup by byl vyuzit schopnosti Linuxu na Synology a rozjet si tam ssh (s loginem pres klice) a mit tam rsync (tipuji, ze oboji tam uz asi je).
Nasledne budete rsyncovat se syntaxi tohoto typu:
rsync -avh /tmp/foo/ root@host2:/tmp/bar
Vyuzije se tim rsyncu na strane Synology, ktery bude spolupracovat s rsyncem na Macu. Budou si sdelovat, ktere soubory a jake kusy se zmenily a posilat jen to.
Pokud si rsync pustite proti sitovemu FS (Samba), tak to bude fungovat uplne blbe a budou se data tahat zcela zbytecne. Ten vas rsync si totiz pusti dalsi kopii. Jeden se pak bude hrabat na vasem lokalnim disku, druhy na sdileni Samby, procez si musi data tahat k sobe. Takze data leti tam a zpet. Jak to presne probiha tedy netusim, ale podeziram, ze kdyz se zjisti, ze se lisi timestamp/velikost, tak budto vas puvodni rsync rovnou posle pres sit cely soubor nebo ten druhy rsync bude tahat cely soubor ze Synology, aby zjistil, co je jinak a mohl to zmenit. Misto prenosu jen zmenenych bloku se v obou pripadech prenasi vse a rychlost jde do kopru. Navic Samba, i kdyz vam nabizi data z disku nixoveho FS, tak je nabizi tak, aby jim rozumnely Widle a Widle nixova prava neumi, takze dostat je skrz Sambu asi vubec nejde.
Takze si to pekne predelejte tak, aby to jelo pres ssh a vzdaleny rsync. Melo by vam to veresit problem s pravy a bude to nejspis znatelne rychlejsi a hodne vic efektivni.
Tuším že je problém asi někde ve skrytých souborech pro OSX které se mění při každém podívání do složky. Když provedu zálohu se složkou kde je zkomprimovaný soubor tak je vše v pohodě.
Na nejake skryte soubory, co se porad meni, bych se vykaslal. Ty asi nebudou tak velke, aby vam jejich update na Synology drasal nervy. Zejmena, kdyz vyuzitim vzdaleneho rsyncu vse zrychlite. Pokud vam ale opravdu vadi, tak asi muzete udelat jedine to, ze je vychytate pres --exclude nebo --filter. Mam podezreni, ze by na to mohl jit udelat i nejaky exclude seznam v souboru.