Menší log pro rsync jen s novými soubory

ra3662

Menší log pro rsync jen s novými soubory
« kdy: 06. 11. 2016, 18:21:09 »
Zdravím všechny, snad někdo pomůže. Jedná se mi o to že používám na OSX přes automator akci kde pomocí rsync provedu zálohu.
Kód: [Vybrat]
rsync -avi --log-file=/Volumes/Zaloha/rsync_txt/_prace-v-OSX-`date +%F`.txt /Volumes/IO960GB/Zalohuje-se/zaloha/_prace-v-OSX/ /Volumes/Zaloha/_prace-v-OSX/Na dané místo se mi uloží i log.
Kód: [Vybrat]
2016/11/02 19:33:17 [355] receiving file list
2016/11/02 19:33:48 [355] created directory /Volumes/DS216/Zalohy_IO960/Canon_foto
2016/11/02 19:33:48 [355] cd+++++++ ./
2016/11/02 19:33:49 [355] >f+++++++ .DS_Store
2016/11/02 19:33:49 [355] >f+++++++ .com.greenworldsoft.syncfolderspro
2016/11/02 19:33:49 [355] cd+++++++ 2004_04_30 krista stana/
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/.DS_Store
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0007.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0008.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0009.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0010.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0011.JPG
2016/11/02 19:33:49 [355] >f+++++++ 2004_04_30 krista stana/IMG_0012.JPG
Dotaz zní, je nějak možné aby druhý log nebyl stejně velký jakpo první, ale aby obsahoval pouze informace o nových datech. Žádná data neodmazávám poze připisuji.
Předem všem děkuji.
« Poslední změna: 07. 11. 2016, 09:11:03 od Petr Krčmář »


ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #1 kdy: 12. 11. 2016, 18:20:40 »
Nikdo neví jak udělat přírustový log ma OSX?

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #2 kdy: 12. 11. 2016, 19:20:11 »
Mam podezreni, ze rsync loguje to, co by slo na konzoli. Se ted do logu nepodivam, nemam s sebou prislusny zalohovaci disk. No a kdyz si pustite rsync s parametrem -v (verbose), tak holt tam je uplne vsechno. Zkuste -v vyhodit a pouzit rsync  --info=..... Pustte si rsync  --info=help, abyste zjistil, co se tam da zadat. Treba tam najdete, co hledate.

Pokud to nezabere, mozna by sel ten log progrepovat tak, aby tam bylo jen zadouci.

nobody(ten pravej)

Re:Menší log pro rsync jen s novými soubory
« Odpověď #3 kdy: 12. 11. 2016, 19:54:50 »
nevim jak v OSX, ale me v GNU/Linux rsync pokud dam:
Kód: [Vybrat]
rsync -av /odkud /kamtak to zobrazi jen prirustky(+ souhrn), nezobrazuje to soubory ktere preskakuje protoze jsou totozne...
pokud pridam --log-file=logfile.log tak v nem mam take jen prirustky (+ souhrn)...

nepredpokladam ze bys mel rsync tak zprasenej, neni spis mozne ze se ti soubory prenasev vzdy protoze treba na cilovek stroji je spatne datum, nebo jinej filesystem, nebo proste neco jinak?

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #4 kdy: 12. 11. 2016, 22:18:51 »
...treba na cilovek stroji je spatne datum, nebo jinej filesystem, nebo proste neco jinak?

Mozna dobry postreh. Mozna OSX pouziva jine rozliseni timestampu na FS a tak by to asi chtelo pouzit parametr --modify-window=1.


ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #5 kdy: 15. 11. 2016, 12:48:04 »
Děkuji všem za snahu, ale opět jsem v koncích.
Příkaz je takto:
Citace
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt  /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
první log:
Citace
2016/11/15 12:31:29 [18102] receiving file list
2016/11/15 12:31:29 [18102] .d...p... ./
2016/11/15 12:31:29 [18102] .f...p... .DS_Store
2016/11/15 12:31:30 [18102] >f+++++++ 1.ai
2016/11/15 12:31:30 [18102] >f+++++++ 2.ai
2016/11/15 12:31:30 [18102] >f+++++++ 3.ai
2016/11/15 12:31:30 [18102] >f+++++++ popis.rtf
2016/11/15 12:31:30 [18102] cd+++++++ slozka/
2016/11/15 12:31:30 [18102] >f+++++++ slozka/11.ai
2016/11/15 12:31:30 [18102] >f+++++++ slozka/22.ai
2016/11/15 12:31:30 [18102] >f+++++++ slozka/33.ai
2016/11/15 12:31:30 [18102] sent 196 bytes  received 207 bytes  total size 5817781
druhý log:
Citace
2016/11/15 12:32:18 [18116] receiving file list
2016/11/15 12:32:18 [18116] .d...p... ./
2016/11/15 12:32:18 [18116] .f...p... .DS_Store
2016/11/15 12:32:18 [18116] .f...p... 1.ai
2016/11/15 12:32:18 [18116] .f...p... 2.ai
2016/11/15 12:32:18 [18116] .f...p... 3.ai
2016/11/15 12:32:18 [18116] .f...p... popis.rtf
2016/11/15 12:32:18 [18116] .d...p... slozka/
2016/11/15 12:32:18 [18116] .f...p... slozka/11.ai
2016/11/15 12:32:18 [18116] .f...p... slozka/22.ai
2016/11/15 12:32:18 [18116] .f...p... slozka/33.ai
2016/11/15 12:32:18 [18116] sent 84 bytes  received 207 bytes  total size 5817781

Pokud by někdo věděl jak odstranit zbyteční řádky ".d...p..." a ".f...p...", bylo by to fajn.
Určitě k něčemu jsou, ale jelikož nemažu a pouze připisuji data, jedná se mi pouze o příruskový log.
Záloha probíhá z disku formátu afp://xxx formátu AppleShare na disk s formátem smb://XXX SMB(NTFS)
Tak snad v druhém kole budeme úspěšnější a docílíme výsledku.
Ještě jednou děkuji.

Zajímavé je že v terminálu kde to testuji je vše OK
Citace
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt  /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
created directory /Volumes/DS216/Test
./
.DS_Store
1.ai
2.ai
3.ai
popis.rtf
slozka/
slozka/11.ai
slozka/22.ai
slozka/33.ai

sent 5819076 bytes  received 208 bytes  3879522.67 bytes/sec
total size is 5817781  speedup is 1.00
a podrué je to takto
Citace
rsync -av --modify-window=1 --log-file=/Volumes/DS216/Log/Test-`date +%F`.txt  /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
.DS_Store
slozka/

sent 6467 bytes  received 96 bytes  13126.00 bytes/sec
total size is 5817781  speedup is 886.45

romanio

Re:Menší log pro rsync jen s novými soubory
« Odpověď #6 kdy: 15. 11. 2016, 13:39:05 »
man rsync
--log-file-format=FORMAT ?

ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #7 kdy: 15. 11. 2016, 14:03:50 »
man rsync
--log-file-format=FORMAT ?

Ještě trošku žduchnout, jsem takový malý nekňuba.

Děkuji

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #8 kdy: 15. 11. 2016, 16:24:52 »
Dalsi napad: Rsyncujete s parametrem -a, coz odpovida -rlptgoD, tedy recursive, links, permissions, mod times, group, owner, devices + special. Neco z toho asi na cilovem FS bude jinak a rsync z druhe strany dostane nespravnou odpoved a snazi se stav upravit a to pro kazdy soubor, i kdyz vlastne soubor neprenasi.

Tohle: .f...p... 1.ai znamena, jestli to spravne interpretuji, ze soubor 1.ai nebyl prenesen (neni tam sipka), ale rsync zjistil odlisna prava (p). Protoze byla zjistena zmena a rsync se pokusil o napravu, je to v logu. A bude to tam priste zase, protoze budto prava na Macu jsou resena nejak jinak (coz nevim, nemam Mac, abych se podival) nebo je rsync z Macu nejak blbe vraci nebo co. Eventuelne treba zalohovaci medium pouziva FS, ktery *nixova prava nepodporuje. Nevim, nejak to v dotazu nevidim.

Takze zkuste misto -a dat -rlptgoD a procistit to o problemove volby. -D asi vubec nepotrebujete, vypustte i -p, tedy -rltgo. A pokud to procisti log, muzete si lamat hlavu, proc se nechteji ulozit prava.

ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #9 kdy: 15. 11. 2016, 16:55:11 »
Opět děkuji všem. Dostal jsem se do stádia kde už to chce jen trošku vyšperkovat.
Citace
rsync -avI --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f" /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
vypustí log
Citace
2016/11/15 16:49:09 [19958] receiving file list
2016/11/15 16:49:09 [19958] ./
2016/11/15 16:49:09 [19958] slozka/
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/.DS_Store_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/1.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/2.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/3.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/.DS_Store_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/11.ai_new
2016/11/15 16:49:09 [19958] Volumes/DS216/Test/slozka/22.ai_new
2016/11/15 16:49:10 [19958] Volumes/DS216/Test/slozka/33.ai_new
2016/11/15 16:49:10 [19958] sent 212 bytes  received 204 bytes  total size 5823596
což je OK.
Druhý lo je už přírustkový a dá mi
Citace
2016/11/15 16:49:13 [19962] receiving file list
2016/11/15 16:49:13 [19962] ./
2016/11/15 16:49:13 [19962] slozka/
2016/11/15 16:49:13 [19962] Volumes/DS216/Test/.DS_Store_new
2016/11/15 16:49:13 [19962] sent 100 bytes  received 204 bytes  total size 5823596
Problém teď mám jak odstranit tyto řádky, hlava už mi to nebere, jak říkám jsem laik
Citace
2016/11/15 16:49:13 [19962] ./
2016/11/15 16:49:13 [19962] slozka/
2016/11/15 16:49:13 [19962] Volumes/DS216/Test/.DS_Store_new
Jedná se o to že položka "slozka" je od každé složky a pokud jich mám v archívu fotek za 10 let mraky tak vždy ve výpisu budou mraky složek.
Položka "DS_Store" a "./" je záležitost MAC OSX a vždy když se podívá někdo někam na foto tak se změní.
Pomůže někdo jak odstarnit "./" a "slozka/" a ".DS_Store_new"???

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #10 kdy: 15. 11. 2016, 17:27:22 »
Slozka nevim, ale .DS_Store_new by melo jit pres --exclude nebo --filter

Priklad z jednoho meho skriptu

Kód: [Vybrat]
--exclude=*/.googleearth/Cache/* \
    --exclude=*/.googleearth/Temp/* \
    --exclude=*/NTUSER.DAT \
    --exclude=*/ntuser.* \
    --exclude=*/Apple/"Installer Cache"/* \
    --exclude=*/Local\ Settings/Data\ aplikací/Google/GoogleEarth/* \
    --exclude=*/Local\ Settings/Temp/* \
    --filter='- */.opera/opcache/*' \
    --filter='- */.opera/cache/*' \
    --filter='- */.opera/images/*' \
    --filter='- */.mozilla/firefox*/*/Cache/*' \
    --filter='- */.cache/*' \

Uz se nepamatuju, proc jsem pomichal --exclude a --filter, tusim s jednim z nich byl nejaky opruz, ktery jsem nejak neskousl a tak jsem dalsi zacal delat tou druhou cestou.

ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #11 kdy: 15. 11. 2016, 18:11:42 »
Díky exclude funguje.
Teď už zbývají pouze ty složky. V terminálu se to tváří:
Citace
.d...p... ./
.d...p... slozka/
.f...p... slozka/11.ai
a v logu to furt zůstává.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #12 kdy: 15. 11. 2016, 18:26:18 »
Tak si jeste jednou prectete moje https://forum.root.cz/index.php?topic=14184.msg186612#msg186612 . Jestli se nemyslim, tyhle zaznamy jsou o tom, ze rsync nasel odlisna prava a snazi se problem korigovat. Vice viz odkaz.

ra3662

Re:Menší log pro rsync jen s novými soubory
« Odpověď #13 kdy: 15. 11. 2016, 18:45:31 »
Tak příkaz:
Citace
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
první log:
Citace
2016/11/15 18:35:29 [20598] receiving file list
2016/11/15 18:35:29 [20598] ./
2016/11/15 18:35:29 [20598] slozka/
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/1.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/2.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/3.ai_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/Menší log pro rsync jen s novými soubory.webloc_new
2016/11/15 18:35:29 [20598] Volumes/DS216/Test/popis.rtf_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/11.ai_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/22.ai_new
2016/11/15 18:35:30 [20598] Volumes/DS216/Test/slozka/33.ai_new
2016/11/15 18:35:30 [20598] sent 212 bytes  received 251 bytes  total size 5823156
v terminálu:
Citace
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
1.ai
2.ai
3.ai
Mens?\#214i?\#201 log pro rsync jen s novy?\#201mi soubory.webloc
popis.rtf
slozka/
slozka/11.ai
slozka/22.ai
slozka/33.ai

sent 5824495 bytes  received 208 bytes  3883135.33 bytes/sec
total size is 5823156  speedup is 1.00
druhý log:
Citace
2016/11/15 18:35:41 [20613] receiving file list
2016/11/15 18:35:41 [20613] ./
2016/11/15 18:35:41 [20613] slozka/
2016/11/15 18:35:41 [20613] sent 84 bytes  received 251 bytes  total size 5823156
v terminálu:
Citace
rsync -rlptgoDv --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
building file list ... done
./
slozka/

sent 323 bytes  received 80 bytes  806.00 bytes/sec
total size is 5823156  speedup is 14449.52
bez D stejné a bez p je to OK.
Takže teď to mám:
Citace
rsync -rltgov --modify-window=1 --log-file=/Volumes/DS216/Log/`date +%Y-%m-%d_-_%H-%M-%S`-Test.txt --log-file-format="%f_new" --exclude=.DS_Store /Volumes/IO960GB/Test/ /Volumes/DS216/Test/
Hurá děkuji, teď otestuji jak se to bude chovat.
Jde vidět že dobří lidé eště existují.
Zajímalo by mne co je tam navíc, furt se přidávalo ale hlavní je že to funguje.
Při prvním testu jsem se asi někde překlepl.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Menší log pro rsync jen s novými soubory
« Odpověď #14 kdy: 15. 11. 2016, 22:41:06 »
Ovsem pozor, bez -p se vam neukladaji prava. Pokud na tom zalezi, mate roblem a mel byste studovat proc. Treba nevhodny cilovy FS? Eventuelne mozna jde ulozit prava nejak extra do souboru, jestli nekdo takovy problem uz resil.