Přenos 6 TB pomocí rsync

Benda

Přenos 6 TB pomocí rsync
« kdy: 11. 12. 2013, 20:20:06 »
Chci se zeptat ?
převáděl někdo z Vás pomocí rsync cca 6TB dat
ja to právě zkouším a jsem zmaten.
na serveru jsem si pomoci nfs přimapoval nové uložište  a spustil nad tím rsync
problem je, že na cílovém disku je použito více místa než na zdrojovém
a rsync pořád běží

« Poslední změna: 12. 12. 2013, 09:20:35 od Petr Krčmář »


Jimm

Re:rsync
« Odpověď #1 kdy: 11. 12. 2013, 20:35:11 »

Petr

Re:Přenos 6 TB pomocí rsync
« Odpověď #2 kdy: 12. 12. 2013, 10:00:37 »
Proč používáš nfs, když to chceš synchronizovat pomoci rsync? Není lepsi pracovat primo rsync -avz server:/zdroj /cil ?
Jinak pokud se ti zda, ze na cilovem disku to zabira vetsi velikost, muze to byt klidne tim, ze na zdrojovym jsou hardlinky.

noname

Re:Přenos 6 TB pomocí rsync
« Odpověď #3 kdy: 12. 12. 2013, 13:36:31 »
Rsync není něco, v čem bych se stoprocentně vyznal, ale je třeba taky vědět, o kolik větší a jakým způsobem jsou naformátovány jednotlivé souborové systémy, tedy především jakou mají velikost sektoru. V situaci, kdy bude na disku větší množství malých souborů, jejich velikost bude zarovnaná k velikosti sektoru a pokud tato bude odlišná, mohou se údaje o velikosti souborů lišit.
Osobně, pokud kontroluji chyby v nějaké záloze, tak jedna z věcí, kterou využívám, je find ./ > výpis_originálu.txt a obdobně pro kopii. Porovnám si je pomocí diff. Ještě jsem nekontroloval správnost zápisu souborů, ale když by to bylo třeba, daly by se soubory upravit tak, ať vypisují (například) md5 kontrolní součet pro každý soubor a porovnat výsledek.

Re:Přenos 6 TB pomocí rsync
« Odpověď #4 kdy: 12. 12. 2013, 14:05:46 »
rsync nepřenáší nezměněná data – pokud přenášíte 6 TB na čistý disk, bude se muset přenést 6 TB, stejně, jako kdybyste data normálně kopíroval (ve skutečnosti se kvůli režii přenese ještě víc, pokud nemáte soubory s opakujícími se bloky dat). rsync má v takovémhle případě „jen“ tu výhodu, že mu nevadí výpadek – prostě jej spustíte znova se stejnými parametry, a rsync dokopíruje to, co ještě chybí.

rsync je potřeba pouštět tak, aby se nad nejužším místem přenosu (třeba internet) používal právě rsync protokol. Pokud tedy budete přenášet data přes internet nebo přes lokální síť, je potřeba, aby to síťové spojení bylo řešené přes rsync, ne třeba přes NFS. Pokud si přes internet připojíte disk přes NFS a pak „lokálně“ spustíte rsync, musí se přes síť přenést celý soubor, lokálně se pak zjistí, že je stejný a zahodí se.

Co se týče rozdílné velikosti, mohou to být různě velké bloky, hardlinky, řídké soubory…


creco

Re:Přenos 6 TB pomocí rsync
« Odpověď #5 kdy: 12. 12. 2013, 14:11:27 »
Proč používáš nfs, když to chceš synchronizovat pomoci rsync? Není lepsi pracovat primo rsync -avz server:/zdroj /cil ?
Jinak pokud se ti zda, ze na cilovem disku to zabira vetsi velikost, muze to byt klidne tim, ze na zdrojovym jsou hardlinky.

Napadlo te treba ze mnohem pravdepodobnejsi je ze na jenom filesystemu ma vytvorene 4K bloky a na druhem 512B bloky? pokud ma spousty malych souboru muze to delat neplechu....


creco

Re:Přenos 6 TB pomocí rsync
« Odpověď #6 kdy: 12. 12. 2013, 14:13:17 »
Chci se zeptat ?
převáděl někdo z Vás pomocí rsync cca 6TB dat
ja to právě zkouším a jsem zmaten.
na serveru jsem si pomoci nfs přimapoval nové uložište  a spustil nad tím rsync
problem je, že na cílovém disku je použito více místa než na zdrojovém
a rsync pořád běží

Prevadim i 12TB kdyz zalohuju... a problem v tom nevidim... jen by to chtelo 10Gbits sitovky pokud to budes delat casteji

LadaD

Re:Přenos 6 TB pomocí rsync
« Odpověď #7 kdy: 12. 12. 2013, 14:35:23 »
Prevadim i 12TB kdyz zalohuju... a problem v tom nevidim... jen by to chtelo 10Gbits sitovky pokud to budes delat casteji
Při takhle velkých datech už je mnohem lepší použít nějaký FS, který má dobře řešené snapshoty. Pak se opravdu přenáší pouze změněné věci a nemusí se kontrolovat všechna data, aby se vědělo, co se změnilo.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Přenos 6 TB pomocí rsync
« Odpověď #8 kdy: 12. 12. 2013, 15:30:56 »
Napadlo te treba ze mnohem pravdepodobnejsi je ze na jenom filesystemu ma vytvorene 4K bloky a na druhem 512B bloky? pokud ma spousty malych souboru muze to delat neplechu....

FS s bloky 512 B jeste nekde existuje? Treba na Ext3 nenastavite mene, nez tusim 1O24 B a default pro velke disky byva spise vetsi, tedy typicky maximum, ktere je 4096 B.

Benda

Re:Přenos 6 TB pomocí rsync
« Odpověď #9 kdy: 12. 12. 2013, 16:47:14 »
Tak jsem to ověřil
na obou FS používám ext4
block size 4096

Benda

Re:Přenos 6 TB pomocí rsync
« Odpověď #10 kdy: 12. 12. 2013, 16:49:07 »
Tak pozor změna velikost se srovanala  :) a rsync stále běží

Jimm

Re:Přenos 6 TB pomocí rsync
« Odpověď #11 kdy: 12. 12. 2013, 16:54:54 »
Ten odkaz co jsem posílal všichni ignorují? Je to tam vysvětleno.

randolf

Re:Přenos 6 TB pomocí rsync
« Odpověď #12 kdy: 12. 12. 2013, 17:26:36 »
Ten odkaz co jsem posílal všichni ignorují? Je to tam vysvětleno.

Ocividne :) Mimochodem to ale nevysvetluje, proc by to narostlo vyazne vice, max. o velikost jednoho souboru, ne?

creco

Re:Přenos 6 TB pomocí rsync
« Odpověď #13 kdy: 12. 12. 2013, 17:40:33 »
Ten odkaz co jsem posílal všichni ignorují? Je to tam vysvětleno.

Ocividne :) Mimochodem to ale nevysvetluje, proc by to narostlo vyazne vice, max. o velikost jednoho souboru, ne?

Zahada bermunského trojúhelníku je tady =D

Benda

Re:Přenos 6 TB pomocí rsync
« Odpověď #14 kdy: 12. 12. 2013, 19:49:11 »
výpis využitého místa
Filesystem                        Size  Used  Avail  Use% Mounted on
/dev/mapper/skupina-data  7.2T  6.6T  291G  96%   /samba
192.168.77.29:/mnt           8.1T  6.8T  934G  89%   /donkey

takže opravdu záhada :-D