Klonování záloh mezi lokalitami - RSYNC?

CPU

  • ***
  • 248
    • Zobrazit profil
    • E-mail
Klonování záloh mezi lokalitami - RSYNC?
« kdy: 26. 07. 2022, 12:14:24 »
Ahoj,

Chci klonovat zálohy z jedné lokality do druhé po ne úplně dokonalé 100 Mbps lince.

Nejdřív jsem přemýšlel, že bych druhou lokalitu připojil přes iSCSI, protože to je symetrická linka (100/100).
Ale když to připojím přes iSCSI a druhá lokalita nebude dostupná (stává se), objeví se mi velká spousta ošklivých chyb.

Takže jak to řešit?
"Sprostě" pomocí RSYNCU?
Jde o vytvoření prostých klonů záloh a linka může v průběhu kopírování vypadnout, iSCSI nemá rádo nespolehlivé linky, kdežto RSYNC si počká a zase se z toho vzpamatuje. Tak si říkám, že to bude asi lepší než iSCSI.

Chci něco spolehlivého a pokud možno bezúdržbového, aby se na to nemuselo (často) sahat.

BTW, mirror byste dělali přes LVM (chtěl jsem použít) nebo MDRAID (používal jsem před 10ti lety)?
« Poslední změna: 26. 07. 2022, 12:17:19 od CPU »


robin martinez

  • *****
  • 1 027
  • Have you hugged your toilet today?
    • Zobrazit profil
    • Null Storage
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #1 kdy: 26. 07. 2022, 13:05:23 »
ja bych jel na prasaka rsync, k tomuhle snad slouzi :P


a LVM nebo MDADM? LVM jsem nikde zatim nepouzil, ale oboje by melo slouzit k tomu, co ocekavas. Takze asi tak
One machine can do the work of fifty ordinary men. No machine can do the work of one extraordinary man.

I do Linux, Hardware and spaghetti code in PHP, Python and JavaScript

CPU

  • ***
  • 248
    • Zobrazit profil
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #2 kdy: 26. 07. 2022, 13:13:52 »
jel na prasaka rsync, k tomuhle snad slouzi :P
...
oboje by melo slouzit k tomu, co ocekavas

Já si to taky myslím, ale nedělám to každý den, tak se ptám.

robin martinez

  • *****
  • 1 027
  • Have you hugged your toilet today?
    • Zobrazit profil
    • Null Storage
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #3 kdy: 26. 07. 2022, 13:24:09 »
no ja to pisu s tim, ze taky ocekavam komentare ostatnich. Ale ja odjakziva na toto pouzivam rsync a na pole odjakziva mdadm. Treba to je v roce 2022 blbost :X :D


Jinak kdybych to stavel od zacatku, tak to postavim asi na nejakym ZFS a pouzivam zfs send/receive.
One machine can do the work of fifty ordinary men. No machine can do the work of one extraordinary man.

I do Linux, Hardware and spaghetti code in PHP, Python and JavaScript

CPU

  • ***
  • 248
    • Zobrazit profil
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #4 kdy: 26. 07. 2022, 13:41:18 »
postavim asi na nejakym ZFS a pouzivam zfs send/receive.

To by vůbec nebylo špatný, ale protistrana jsou Widle. Jinak by to bylo samozřejmě skvělé.


robin martinez

  • *****
  • 1 027
  • Have you hugged your toilet today?
    • Zobrazit profil
    • Null Storage
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #5 kdy: 26. 07. 2022, 13:44:08 »
jo, no tak to ne, no :/
One machine can do the work of fifty ordinary men. No machine can do the work of one extraordinary man.

I do Linux, Hardware and spaghetti code in PHP, Python and JavaScript

Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #6 kdy: 26. 07. 2022, 13:44:22 »
Já na tohle mám syncthing. Dělá to "opportunistickou" synchronizaci, lze omezit směr ("write-only"), je to atomické (soubor je buď plně přenesen, nebo tam vůbec není), funguje i na androidu, windows.

Na počítačích se automaticky dělají snapshoty, mezi nimi delty (btrfs send | zstd | openssl > soubor), a syncthing to eventuelně dopraví na NAS. Tam to párkrát za den kontroluje script, který soubory přesouvá mimo sdílený dir, čímž se zpětně uvolňuje místo na počítačích. Takhle mi to funguje od 2016 a pokaždé, když přidávám nový laptop si musím dohledat, jak se to dělá :-) protože na to v mezičase nemusím sahat.

robin martinez

  • *****
  • 1 027
  • Have you hugged your toilet today?
    • Zobrazit profil
    • Null Storage
    • E-mail
Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #7 kdy: 26. 07. 2022, 13:57:05 »
na syncthing se taky musim podivat, uz to tu parkrat padlo se spokojenosti
One machine can do the work of fifty ordinary men. No machine can do the work of one extraordinary man.

I do Linux, Hardware and spaghetti code in PHP, Python and JavaScript

Sat1

Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #8 kdy: 26. 07. 2022, 14:33:27 »
Na zálohování záloh používám skoro všude rsync. Nemá problém na wfi spojích, ani na lokalitách spojených internetem přes lokální wifi ISP. Navíc to je celkem univerzální nástroj, který podporuje i obyčejné Synology.

Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #9 kdy: 26. 07. 2022, 15:01:12 »
Syncthing je taky univerzální nástroj, a taky je populární na Synology NASech :-) a navíc umí synchronizovat i když na sebe počítače "nevidí" (používají se veřejné relay servery), např. mezi laptopem někde za domácím NATem a mobilem v LTE síti na druhém konci světa.

Když synchronizujete víc strojů (např. svoje dotfiles/home dir mezi desktopy a laptopy), tak ani nemusí být všechny počítače online ve stejnou dobu - změny se postupně napropagují z jednoho na druhý.

Re:Klonování záloh mezi lokalitami - RSYNC?
« Odpověď #10 kdy: 27. 07. 2022, 09:08:53 »
Syncthing jak uz tu padlo. Zkousel jsem leta ruzne nastroje. A opravdu Syncthing je nejlepsi / neuniverzalnejsi (pro me).