LVM - manipulace se svazky

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
LVM - manipulace se svazky
« kdy: 22. 01. 2017, 11:30:11 »
Ahoj,
Již  před lety jsem na server nasadil LV, ale doposud nevyužil možností k tomu určených. Na stůl se mi dostal další starší server,  který bych rád použil pro občasné zrcadlení LVM svazků z primárního stroje pres ssh pomocí metody dd.
- může být cílové  LVM větší než zdrojové?
- je metoda dd pro tento cíl vhodná?
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #1 kdy: 22. 01. 2017, 11:49:38 »
Tak pokud mluvite o discich o kapacitach, jake jsou dnes bezne, tak pres ssh a dd to casteji, nez obcas, asi nepujde, protoze to bude trvat silene dlouho.

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #2 kdy: 22. 01. 2017, 11:55:06 »
Stroje jsou spojené kabelem 1gb...ať si to klidně jede dlouhé hodiny.. To není téma otázky
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

abc123

Re:LVM - manipulace se svazky
« Odpověď #3 kdy: 22. 01. 2017, 12:08:37 »
na toto je ovela vhodnejsie btrfs/zfs, tie maju prikazy send a recieve a velmi pohodlne sa to posiela cez pipe po ssh.

V tvojom pripade by som siel uz po nejakej hotovej utilite/scripte, ktora dokaze robit aj incrementalne backupy blokovych zariadeni a to teoreticky mozes robit aj kazdu minutu. Interne to sice tiez pouziva ssh a dd, ale clovek nemusi mysliet na kazdu jednu chybicku ktora mu moze poskodit data.

nobody(ten pravej)

Re:LVM - manipulace se svazky
« Odpověď #4 kdy: 22. 01. 2017, 16:16:12 »
@ZAJDAN, @abc123 DD v zadnem pripade, DD kopiruje bloky nezavisle na filesystemu/souborech (z principu tedy NEMUZE poznat zmeny) to je (+-) to same jako bych na USBFlash chtel novej soubor kopirovat tak ze vytvorim na jednom PC ISO ktere pak nahraju na USBFlash...

pro synchronizaci (jednosmernou) souboru pouzit rsync, rdiff-backup, rsnapshot...

jinak k DD... ono DD se pouziva primarne jen pro potreby 1:1 kopie zdrojoveho disku, nebo pro nahrani takove kopie na cilovy disk(vicemene RPi apod), v praxi se ale i na kopii celeho disku DD pouziva minimalne protoze proste neni vhodne tim ze kopiruje i veskere volne misto(takze je nutne pouzit zaroven dodatecnou komprimaci), misto toho se pouziva partclone, partimage, resp. nad tim postavena clonezilla...


nobody(ten pravej)

Re:LVM - manipulace se svazky
« Odpověď #5 kdy: 22. 01. 2017, 16:20:05 »
jeste obecne k DD, musi se delat mimo bezici system/aplikace, disk nesmi byt pripojen, protoze tim ze se kopiruje bitove, tak nevi ze se neco meni a klidne zkopiruje cast souboru stareho a cast noveho v pripade ze dojde ke zmene, takze vysledek pak v cili bude jedine zkorumpenej filesystem, s necitelnejma souboroama...

je to proste neco jako bych chtel delat na kopirce kopii knihy s tim ze by stovky lidi v prubehu menili stranky, obsah text, kniha prosla v prubehu kopirovani desitkama korektur, zmenou deje, poctem kapitol apod... ;)

Re:LVM - manipulace se svazky
« Odpověď #6 kdy: 22. 01. 2017, 17:23:37 »
Jak bylo receni vyse, tohle by slo s BTRFS / ZFS, ale pokud chces zachovat LVM tak by  mohla byt moznost nasadit GlusterFS (nebo Ceph?)

abc123

Re:LVM - manipulace se svazky
« Odpověď #7 kdy: 22. 01. 2017, 21:26:09 »
DD lvm volumu samozrejme predpoklada vytvorenie snapshotu a ddckovanie toho, tak nedojde ku koruptovaniu FS, ale na aplikacnej urovni moze byt samozrejme inkonzistencia. to si uz musi nastavit kazdy clovek spravnu schedule na backupy.

nobody(ten pravej)

Re:LVM - manipulace se svazky
« Odpověď #8 kdy: 23. 01. 2017, 03:36:19 »
DD lvm volumu samozrejme predpoklada vytvorenie snapshotu a ddckovanie toho[...]
DD je samozrejme pro ucely tazatele kravina... bude ddckovat 2TB lvm volumu se zaplnejma 10GB kde doslo ke zmene 1MB? takze dd image bude mit 2TB a bude hnat pres gz/bzip2/xz? na druhe strane to zpetne dekompresovat a zas cele 2TB nahravat na cilovej disk premazanim vseho? to vse kvuli 1MB zmenenejch dat? uz ti to dochazi ze je tu DD proste KRAVINA? i na bezne disk je to kravina, je to fakt jen na potreby ziskat/predat raw image... ale ne pro syncrhonizaci dat, ne pro kopirovani/zalohovani disku ;)

ZAJDAN

  • *****
  • 2 078
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #9 kdy: 23. 01. 2017, 10:20:15 »
OK...ZFS, BTRFS by bylo nejlepší řešení, ale musím respektovat, že současný stav je EXT4, není čas ani vhodná situace běžící systém měnit...až bude vhodná chvíle udělám to, ale nyní musím vyřešit 'mission critical'
stačí tedy rsyncovat snapshoty LVM?
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM

 ?
Vesele, vesele do továrny dělník běží...vesele, vesele do továrny jde. Vesele se usmívá když mu soustruh zazpívá...vesele, vesele do továrny jde. Vesele si poskočí když se soustruh roztočí ...vesele, vesele do továrny jde.

MP

Re:LVM - manipulace se svazky
« Odpověď #10 kdy: 23. 01. 2017, 10:37:19 »
Vite o tom, jaka je vykonostni penalizace z hlediska snapshotu LVM?

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #11 kdy: 23. 01. 2017, 11:08:35 »
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM


Vy jste tim dd nejak posedly a nedate pokoj, dokud nevymyslite nejaky, jakkoliv nesmyslny zpusob, abyste ho mohl pouzit. Nemyslite, ze by bylo lepsi si na cilovem serveru pripravit disky, jak vam vyhovuje a pak uz je rsyncovat, od sameho pocatku?

ByCzech

  • *****
  • 1 848
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #12 kdy: 23. 01. 2017, 11:13:03 »
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM


Vy jste tim dd nejak posedly a nedate pokoj, dokud nevymyslite nejaky, jakkoliv nesmyslny zpusob, abyste ho mohl pouzit. Nemyslite, ze by bylo lepsi si na cilovem serveru pripravit disky, jak vam vyhovuje a pak uz je rsyncovat, od sameho pocatku?

Už chvíli mám pocit, že jen provokuje...

(pokud náhodou ne, tak je nejspíš jen úplně blbej a je to takový ten případ, kdy chce slyšet jen potvrzení svého debilního řešení, které jsi vymyslel a bude se snažit věci kroutit, aby měl možnost si zdůvodnit, že je důvod ho použít i když nám je jasné, že není)

Lol Phirae

Re:LVM - manipulace se svazky
« Odpověď #13 kdy: 23. 01. 2017, 11:30:06 »
 :o :o ::) ::) ;D ;D

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:LVM - manipulace se svazky
« Odpověď #14 kdy: 23. 01. 2017, 11:36:03 »
@ByCzech: Me by take zajimalo, jak si to dd beziciho serveru predstavuje. Jak se zda, tak je problem to na dva dny odstavit, aby mohl ty disky premontovat ro nebo odmontovat a to dd mohlo probehnout, protoze si nejak neumim predstavit, jak udela smysluplny obraz disku, kam se pise. A podeziram, ze vytvareni obrazu disku pomoci dd nebylo to, co meli autori LVM a snapshotu na mysli.