Fórum Root.cz

Hlavní témata => Software => Téma založeno: ZAJDAN 22. 01. 2017, 11:30:11

Název: LVM - manipulace se svazky
Přispěvatel: ZAJDAN 22. 01. 2017, 11:30:11
Ahoj,
Již  před lety jsem na server nasadil LV, ale doposud nevyužil možností k tomu určených. Na stůl se mi dostal další starší server,  který bych rád použil pro občasné zrcadlení LVM svazků z primárního stroje pres ssh pomocí metody dd.
- může být cílové  LVM větší než zdrojové?
- je metoda dd pro tento cíl vhodná?
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 22. 01. 2017, 11:49:38
Tak pokud mluvite o discich o kapacitach, jake jsou dnes bezne, tak pres ssh a dd to casteji, nez obcas, asi nepujde, protoze to bude trvat silene dlouho.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 22. 01. 2017, 11:55:06
Stroje jsou spojené kabelem 1gb...ať si to klidně jede dlouhé hodiny.. To není téma otázky
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 22. 01. 2017, 12:08:37
na toto je ovela vhodnejsie btrfs/zfs, tie maju prikazy send a recieve a velmi pohodlne sa to posiela cez pipe po ssh.

V tvojom pripade by som siel uz po nejakej hotovej utilite/scripte, ktora dokaze robit aj incrementalne backupy blokovych zariadeni a to teoreticky mozes robit aj kazdu minutu. Interne to sice tiez pouziva ssh a dd, ale clovek nemusi mysliet na kazdu jednu chybicku ktora mu moze poskodit data.
Název: Re:LVM - manipulace se svazky
Přispěvatel: nobody(ten pravej) 22. 01. 2017, 16:16:12
@ZAJDAN, @abc123 DD v zadnem pripade, DD kopiruje bloky nezavisle na filesystemu/souborech (z principu tedy NEMUZE poznat zmeny) to je (+-) to same jako bych na USBFlash chtel novej soubor kopirovat tak ze vytvorim na jednom PC ISO ktere pak nahraju na USBFlash...

pro synchronizaci (jednosmernou) souboru pouzit rsync, rdiff-backup, rsnapshot...

jinak k DD... ono DD se pouziva primarne jen pro potreby 1:1 kopie zdrojoveho disku, nebo pro nahrani takove kopie na cilovy disk(vicemene RPi apod), v praxi se ale i na kopii celeho disku DD pouziva minimalne protoze proste neni vhodne tim ze kopiruje i veskere volne misto(takze je nutne pouzit zaroven dodatecnou komprimaci), misto toho se pouziva partclone, partimage, resp. nad tim postavena clonezilla...
Název: Re:LVM - manipulace se svazky
Přispěvatel: nobody(ten pravej) 22. 01. 2017, 16:20:05
jeste obecne k DD, musi se delat mimo bezici system/aplikace, disk nesmi byt pripojen, protoze tim ze se kopiruje bitove, tak nevi ze se neco meni a klidne zkopiruje cast souboru stareho a cast noveho v pripade ze dojde ke zmene, takze vysledek pak v cili bude jedine zkorumpenej filesystem, s necitelnejma souboroama...

je to proste neco jako bych chtel delat na kopirce kopii knihy s tim ze by stovky lidi v prubehu menili stranky, obsah text, kniha prosla v prubehu kopirovani desitkama korektur, zmenou deje, poctem kapitol apod... ;)
Název: Re:LVM - manipulace se svazky
Přispěvatel: James_Scott 22. 01. 2017, 17:23:37
Jak bylo receni vyse, tohle by slo s BTRFS / ZFS, ale pokud chces zachovat LVM tak by  mohla byt moznost nasadit GlusterFS (nebo Ceph?)
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 22. 01. 2017, 21:26:09
DD lvm volumu samozrejme predpoklada vytvorenie snapshotu a ddckovanie toho, tak nedojde ku koruptovaniu FS, ale na aplikacnej urovni moze byt samozrejme inkonzistencia. to si uz musi nastavit kazdy clovek spravnu schedule na backupy.
Název: Re:LVM - manipulace se svazky
Přispěvatel: nobody(ten pravej) 23. 01. 2017, 03:36:19
DD lvm volumu samozrejme predpoklada vytvorenie snapshotu a ddckovanie toho[...]
DD je samozrejme pro ucely tazatele kravina... bude ddckovat 2TB lvm volumu se zaplnejma 10GB kde doslo ke zmene 1MB? takze dd image bude mit 2TB a bude hnat pres gz/bzip2/xz? na druhe strane to zpetne dekompresovat a zas cele 2TB nahravat na cilovej disk premazanim vseho? to vse kvuli 1MB zmenenejch dat? uz ti to dochazi ze je tu DD proste KRAVINA? i na bezne disk je to kravina, je to fakt jen na potreby ziskat/predat raw image... ale ne pro syncrhonizaci dat, ne pro kopirovani/zalohovani disku ;)
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 10:20:15
OK...ZFS, BTRFS by bylo nejlepší řešení, ale musím respektovat, že současný stav je EXT4, není čas ani vhodná situace běžící systém měnit...až bude vhodná chvíle udělám to, ale nyní musím vyřešit 'mission critical'
stačí tedy rsyncovat snapshoty LVM?
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM

 ?
Název: Re:LVM - manipulace se svazky
Přispěvatel: MP 23. 01. 2017, 10:37:19
Vite o tom, jaka je vykonostni penalizace z hlediska snapshotu LVM?
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 11:08:35
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM


Vy jste tim dd nejak posedly a nedate pokoj, dokud nevymyslite nejaky, jakkoliv nesmyslny zpusob, abyste ho mohl pouzit. Nemyslite, ze by bylo lepsi si na cilovem serveru pripravit disky, jak vam vyhovuje a pak uz je rsyncovat, od sameho pocatku?
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 11:13:03
- na backup server udělat první/zahajovací clon LVM pomocí dd
- dále jen rsyncovat snapshoty daného LVM


Vy jste tim dd nejak posedly a nedate pokoj, dokud nevymyslite nejaky, jakkoliv nesmyslny zpusob, abyste ho mohl pouzit. Nemyslite, ze by bylo lepsi si na cilovem serveru pripravit disky, jak vam vyhovuje a pak uz je rsyncovat, od sameho pocatku?

Už chvíli mám pocit, že jen provokuje...

(pokud náhodou ne, tak je nejspíš jen úplně blbej a je to takový ten případ, kdy chce slyšet jen potvrzení svého debilního řešení, které jsi vymyslel a bude se snažit věci kroutit, aby měl možnost si zdůvodnit, že je důvod ho použít i když nám je jasné, že není)
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 11:30:06
 :o :o ::) ::) ;D ;D
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 11:36:03
@ByCzech: Me by take zajimalo, jak si to dd beziciho serveru predstavuje. Jak se zda, tak je problem to na dva dny odstavit, aby mohl ty disky premontovat ro nebo odmontovat a to dd mohlo probehnout, protoze si nejak neumim predstavit, jak udela smysluplny obraz disku, kam se pise. A podeziram, ze vytvareni obrazu disku pomoci dd nebylo to, co meli autori LVM a snapshotu na mysli.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 11:58:33
a me zase pripada, ze vubec nechapete pointu:
ten backup server ma ciste disky, jen predvytvorene LMVka (prazdné kontajnery)
pokud na nej rsyncuju jen samotnej snapshot zdrojoveho LVM, tak logicky i laik jako ja si domysli, ze to fungovat nebude
vzdyt ten snapshot se odkazuje na matricni data a to je to proc chci pouzit k inicializaci dd
dd udelam pouze jednou a pak uz bych jen rsyncoval snapshoty
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 12:04:35
Kterou část z toho, že dd je absolutně nevhodné na zálohu běžícího systému, jsi přesně nepochopil? To to na několik dní odstavíš? A pokud ano, tak proč tu zálohu kurva neuděláš správně místo toho dd rovnou? Jseš fakt úplně blbej?
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 12:18:06
Kterou část z toho, že dd je absolutně nevhodné na zálohu běžícího systému, jsi přesně nepochopil? To to na několik dní odstavíš? A pokud ano, tak proč tu zálohu kurva neuděláš správně místo toho dd rovnou? Jseš fakt úplně blbej?

No neříkal jsem to? :D

tak je nejspíš jen úplně blbej a je to takový ten případ, kdy chce slyšet jen potvrzení svého debilního řešení, které jsi vymyslel a bude se snažit věci kroutit, aby měl možnost si zdůvodnit, že je důvod ho použít i když nám je jasné, že není

Pořád hledá ten pravý důvod svého jednání. :D
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 12:27:50
vzdálené LVM je prázdné
na zdrojovém LVM udělám snapshot -> ten rsyncnu na vzdálené LVM (jak popisujete)
ten snapshot má třeba 1GB z referenčních 100GB(celé LVM)

z čeho na vzdáleném LVM ten 1GB snapshot veme referenční data....toto mi nejde do hlavy

díky za objasnění
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 12:38:45
@ByCzech,  Lol Phirae: Nedelejte si pulky a radsi vymyslete, jak by se ten dd prece jen na neco dal pouzit!

@ZAJDAN: Mohl byste upresnit, co presne chcete rsyncovat? Protoze pokud hodlate rsyncovat zdrojova data proti cilovym datum, tak nevim, v cem by mel byt zakopany pes.
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 12:44:59
@ByCzech,  Lol Phirae: Nedelejte si pulky a radsi vymyslete, jak by se ten dd prece jen na neco dal pouzit!

S výhodou to lze použít na transparentní velmi účinnou kompresi dat, např.

Kód: [Vybrat]
dd if=/dev/zero of=/dev/sda bs=4096
Tím se pak následné zálohování velmi zrychlí! 8) ;D
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 23. 01. 2017, 12:45:45
ja som OPovi povodne radil aby pouzil uz nejake existujuce riesenie :) to ci to na pozadi robi transport blokoveho zariadenia alebo rsyncuje subory po jednom je v principe jedno a urcite to bude konfigurovatelna moznost, je rozdiel backupovat home (co ked mame raw volumy naformatovane bez FS? kopec hypervizorov si tak odklada obrazy virtualiek do poolu priamo na raw device a nie do suboru na FS).
Neviem preco vam je DD proti srsti, ked ZFS/BTRFs cez prikaz send a recieve robia to iste. Tiez prenasaju bitovu kopiu blokoveho zariadenia cez ssh, Len si treba dat pozor aby to bolo spravene spravne. Ale to maju existujuce backup tooly uz otestovane komunitou predsa.
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 12:52:43
Neviem preco vam je DD proti srsti

To už tady celý den vysvětlujeme, jsem rád, že se našel další blbec, co to ještě nepochopil.

ked ZFS/BTRFs cez prikaz send a recieve robia to iste. ... Len si treba dat pozor aby to bolo spravene spravne.

Ne, nerobí to isté. Nejdřív se vytvoří snapshot, a ten se pak odešle, čímž se zajistí konsistentnost dat.  Celou dobu tady o tom mluvíme! Kristova noho!!!
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 12:55:33
@ByCzech,  Lol Phirae: Nedelejte si pulky a radsi vymyslete, jak by se ten dd prece jen na neco dal pouzit!

No to už mě napadlo prve, že by na zdrojovém serveru mohl pustit dd if=/dev/null of=lvm a tím by se mu vyhovělo a problém, který má by už taky nebyl. :D Sice by si otevřel nové vlákno na to co s prázdným lvm, ale tohle by se mohlo uzavřít :D
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 12:56:33
@ByCzech,  Lol Phirae: Nedelejte si pulky a radsi vymyslete, jak by se ten dd prece jen na neco dal pouzit!

S výhodou to lze použít na transparentní velmi účinnou kompresi dat, např.

Kód: [Vybrat]
dd if=/dev/zero of=/dev/sda bs=4096
Tím se pak následné zálohování velmi zrychlí! 8) ;D

LOL, jsem si nevšim, žes mě předběh a poslal jsem něco takového taky :D
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 13:09:54
a me zase pripada, ze vubec nechapete pointu:
ten backup server ma ciste disky, jen predvytvorene LMVka (prazdné kontajnery)
pokud na nej rsyncuju jen samotnej snapshot zdrojoveho LVM, tak logicky i laik jako ja si domysli, ze to fungovat nebude
vzdyt ten snapshot se odkazuje na matricni data a to je to proc chci pouzit k inicializaci dd
dd udelam pouze jednou a pak uz bych jen rsyncoval snapshoty

Hele proč chceš radu, když už ses dávno rozhodl, že to tak chceš udělat? Tak to udělej, spal si prsty a neptej se :)
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 13:16:01
To chce klid... postupně... dd se dá použít k vytvoření "počátečního stavu", ale je to zbytečné, bude se přenášet i prázdné místo... počáteční stav se dá stejně dobře vytvořit i tím rsyncem a to úplně stejným příkazem, jak pozdější synchronizace. Není na tom co vymýšlet. Ještě upozorňuji, že v rámci zachování konzistence na všech úrovních je třeba zastavit aplikace, databáze atd, vytvořit snapshot, spustit aplikace a to ostatní a snapshot tím pádem bude obsahovat konzistentní data (pokud toto není ošetřeno jinak na aplikační úrovni).
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 13:39:50
Jestlipak v Linuxu nejak umime zrcadleni serveru, jako umel NetWare SFT-III? To by se zde docela hodilo.

To chce klid... postupně... dd se dá použít k vytvoření "počátečního stavu", ale je to zbytečné, bude se přenášet i prázdné místo...

Jsi si tim jisty? Vzhledem k tomu, ze ten stroj zretelne nemuze vypnout/premontvat disky RO, tak si predstavuju, jak pomoci dd na cilovem stroji vytvorim leda tak nabourany FS s nekonzistentnimi daty. Ten FS budu muset napred opravit a nasledne muzu rsyncovat data. Vzhledem k tomu, ze v tech datech na cilovem stroji muzu ocekavat pekny bordel, bude zahodno rsyncu vnutit kompletni kontrolu kazdeho souboru, namisto defaultniho porovnavani timestampu a velikosti (nebo co to presne porovnava). Zbytecne prenasene prazdne bloky by mne asi trapily uplne nejmene.

@ZAJDAN: Pokud pres vyse uvedene a pres vsechno uvedene predtim stale jeste trvate na pouziti dd, tak byste se asi mel jit lecit. V kazdem pripade nevahejte a vypravejte, jak dobre byly vysledky.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 13:46:47
To chce klid... postupně... dd se dá použít k vytvoření "počátečního stavu", ale je to zbytečné, bude se přenášet i prázdné místo... počáteční stav se dá stejně dobře vytvořit i tím rsyncem a to úplně stejným příkazem, jak pozdější synchronizace. Není na tom co vymýšlet. Ještě upozorňuji, že v rámci zachování konzistence na všech úrovních je třeba zastavit aplikace, databáze atd, vytvořit snapshot, spustit aplikace a to ostatní a snapshot tím pádem bude obsahovat konzistentní data (pokud toto není ošetřeno jinak na aplikační úrovni).

díky za podporu
přesně toto mi nebylo jasné, jak vytvořit počáteční stav
a co lvconvert   ...?
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 14:04:39
To chce klid... postupně... dd se dá použít k vytvoření "počátečního stavu", ale je to zbytečné, bude se přenášet i prázdné místo... počáteční stav se dá stejně dobře vytvořit i tím rsyncem a to úplně stejným příkazem, jak pozdější synchronizace. Není na tom co vymýšlet. Ještě upozorňuji, že v rámci zachování konzistence na všech úrovních je třeba zastavit aplikace, databáze atd, vytvořit snapshot, spustit aplikace a to ostatní a snapshot tím pádem bude obsahovat konzistentní data (pokud toto není ošetřeno jinak na aplikační úrovni).

díky za podporu
přesně toto mi nebylo jasné, jak vytvořit počáteční stav
a co lvconvert   ...?
No lvconvertem by se dal LVM převést na mirror, ale to by tak nějak očekávalo lokální dostupnost obou "disků", takže buď v rámci jednoho stroje, nebo SAN, nebo třeba DRBD. Ale pokud je to ve stavu, že to není možné teď nějak předělávat, udělal bych rsync a až to možné bude, zamyslel bych se nad tím btrfs. Je to samozřejmě otázkou peněz, v ideálním případě dvě SAN pole propojená optikou v oddělených lokalitách a mezi nimi mirror... ale to se bavíme o miliónech.
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 23. 01. 2017, 14:16:31


vsak snapshot je samozrejmost :) to som tiez spominal od zaciatku :) ale to je, jedno su proste existujuce overene riesenia, neviem preco vymyslat teplu vodu.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 14:27:11
ok, nechám si poradit od zkušenějších a počáteční stav na backup server udělám přes rsync
bude problém když:
- remote LVM je větší než source LVM ?

je jedno ? zda posílám rsync na:
- rsync /dev/mapper/myGroup--lv1 ssh user@ip:/dev/mapper/myGroup--lv1
nebo
- rsync /dev/myGroup/lv1 ssh user@ip:/dev/myGroup/lv1
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 23. 01. 2017, 14:33:09
rsyncovat vies len subory, cele blokove zariadenie ti bez DDcka nepojde prekopirovat :) cize ak rsync, tak /path/to/source/ /path/to/destination/

Ale potom ti snapshoty lvciek nepomozu, uz budes musiet robit incremental backupy suborovej urovni.
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 14:38:15
vsak snapshot je samozrejmost :) to som tiez spominal od zaciatku :)

Pro tazatele evidentně ne.  ::)
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 14:39:42
ok, nechám si poradit od zkušenějších a počáteční stav na backup server udělám přes rsync
bude problém když:
- remote LVM je větší než source LVM ?

To mi připomíná, když jsem si jednou v hospodě u takové hezké blonďaté servírky objednal dvojitý džus (4 dcl), odkráčela s nechápavým výrazem, aby se za chvíli s ještě nechápavějším vrátila s otázkou: "A můžu to dát do půllitru?" Když se dočkala odpovědi: "Pokud se to vejde, tak klidně!" :D už se její nechápavý výraz nedá ani popsat :D. Objednávku donesla s omluvou, že si ze mě nechtěla dělat srandu :D.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 14:48:24
rsyncovat vies len subory, cele blokove zariadenie ti bez DDcka nepojde prekopirovat :) cize ak rsync, tak /path/to/source/ /path/to/destination/

Ale potom ti snapshoty lvciek nepomozu, uz budes musiet robit incremental backupy suborovej urovni.
proto jsem od samého začátku šel po 'dd'
takže celá ta věda je zastavit virtuál a pustit rsync na soubory?
rsync /mnt/virtualmachine-1 ssh user@ip:/mnt/virtualmachine-1

to by ale neřešilo live backup (běžícího virtuálu)
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 14:54:57
rsyncovat vies len subory, cele blokove zariadenie ti bez DDcka nepojde prekopirovat :) cize ak rsync, tak /path/to/source/ /path/to/destination/

Tak ono by nejspis melo jit rsyncovat blokova zarizeni. Proc ne, kdyz to v systemu je videt jako soubor. Otazka tedy je, jak by se rsync tvaril na to, ze kazde to zarizeni ma jinou fyzickou velikost.

Ale tim porad nemizi problem s dd, ze na cilovem stroji ziskam leda tak nabourany FS se soubory v nekonzistentnim stavu.
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 14:59:09
rsyncovat vies len subory, cele blokove zariadenie ti bez DDcka nepojde prekopirovat :) cize ak rsync, tak /path/to/source/ /path/to/destination/

Ale potom ti snapshoty lvciek nepomozu, uz budes musiet robit incremental backupy suborovej urovni.
proto jsem od samého začátku šel po 'dd'
takže celá ta věda je zastavit virtuál a pustit rsync na soubory?
rsync /mnt/virtualmachine-1 ssh user@ip:/mnt/virtualmachine-1

to by ale neřešilo live backup (běžícího virtuálu)
Nenene... zastavit aplikace na virtuálu, udělat snapshot (pár sekund), pustit služby, přimountovat snapshot, zazálohovat snapshot, odmountovat, smazat snapshot. Běžící stroj včetně aplikací je konzistentně nezálohovatelný, pokud na to aplikace nejsou připraveny a nemají to ošetřeno. U nějakých webů s pár přístupama to nebude problém a zastavovat většinou netřeba, ale jestli je to kritická aplikace, ve které může kdykoliv někdo něco dělat a hlavně měnit, pak bych se podíval do její dokumentace na doporučený postup. Pokud tam nic takovýho není, omlátit výrobci o hlavu, vypovědět smlouvu a hledat něco rozumnýho.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 14:59:46
rsyncovat vies len subory, cele blokove zariadenie ti bez DDcka nepojde prekopirovat :) cize ak rsync, tak /path/to/source/ /path/to/destination/

Tak ono by nejspis melo jit rsyncovat blokova zarizeni. Proc ne, kdyz to v systemu je videt jako soubor. Otazka tedy je, jak by se rsync tvaril na to, ze kazde to zarizeni ma jinou fyzickou velikost.

Ale tim porad nemizi problem s dd, ze na cilovem stroji ziskam leda tak nabourany FS se soubory v nekonzistentnim stavu.

od sameho zacatku je mi jasne ze dd ma smysl jen pri unmountlem zarizeni.....to jsem byl ochoten udelat - jednou pro ziskani vychozich dat
s tím ze dale bych to jen prikrmoval snapshotama
Název: Re:LVM - manipulace se svazky
Přispěvatel: Lol Phirae 23. 01. 2017, 15:02:01
od sameho zacatku je mi jasne ze dd ma smysl jen pri unmountlem zarizeni.....to jsem byl ochoten udelat - jednou pro ziskani vychozich dat

Goto (https://forum.root.cz/index.php?topic=14665.msg197247#msg197247). To snad není možné.

 :o :o :o
Název: Re:LVM - manipulace se svazky
Přispěvatel: abc123 23. 01. 2017, 15:10:47
https://www.baculasystems.com/enterprise-backup-solution-with-bacula-systems/vm-performance-backup-suite

Priklad, prvy odkaz v googli, treba to porovnat s moznostami free baculy. spravi to backup virtualiek na najpouzivanejsich hypervizoroch, full aj incremental. neviem ci OP potrebuje nieco viac ako uz hotove riesenia. Je XY inych free rieseni ktore uz budu mat vsetko vymyslene, su tam trigre na stopovanie aplikacii a databaz v case backupu, 99% usecasov je uz vynajdenych a overenych casom. Preco nas ma zaujimat ci to na pozati robi DD, alebo cat, alebo si to vola nejaku vlastnu binarku?
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 15:20:35
Citace
Nenene... zastavit aplikace na virtuálu, udělat snapshot (pár sekund), pustit služby, přimountovat snapshot, zazálohovat snapshot, odmountovat, smazat snapshot. Běžící stroj včetně aplikací je konzistentně nezálohovatelný, pokud na to aplikace nejsou připraveny a nemají to ošetřeno. U nějakých webů s pár přístupama to nebude problém a zastavovat většinou netřeba, ale jestli je to kritická aplikace, ve které může kdykoliv někdo něco dělat a hlavně měnit, pak bych se podíval do její dokumentace na doporučený postup. Pokud tam nic takovýho není, omlátit výrobci o hlavu, vypovědět smlouvu a hledat něco rozumnýho.
díky...výstižné, teď už se mi to konečně začíná objasňovat
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 16:22:00
takze jednim minimalistickym resenim by mohl byt tento script volaný dle potreby cronem:

Kód: [Vybrat]
#!/bin/bash

# Create a LVM snapshot of the var LV
lvcreate -L 50G -s -n websnap /dev/myGroup/webserver

# Mount the snapshot
mount /dev/myGroup/websnap /mnt/webserver-snapshot/

# Copy to remote
rsync /mnt/webserver-snapshot/  ssh supervisor@ip:/dev/myGroup/webserver

# Remove the snapshot
umount /mnt/webserver-snapshot/
lvremove -f /dev/myGroup/websnap

Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 16:24:15
takze jednim minimalistickym resenim by mohl byt tento script volaný dle potreby cronem:

Kód: [Vybrat]
#!/bin/bash

# Create a LVM snapshot of the var LV
lvcreate -L 50G -s -n websnap /dev/myGroup/webserver

# Mount the snapshot
mount /dev/myGroup/websnap /mnt/webserver-snapshot/

# Copy to remote
rsync /mnt/webserver-snapshot/  ssh supervisor@ip:/dev/myGroup/webserver

# Remove the snapshot
umount /mnt/webserver-snapshot/
lvremove -f /dev/myGroup/websnap
diky Tuxiku za srozumitelnou osvětu!
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 16:35:43
takze jednim minimalistickym resenim by mohl byt tento script volaný dle potreby cronem:

Kód: [Vybrat]
#!/bin/bash

# Create a LVM snapshot of the var LV
lvcreate -L 50G -s -n websnap /dev/myGroup/webserver

# Mount the snapshot
mount /dev/myGroup/websnap /mnt/webserver-snapshot/

# Copy to remote
rsync /mnt/webserver-snapshot/  ssh supervisor@ip:/dev/myGroup/webserver

# Remove the snapshot
umount /mnt/webserver-snapshot/
lvremove -f /dev/myGroup/websnap
diky Tuxiku za srozumitelnou osvětu!
Není zač, tak nějak to je. Ještě upozorním, že záloha DB je dost samostatná věc, na úrovni fs bude fungovat, ale pokud je DB větší a je v ní nějaký pohyb, budeš v podstatě pokaždé dělat full backup. To se potom řeší vynecháním DB z rsync, nějakou plnou zálohou třeba jednou týdně (může být i ta fs) a potom se k tomu zálohují redo logy / transaction logy, ale to už je databázově závislý. Pokud tam DB nemáš, nebo není moc velká, netřeba řešit.
Název: Re:LVM - manipulace se svazky
Přispěvatel: nobody(ten pravej) 23. 01. 2017, 16:40:27
- na backup server udělat první/zahajovací clon LVM pomocí dd

ti vazne hrabe? nebo proc chces delat tu totalni kravinu s dd? pokud vazne potrebujes aby ti ji nekdo schvalil, tak hod dotaz na forum Materidousky nebo neceho co ctou deti ve skolce ;)
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 16:45:49
A ještě bych doplnil, že před vytvořením snapshotu je dobré udělat sync; aby se propsaly aktuální změny na disk a to pokud budeš zastavovat aplikace, tak po jejich zastavení, pokud ne, tak prostě před snapshotem.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 16:45:53
Citace
Není zač, tak nějak to je. Ještě upozorním, že záloha DB je dost samostatná věc, na úrovni fs bude fungovat, ale pokud je DB větší a je v ní nějaký pohyb, budeš v podstatě pokaždé dělat full backup. To se potom řeší vynecháním DB z rsync, nějakou plnou zálohou třeba jednou týdně (může být i ta fs) a potom se k tomu zálohují redo logy / transaction logy, ale to už je databázově závislý. Pokud tam DB nemáš, nebo není moc velká, netřeba řešit.
ohledne tech databazí...pokud by se osefovalo pauznuti sluzby co s databazí manipuluje, tak bych ty databaze resit nemusel pokud to dobre chapu
Název: Re:LVM - manipulace se svazky
Přispěvatel: nobody(ten pravej) 23. 01. 2017, 16:46:11

sorry, beru (snad) zpet, nevsiml sem si ze nez sem odpovedel na delsi dobu otevrenou stranku, tak uz pribyla page 3 ;)
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 16:48:30
Citace
sorry, beru (snad) zpet, nevsiml sem si ze nez sem odpovedel na delsi dobu otevrenou stranku, tak uz pribyla page 3 ;)
omluva prijata :_)
Název: Re:LVM - manipulace se svazky
Přispěvatel: Tuxik 23. 01. 2017, 16:52:32
Citace
Není zač, tak nějak to je. Ještě upozorním, že záloha DB je dost samostatná věc, na úrovni fs bude fungovat, ale pokud je DB větší a je v ní nějaký pohyb, budeš v podstatě pokaždé dělat full backup. To se potom řeší vynecháním DB z rsync, nějakou plnou zálohou třeba jednou týdně (může být i ta fs) a potom se k tomu zálohují redo logy / transaction logy, ale to už je databázově závislý. Pokud tam DB nemáš, nebo není moc velká, netřeba řešit.
ohledne tech databazí...pokud by se osefovalo pauznuti sluzby co s databazí manipuluje, tak bych ty databaze resit nemusel pokud to dobre chapu
Pokud si jsi jistej, že se všechno opravdu commitlo, tak teoreticky ne, ale pokud ji budeš zálohovat na úrovni FS, raději bych ji zastavil, pokud nějakým dumpem, bylo by dobré provést pro jistotu lock. Ale to může být u každé DB jinak. Přiznám se, MariaDB/MySQL jsem už dlouho nepotřeboval řešit, ale třeba na Oraclu může mít přímo DB nějaké naplánované úlohy a trefit se do nich se zálohou by nemuselo být nejvhodnější. Takže opět, podíval bych se na konkrétní DB a na best practices, tam zálohování na 100 procent bude.
Název: Re:LVM - manipulace se svazky
Přispěvatel: JardaP . 23. 01. 2017, 17:03:29
od sameho zacatku je mi jasne ze dd ma smysl jen pri unmountlem zarizeni.....to jsem byl ochoten udelat - jednou pro ziskani vychozich dat
s tím ze dale bych to jen prikrmoval snapshotama

Vyborne! Ovsem muzete si dovolit tu herku zastavit na nekolik hodin nebo treba dva dny, podle velikosti disku? A co byste tim ziskal? Ze stravite hafo casu prenasenim nesmyslu, jako prazdne misto? Proc, proboha? Proc to nemuzete rsyncovat hned napoprve? Za co, soudruzi, za co?

Co byste eventuelne mohl udelat, aby vam tam celou vecnost nevisel snapshot, pokud by to byl problem, tak byste napoprve rsyncoval bezici virtual, pricemz ziskana kopie asi nebude v prilis dobrem stavu. Ale bude v dostatecne dobrem stavu na to, abyste nasledne mohl udelat rsync proti snapshotu, ktery uz probehne rychleji, protoze bude jen opravovat chyby. Ale najdete si, ktery parametr rsyncu vynuti kompletni kontrolu vsech souboru blok po bloku, bez ohledu na sedici timestamp a velikost. Jinak by mozna nektere chyby mohly ujit pozornosti.
Název: Re:LVM - manipulace se svazky
Přispěvatel: ZAJDAN 23. 01. 2017, 17:07:03
Citace
Vyborne! Ovsem muzete si dovolit tu herku zastavit na nekolik hodin nebo treba dva dny, podle velikosti disku? A co byste tim ziskal? Ze stravite hafo casu prenasenim nesmyslu, jako prazdne misto? Proc, proboha? Proc to nemuzete rsyncovat hned napoprve? Za co, soudruzi, za co?

Co byste eventuelne mohl udelat, aby vam tam celou vecnost nevisel snapshot, pokud by to byl problem, tak byste napoprve rsyncoval bezici virtual, pricemz ziskana kopie asi nebude v prilis dobrem stavu. Ale bude v dostatecne dobrem stavu na to, abyste nasledne mohl udelat rsync proti snapshotu, ktery uz probehne rychleji, protoze bude jen opravovat chyby. Ale najdete si, ktery parametr rsyncu vynuti kompletni kontrolu vsech souboru blok po bloku, bez ohledu na sedici timestamp a velikost. Jinak by mozna nektere chyby mohly ujit pozornosti.
jestli jsi spravne cetl, psal jsem v minulem case 'byl jsem ochoten'...ale vzhledem k informacim, ktere jsem ziskal od trpelivych rádců jsem pochopil, že dd mohu klidně vynechat
už se k tomu prosím nevracej, toto už je za námi...děkuji
Název: Re:LVM - manipulace se svazky
Přispěvatel: ByCzech 23. 01. 2017, 19:47:30
od sameho zacatku je mi jasne ze dd ma smysl jen pri unmountlem zarizeni.....to jsem byl ochoten udelat - jednou pro ziskani vychozich dat

Goto (https://forum.root.cz/index.php?topic=14665.msg197247#msg197247). To snad není možné.

 :o :o :o

Pořád hledá zdůvodnění :D

https://youtu.be/kG2F3apEcnI :D