Zálohování pro Linux ve stylu Windows backup

[JardaP]

Tak to bych rad vedel, jak dlouho vam takova zaloha trva a na co to cpete. To kdyz mate 2 TB disk a pokazde to cele zalohujete i s prazdnym mistem, tak vam bude stroj stat cely den, pokud mate cokoliv mensiho, nez USB 3, kde by to snad nejak slo. Vynulovanim se ta zaloha pri kompresi zmensi, takze zabere mene mista a pres USB proleze rychleji, ale i tak je to humus. Tohle lze jen tehdy, kdyz mate tluste CPU a pouzijete nejlepe pbzip, aby se vyuzilo vice jader, jinak si radsi nepredstavuji, jak dlouho komprese takoveho objemu dat bude trvat.

Opravdu nevidim vyhodu ve srovnani s pouzitim treba rdiff-backup, kterym to zazalohuji za zlomek casu a na zlomek mista, pokud se jedna alespon o druhy beh a navic budu mit k dispozici starsi verze souboru.

Nebo, kdyz uz to musite zalohovat jpo oddilech, tak proc nepouzit treba partimage, ktery, jestli se dobre pamatuji, uklada oddily inteligentne a kopiruje z disku jen ty kusy, kde ma FS opravdu nejaka data a nejen prazdne bloky.

[Reklama]

[Ondra Satai Nekola]

Tak to bych rad vedel, jak dlouho vam takova zaloha trva a na co to cpete.

Interni pulterove SSD na externi USB3 (ne ze by to hralo roli) 2.5" (coz setsakra hraje roli) disk. Zaloha kolem ctyr hodin, takze pro pracovbni stroj nebo notebook v pohode jednou za cas pres noc.

Vyhoda je, ze kdyz ti ten stroj shori, tak koupis (nafasujes) novy a pokracujes v krasojizde bez instalace/konfigurace. Staci ti dd a pak doladit zbytek dat z dennich zaloh.

[kreten]

Pouzivam skrip + rsync +btrfs snapshoty.

- Skript rozpozna oddily, vygeneruje obnovovaci skripty
- Vytvori btrfs snapshot predchozi zalohy
- Do noveho snapshotu vyrsyncuje jednotlive oddily
- Presune symbolicky odkaz na posledni shapshot a oznaci ho readonly


Fullscale obnova:
- Vymenim HW
- Pripojim zalohu
- Nabootuji systemsescuecd
- Na zaloze spustim obnovovaci skripty

Selective obnova:
- Vymenim jen dotceny HW
- Pripojim zalohu
- Nabootuji systemsescuecd
- Spustim obnovovaci skript pro vybrany HW (disk co jsem musel vymenit logicky ci fyzicky)

Cherry picking obnova:
- Pripojim zalohu
- Udelam diff (napr. oblibenym meld) mezi stromem ze zalohy (mohu si vybrat z jakeho casu) a cilovym stromem
- Obnovim zmeny ktere mne zajimaji

Neni to nic pro endusera, ale funguje spolehlive i nadalku pres ssh.

[Ondra Satai Nekola]

Tohle lze jen tehdy, kdyz mate tluste CPU a pouzijete nejlepe pbzip, aby se vyuzilo vice jader, jinak si radsi nepredstavuji, jak dlouho komprese takoveho objemu dat bude trvat.

Ono komprimovat data, pokud jsou pred tim sifrovana, neni zas takova vyhra. Pak ti trebas hodne zalezi na tom, jak presne je to sifrovani nastavene... (hint - pokud dobre, tak to komprese odnese do nepouziti...)
A pokud bys mel nesifrovana data, tak stoji za uvahu snappy.

[j]

Boze ... pouzivat dd na backup ...


do fstab:
/                       /mnt/backup     bind            bind            0 0

do crona
rsync -a --log-file=/var/log/backup.log /mnt/backup /kamkoli/

Samo v pripade, ze fs umi snap, da se odbackupovat ten, v obou pripadech to ale bude uplne stejne nekonzistetni datove. Ten bind zaridi ze tam nebudou veci jako /sys, /proc a dalsi virtualni fs.

[Reklama]

[Jakub Galgonek]

Interni pulterove SSD na externi USB3 (ne ze by to hralo roli) 2.5" (coz setsakra hraje roli) disk.

Co přesně myslíš tím, že USB3 nehraje roli?

[Ondra Satai Nekola]

Boze ... pouzivat dd na backup ...


do fstab:
/                       /mnt/backup     bind            bind            0 0

do crona
rsync -a --log-file=/var/log/backup.log /mnt/backup /kamkoli/

Samo v pripade, ze fs umi snap, da se odbackupovat ten, v obou pripadech to ale bude uplne stejne nekonzistetni datove. Ten bind zaridi ze tam nebudou veci jako /sys, /proc a dalsi virtualni fs.

Tak mi porad, jak udelat backup pro co nejrychlejsi obnovu v domacich podminkach... na tohle jsou proste bitove kopie prima, nemluve o tom, ze mas odstavkou zajisteny konzistentni stav. (A jak jsem tu psal, je to jenom jedna z metod, samotny by smysl zas tak moc nedaval.)
Problem s tim rsyncem bez dalsich opicaren je, ze sam o sobe nedrzi historii.

(Jeste jednou zruraznuju, ze resim domaci ws a pracovni notebook, tohle reseni neskaluje na nejakou vetsi infrastrukturu notabene s 24/7)

[nobody]

... Ten bind zaridi ze tam nebudou veci jako /sys, /proc a dalsi virtualni fs.

btw: man rsync | grep "one-file-system"

[JardaP]

@Ondra Satai Nekola: Budiz. Ovsem jak casto ti vyhori stroj/disk/cokoliv, abys nemohl riskovat, ze nekdy stravis nekolik desitek minut az nekolik hodin (podle toho, jakym zpusobem a co vsechno zalohujes) a babral se kvuli tomu se ctyrhodinovymi zalohami pres noc? Krome toho, aby ty tve zalohy byly aspon jakztakz srovnatelne s rdiff-backup, musel bys na zalohy rotovat nekolik externich disku nebo mit nejaky dostatecne obrovsky, aby se tam tech zaloh veslo vice.

[Ondra Satai Nekola]

Precti si o kus vys, jak zalohuju. Neni to o dd a ani primarne o dd. dd je takova tresinka na dortu.

Jake babrani? Vecer restartuju, vyberu boot z USB... a rano v klidu bootuju zase do hlavniho OS. Tady neni co resit - naklady malicke, resi to extremni situace (ktere temer z definice nastavaji zridka, ale prave pro ne je dobre mit "pro klid duse" pripravene extremni reseni, ktere "funguje bez premysleni". Protoze prave v takovych situacich typu klekly disk, ukradeny notebook nebo shorely pocitac je clovek nervozni jako pes, tak mu instantni zachrana prijde k duhu).
Na externim disku se pro hlavni ws rotuji dve zalohy (to je spis za kategorie "protoze mohu", urcite to neni nahrada rdiffu). Zalohuje se tak cele bootovaci SSD, od cumacku po ocasek.

[Jimm]

OSN: Jenže kvůli zálohám restartovat pc (no, vlastně restartovat pc kvůli čemukoliv) a říkat tomu SYSTÉMOVÉ ŘEŠENÍ + to vlastně dělat ručně, to bych se bál někde přiznat, natož to potom propagovat, ne?

[Ondra Satai Nekola]

Az mi povis, jak behat Linux bez restartu, tak zvazim zmenu. (A jeste jednou - neni to jedina a zdaleka ani nejdulezitejsi zaloha, jen bonus. A jeste jednou - je to reseni pro domaci ws a notebook. Pro vetsi infrastrukturu bych to resil jinak.). Klidne bych restartoval i mene casto, ale LTS s GRSecurity je stejne jenom v AURu...

Ale trochu vazneji - o co prichazim? Ma tohle reseni nejake zvlastni naroky, ktere mne nejak omezuji? Jedine dva problemy, ktere jsem objevil, jsou, ze je dole mpd a ze musim davat cd, abych se dostal do adresare, kde jsem byl vcera. Jinak se mi (kouzlo!) vsechno vraci do stavu, ktery mi vyhovuje.

[Jimm]

Někomu, kdo ruční práci nepovažuje za omezení je dost možná nevysvětlitelné, že to ostatní dělají jinak a snaží se si věci automatizovat, aby ručně nic dělat nemuseli... To je prostě o tom jak to máte postavené v hlavě, ale já nechci muset na svém pc dělat prakticky nic, chci abych když k němu přijdu, rozsvítil se monitor a já mohl bušit do klávesnice. Kvůli novému kernelu také restartuji, ale i to je řešitelné... Tento restart je cca jednou za 14 dnů a jsem ochoten to zatím akceptovat, i když mi to vadí.

http://tldp.org/HOWTO/LVM-HOWTO/snapshots_backup.html

[Ondra Satai Nekola]

No vidis, ja to mam taky jednou za 14 dnu... (A precti si, co pisu nahore, tohle je vazne jenom takovy sympaticky doplnek.)

Problem s temi LVM snapshoty (mimo toho, ze stejne LVM nepouzivam) je, ze nevis, uprostred ceho ho delas...

[JardaP .]

resi to extremni situace (ktere temer z definice nastavaji zridka, ale prave pro ne je dobre mit "pro klid duse" pripravene extremni reseni, ktere "funguje bez premysleni". Protoze prave v takovych situacich typu klekly disk, ukradeny notebook nebo shorely pocitac je clovek nervozni jako pes, tak mu instantni zachrana prijde k duhu).

Jak casto ti kradou notebooky nebo jak casto ti vyhori? Me to porad pripada jako nadmiru huste reseni. Rekl bych, ze rdiff-backup a moznost obnovy 14 dni stareho souboru maji vice vyhod, protoze moznost, ze si neco omylem smazu, je pravdepodobnejsi, nez ze mi ukradnou notebook nebo ze notebook vyhori.

Tvuj zpusob zalohovani spada do kategorie mysleni lidi, kteri maji ve sklepe protiatomovy bunkr se zasobou potravin na pet let.

BTW, zalohu pomoci rsync/rdiff-backupu a dalsimi udelas bez restartu. Staci se odlogovat a zalogovat jako root, zazalohovat co chces a jedes dal. Samozrejme, jeste je potreba vyresit veci, jako bezici databaze atd., pokud mas.

Navic nebudes resit problemy s tim, ze novy disk bude mit jinou velikost, takze to budes roztahovat nejakymi nastroji a doufat, ze se to povede a pokud se to povede, asi to bude trvat dost dlouho.

Nicmene, kdyz ti to vyhovuje, tak proc ne.