Backup server pro obrazy disků

[Rimskij]

Zdravim,

rad by som si urobil server, ktory by mi robil automaticke image diskov pocitacov v sieti. Viem, ze by sa dalo na pocitaci napr. cez Acronis naschedulovat, aby sa image ulozil na nejaky share, ale mam nadej, ze ak to bude serverova aplikacia a na strane klienta bude len nejaka sluzba, tak to bude efektivnejsie. Jednoducho, ze sa urobi prvy image kompletne a potom sa dalsie "len" dopocitaju na zaklade rozdielov, ze sa zakazdym nebude robit image cely.

Jedna sa o to, ze to su pocitace s relativne malymi diskami, max do 50-60 GB. Su v RAID 1, ale su v prevadzke 24/7. Kedze to je v priemysle, dost casto odchadzaju (el. skrat, EMC, zapichnuty vysokozdvizny vozik), preto ziadam image, aby restore bol v minutach, nie hodinach. Mnoho zasahov je na urovni op. system, resp. este nizsie (PLC), neda sa to riesit "len zalohovanim dat", je nutny image.

Momentalne to bezi tak, ze image sa urobi kazdy tyzden (automaticky, zo strany klienta) a potom este kazdych 6 hodin za robi zaloha uzivatelskych dat. Problem je, ze ak chcem nieco zmenit, tak to musim robit na kazdom pocitaci zvlast, co pri tom mnozstve a ich vzdialenosti....

[Reklama]

[peter]

Tak si tú nádej skús zrealizovať. Sprav si image na lokálnu partíciu, cez rsync prenes zmeny na už vytvorevý image na servri, a pošli signál aby sa na servri daný image odarchivoval aby si mal históriu a zároveň posledný/pracovný image v stále a napriamo dostupnej lokácii. Ak Ti kompletne odíde disk s lokálnym image, tak si prenesieš celý objem dát na nové železe.

Inak obnova z čiastkovej zálohy je kratšia oproti obnove z plnej zálohy len v zlomku prípadov. A tento to nieje.

[pavele]

No a nestačí jen ten jeden obraz a data mít na serveru?

[peter]

Teoreticky stačí. Teda, ak nevadí riziko že zálohovanému stroju začne blbnúť disk pred vykonaním zálohy a po jej dokončení to železo odíde kompletne. Vtedy nie je garantovaná konzistencia. Ono, teoreticky stačí hociaký job v crone čo sa volá záloha. Ale v tomto prípade sú praktické potreby trochu prísnejšie, takže: nestačí.

[Vladimír Drgoňa]

Teoreticky stačí. Teda, ak nevadí riziko že zálohovanému stroju začne blbnúť disk pred vykonaním zálohy a po jej dokončení to železo odíde kompletne. Vtedy nie je garantovaná konzistencia. Ono, teoreticky stačí hociaký job v crone čo sa volá záloha. Ale v tomto prípade sú praktické potreby trochu prísnejšie, takže: nestačí.

Vtedy stačí robiť tieto zálohy na 2 miesta (môže byť na jeden fyzický server). Samozrejme sa tým zvýši bezpečnosť a keď posledná záloha bude nekonzistentná, obnoví sa predposledná. Vo väčšine prípadov by to malo stačiť.

[Reklama]

[bwbw]

ak to da siet, tak kludne booty z PXE + vlastne ISO || iscsi + data na serveri. vlastne ISO + data na serveri budu centralne na nejakom zfs storage, ktory bude co 15 minut posielat snapshoty offsite. tym je (v ramci moznosti) garantovana konzistencia dat a obnova v ramci prenosu z offsite na onsite (siet || fyzicky HDD). okrem toho snapshoty moze clovek rolovat dozadu az do stavu, kedy ma data pred/po cronjobe konzistentne (i ked si nechcem predstavovat, ako clovek potom kontroluje tu konzistenciu).

[Mirek Prýmek]

Možná je to brzkou ranní hodinou, ale nějak těm požadavkům nerozumím...

• rad by som si urobil server, ktory by mi robil automaticke image diskov pocitacov v sieti. [...] ale mam nadej, ze ak to bude serverova aplikacia a na strane klienta bude len nejaka sluzba, tak to bude efektivnejsie.
  
• Mnoho zasahov je na urovni op. system, resp. este nizsie (PLC), neda sa to riesit "len zalohovanim dat", je nutny image.
• Jednoducho, ze sa urobi prvy image kompletne a potom sa dalsie "len" dopocitaju na zaklade rozdielov, ze sa zakazdym nebude robit image cely.
  
• Problem je, ze ak chcem nieco zmenit, tak to musim robit na kazdom pocitaci zvlast, co pri tom mnozstve a ich vzdialenosti....
  

ad 1] Jestli je to push nebo pull nemá na efektivitu žádný vliv. Rychlost zálohování je daná 1) rozsahem zálohy (full,diff) 2) rychlostí sítě 3) rychlostí disků 4) případně šifrováním, kompresí apod. Takže tomuhle bodu vůbec nerozumím, nevím, jakou "efektivitu" máš namysli, co si od toho slibuješ

ad 2] tomuhle taky nerozumím. Proč přesně nechceš zálohu na úrovni souborů? Co víc dostaneš od image? Že ti zůstanou stejná čísla inodes nebo o co přesně ti jde? Je to opravdu nutný požadavek?

ad 3] rozdílové zálohování se dělá obvykle právě na úrovni souborů, což nechceš. Chtěl bys teda, aby zálohovací program jel disk blok po bloku, počítal jejich hash a jenom v případě rozdílu odeslal blok na server? Nevím o ničem, co by tohle umělo, protože je to celkem nesmyslný požadavek. Pokud už se někde řeší rozdíly na úrovni bloků, tak jsou to věci typu LVM nebo ZFS. Obecně ZFS by pravděpodobně tvoje problémy řešilo, prostě pravidelně dělat snapshoty a pomocí zfs send je posílat na server. Otázka cronjobu na pět řádků. Ale je otázka, jestli zfs můžeš nasadit.

ad 4] tak to je ale problém orchestrace, ne? Jak to chceš řešit zálohováním?!

[anonym]

ad 3] rozdílové zálohování se dělá obvykle právě na úrovni souborů, což nechceš. Chtěl bys teda, aby zálohovací program jel disk blok po bloku, počítal jejich hash a jenom v případě rozdílu odeslal blok na server? Nevím o ničem, co by tohle umělo, protože je to celkem nesmyslný požadavek...

rsync --inplace by to dokazal

[Mirek Prýmek]

rsync --inplace by to dokazal

rsync funguje na urovni souboru, o to jde.

[Rimskij]

to Mirek Prýmek:

ad ad1: O efektivite hovorim ako o efektivite administracie. Tych pocitacov je v tej fabrike vela. Preto by som to chcel administrovat centralne.

ad ad2: Ide o to, ze napr. PLC bezi ako vrstva pod urovnou windows. To znamena, ze napr. boot project pre PLC nestaci iba skopirovat. Mnohe veci pri PLC treba importovat cez PLC rozhranie, nakolko sa k nim pristupuje ako k pamatovym miestam, nie symbolicky. Niektore casti HDD su napr. pre operacny system neviditelne. Je tam cela particia, ktora je pre OS ako nealokovana, ale ak ju zrusim tak ani nenabootujem, pretoze, pri boot system, najprv bootoje PLC a nad tym bootuju windows. 

ad ad3:  obavam sa, ze na ZFS windows 7 asi nerozchodim. O vyssich windows ani neuvazujem. Uz teraz nam robii migracia XP->7 vrasky na cele a verime, ze do roka to zvladneme.

[Mirek Prýmek]

ad ad1: O efektivite hovorim ako o efektivite administracie. Tych pocitacov je v tej fabrike vela. Preto by som to chcel administrovat centralne.

No tomu právě nerozumím - centrální správa se řeší nástroji pro centrální správu, ne nástroji pro zálohování.

ad ad2: Ide o to, ze napr. PLC bezi ako vrstva pod urovnou windows. [...] Niektore casti HDD su napr. pre operacny system neviditelne.

Tak oblasti, které jsou pro OS neviditelné asi nezazálohuješ žádným způsobem, takže o těch nemá smysl mluvit. Jde o to, jestli do oblastí, které chceš zálohovat někdo zapisuje mimo normální soubory filesystému - a to bych odhadoval, že na 99% ne, jedoduše už proto, že by mu OS ty oblasti mohl kdykoli přepsat.

Je tam cela particia, ktora je pre OS ako nealokovana, ale ak ju zrusim tak ani nenabootujem, pretoze, pri boot system, najprv bootoje PLC a nad tym bootuju windows. 

ad ad3:  obavam sa, ze na ZFS windows 7 asi nerozchodim.

To opravdu ne. Ovšem taky jsi neřekl, že chceš nástroj pro Windows, což je dost zásadní informace...

[Rimskij]

Za ten windows to som mal povedat. Pre presnost. Na pocitacoch, co chcem zalohovat bezi Windows. K tym "neviditelnym" particiam. Momentalne mam v pocitacoch vzdy pouzity RAID1 a ten mi to ozrkadli aj s tymi particiami. Tie particie pouzivaju PLC aj od Siemens, aj od Allen-Bradley. Viem, ze napr. okrem ineho licencne kluce su tam

[to_je_jedno]

Proc vlastne nepouzijes Acronis? On totiz nema jen "home" reseni.

[Withy14]

Napadá mě Clonezilla - pomocí ni si vytvořit image a pak ze serveru (drbl server) spravovat. Data opět zálohovat zvlášť (dalo by se samozřejmě ve scriptu po ukončení obnovy image zadat, že to má pro tento PC (například na základě nějakého jedinečného identifikátoru - MAC adresa, hostname atd. obnovit tato data). Práce by asi kolen toho bylo trochu více, ale jak bys to jednou rozchodil, tak by si měl centrální deployment jak víno (Clonezilla umožňuje restorovat i partition, takže by se nepřepisoval MBR, pokud je obsazen tím PLC, nějak nechápu, jak se to chová), server na obnovu uživatelských dat (ať už klasický rsync, nebo Bacula) by koexistoval vedle drbl a bylo by ti hej.

P.S.: Možná ještě MDT od Microsoftu, ale tam můžeš narazit právě na problémy s tím PLC. Navíc MDT neřeší zálohy dat (to vlastně ani Clonezilla).

[Coder]

K tomu PLC a masinam na ktorych bezi SCADA - alebo ina vizualizacia.
Najidealnejsia volba pre tieto veci je firewall a uplne ich oddelit od ostatneho sveta + 1 ks master OPC server odkial ide komunikacia dnu a von. 
Tieto zariadenia SCADA PC a podobne srandy su velmi velmi nachylne na aktualizacie, antivirusy a podobne. Riesime to tak ze masina ktora je v produkcii len virtualizuje dalsiu na ktorej bezi SCADA. Velmi jednoduche na pripadnu havariu systemu a zalohujes 1 do mesiaca. Takto spravujem 10 SCADA systemov + 4 PC k tomu samotne PLC ale nezalohujes na to je tam PLC specialista. Kazdopadne tieto masinky su velmi specificke po SW stranke a rozne aktualizacie antivirusove scanny a podobne ich davaju po vedsine dole.