Strategie na zálohu většího množství dat?

ajtakrajta

Strategie na zálohu většího množství dat?
« kdy: 25. 11. 2016, 11:12:48 »
Zdravim,

mám takové dilema jak optimálně vyřešit zálohy většího množství dat především na serverech.

DB server s postgresem 5TB, běží jako virtuál je na raidu a lvmku, samotný systém má čistou partition (ne lvm na lvm). Pořád přemýšlím, jestli 5TB na fsroot není trochu obskurní. Zvažuju že bych udělal zvlášť partition s datama, kde bude databáze a webítko. Současná databáze má cca. 2TB, nová bude na postgresu.

Win server, setup je podobný, akorát to má 1TB (Céčko), zase zvažuju, že tomu dám 30GB na systém a na "Déčko" dám data ať je to oddělené.

Fileshare, setup podobný DB, akortá to ukládá soubory. Je potřeba je připojovat jako smb shary na win klienty. Kromě zálohy přes rdiff/rsync mě napadá ještě další věc a to mít na tom nějáký systém co sám verzuje soubory něco jako Tux3, ale nikdy jsem to zatím nezkoušel.

1.) Dotaz je prostý, oddělit systém od dat (partroot, partdata)? U té databáze váhám, smysl to dává v ostatních případech.
2.) Jakou strategii na zálohování zvolit? (denně incremental a nedělní full backup, použít rozdílové snapshoty?). Jde o středně velkou firmu, není nutný kanon na vrabce.
3.) Opravdu LVM snapshoty mají stále problém s výkonem, když jich je víc?

4.) Jak vyřešit zálohu FSroot, resp. systému, a data ať už DB tak i sharu na windowsu?

5.) FSroot DB serveru? LVM snapshots? (snapshot není záloha, a našel jsem zmíňky o problémech s výkonem - http://www.nikhef.nl/~dennisvd/lvmcrap.html). Jako optimální mi příjde rdiff.

6.) Postgres DB? Tady se mi jeví jako nejoptimálnější řešení pustit cluster a mít mirror na slave, Dělat xTB dumpy mi nepříjde jako smysluplné řešení. Snapshoty mohou být nekonzistentní.

7.) Windows? Tady možná ty snapshoty můžou dávat větší smysl, ale zase rdiff/rsync bude asi lepší. Pořád přemýšlím jestli na tom nějáká data vůbec budou, možná to nechám čistě jenom jako AD a data budou na samba sharu na separátním virtuálu.

8.) SambaFileshare? Ocenil bych možnost verzování, jinak zase rdiff/rsync to zvládnou. Asi není potřeba, aby si obnovu předchozí verze řešili uživatelé, asi by to byla hezká featurka.

9.) Záloha Win klientů, sypat jí na win server do sharu v sobotu večer (vesměs to budou jenom %APPDATA% a pár souborů v řádech stovek MB max. pár GB, primárně budou mít všechno na SambaFilesharu, jde především o Bukmarky a nastavení aplikací). Nebo zvolit něco jako BareOS/Bacula? Popř. ještě něco jiného? Nechci third party službu.

V plánuje udělat kompletní mirror server, ale nejdřív je třeba předělat současné řešení.

Děkuju za komentáře i doporučení.


MP

Re:Strategie na zálohu většího množství dat?
« Odpověď #1 kdy: 25. 11. 2016, 14:51:19 »
No, nektere dotazy jsou reseny spis pozadavky od vedeni firmy + moznostmi (kapacitou) zalohovacich stroju.
ad1] u velmi velkych disku bych volil oddeleni od rootu, u malych serveru je to plytvani mistem
ad3] LVM snapshosty nebrat, kdyz uz, tak zfs/btrfs
ad6] DB slave neni a nebude zaloha. Ja bych doporucil zalohovat pres WALy napr. pres pgbarman (base+WALs), ale rozhodne to sebere mnohem vice mista nez zabaleny dump bez vyuziti ficur jako jsou hardlinky apod.
ad9] bez centralni spravy by mohl byt zajimavy Veeam Backup Endpoint

ajtakrajta

Re:Strategie na zálohu většího množství dat?
« Odpověď #2 kdy: 25. 11. 2016, 15:12:38 »
MP dekuji Ti,

ad1) tak nejako jsem si to myslel, ale jeste jsem neresil az takhle velky DB
ad3) dik za potvrzeni, na zfs a btrfs se musim podivat bliz zatim jsem to nemel potrebu/prilezitost pouzivat
ad6) ten pgbarman vypada supr, s tim mistem, nerikam, ze ho nemusim resit, ale prece jenom jde o jejich core data na kterejch stoji firma a nainvestovat par drobnejch do dalsich par disku nebude problem.
ad9) hezky to tool, podivam se na to


had

Re:Strategie na zálohu většího množství dat?
« Odpověď #3 kdy: 25. 11. 2016, 16:07:59 »
ahoj.
jen k poslednímu bodu - stanice. Pokud by šlo jen o oblíbené a plochu+dokumenty, tak proč neudělat synchronizaci profilů ev. roaming profily.
a jinak se podívej na backuppc a nebo nově na mého favorita UrBackup. Na stanice perfektní.

dustin

Re:Strategie na zálohu většího množství dat?
« Odpověď #4 kdy: 25. 11. 2016, 16:13:46 »
Osobně bych u takhle velkých dat root od datové partišny oddělil, protože to pak snadno umožňuje vypnout DB/procesy používající ta data a datovou partišnu rozšířit/změnit/nakopírovat na nové pole s využitím běžícího systému. Není potřeba bootovat z recovery CD/flešky apod., což je vždycky do určité míry opruz. Běžící root může být na úplně jiném disku a datové třeba vůbec nemusí být připojeny. Mluvím o linuxu, win neznám/neumím.


Tuxik

  • *****
  • 1 473
    • Zobrazit profil
    • E-mail
Re:Strategie na zálohu většího množství dat?
« Odpověď #5 kdy: 25. 11. 2016, 16:34:15 »
Osobně bych u takhle velkých dat root od datové partišny oddělil, protože to pak snadno umožňuje vypnout DB/procesy používající ta data a datovou partišnu rozšířit/změnit/nakopírovat na nové pole s využitím běžícího systému. Není potřeba bootovat z recovery CD/flešky apod., což je vždycky do určité míry opruz. Běžící root může být na úplně jiném disku a datové třeba vůbec nemusí být připojeny. Mluvím o linuxu, win neznám/neumím.
Ale no tak, zvětšování filesystému už není za chodu problém, ani nemusí vypínat DB ani nic jiného.

Ale jinak ano, rozhodně oddělit. Jen těch 30GB pro Wirdows mi přijde poněkud málo, když se jinak bavíme o TB. To za chvíli sežerou i blbý aktualizace.

dustin

Re:Strategie na zálohu většího množství dat?
« Odpověď #6 kdy: 25. 11. 2016, 17:17:55 »
Např. linuxový sw raid10 bohužel stále neumí resize za běhu a docela se v praxi používá.

V tomto případě má tazatel snad kvalitní HW raid, který by přidávání disků a přepočítání pole za běhu umět mohl...

Tuxik

  • *****
  • 1 473
    • Zobrazit profil
    • E-mail
Re:Strategie na zálohu většího množství dat?
« Odpověď #7 kdy: 25. 11. 2016, 17:29:38 »
Např. linuxový sw raid10 bohužel stále neumí resize za běhu a docela se v praxi používá.

V tomto případě má tazatel snad kvalitní HW raid, který by přidávání disků a přepočítání pole za běhu umět mohl...

Ono je víc možností, jak to udělat. RAID10 se dá udělat třeba přímo v LVM, BTRFS taky zvládá RAID, oproti tomu se mi čistý Linuxový RAID zdá lehce upadající a nevím, jestli ho ještě někdo nějak přehnaně rozšiřuje. Ale každopádně, jedná-li se o opravdu citlivá a důležitá data, tak není nad SAN.

ajtakrajta

Re:Strategie na zálohu většího množství dat?
« Odpověď #8 kdy: 25. 11. 2016, 18:01:18 »
Raid10 na 4x 4TB discich,
boot,rootfs dva samostatne raidy na kterych je rovnou xfs, pak dalsi raid s lvm pool pro kvm, nad poolem partition s virtualem co drzi/bezi databazi
nemel by byt problem tu partition roztahnout, resp. kdyz prihodim dalsi 4 disky tak to natahnout pres ne. To o roztahnuti raid10 slysim/vidim prvne (au).

Win server ma po instalaci 1GB dat, takze jelikoz na nem pobezi (snad) jenom AD tak to 30GB stacit bude ale okay radsi mu dam 100 at nekvici :) Zbytek bude na Dcku, jde mi o to, ze chci eventualne posleze naklonovat partition kdyz bude treba spawnout dalsi Wir a premigrovat si ho na dalsi server. Vikendy nepracujou, takze to neni zero downtime.

Roztahnout XFS za behu na virtualu na root parition uplne nejde, resp. jde, ale musi se to otocit jinak to nevidi jak by mel, ten proces je trochu obskurni, ale da se to celkem rozume. Prubnu si to radsi nez to zmigruju, radsi rozbit bez dat nez s datama.

U Wiru nevim jestli virtio-win pozere spravne btrfs uz tak je ta instalace teda majkrosoftu hodna ... M$ <3 Linux ...

Roaming profily opravdu nechci, nejsou potreba a je to zlo, preci jen je tam skupina lidi co produkuje pomerne velke soubory - grafici. Napadlo me jim treba premapovat Documents na share + share drive, to by se dalo, a plochu a zbytek by meli normalne na disku. Na ten UrBackup urcite mrknu.

Mam doma btrfs s raidem na 5ti discich, ale nebyl nejako cas to ozkouset ... sakra =(