Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?

Přátelé, potřeboval bych poradit. Nebo možná jen uklidnit.

Řeším firemní server u menší firmy. Na něm běží virualizace pod KVM. Potřebujeme mít větší množství fotografií, řádově 300 - 500 GB v jednom virtuálmím počítači. Zatím jsem dělal obrazy disku ve formátu qcow2 cca 30-50 GB. Je nějaké riziko dělat větší soubory řádově do 1TB? Jsem už nějaký ten rok ze školy a uvažuji, že přece jenom zhlediska systému je to jeden soubor. Co když se právě obraz pokazí - např. hardwarová chyba při zápisu. Zálohování je jasné, o tom žádná. Ale i obnova ze záloh je zdržení a občas i opruz. Data budou uloženy fyzicky na ssd mvme 2TB.

A také uvažuji jaké formátování zvolit. Užívám běžně btrfs a ext4 šifrovaně na luks. Je vhodné mít obraz qcow2 uložen na fyzickém ssd ve shodném formátu, nebo je to fakticky jedno? Je jasné, že zhlediska softwarového je to jedno, ale jde mi o rychlost a zatížení serveru. Ale to už možná řeším opravdu zbytečnost ... Výkonu i místa v naší malé firmě máme na serveru "zatím" dost.

Moc děkuji za veškeré rady.
« Poslední změna: 04. 02. 2023, 13:36:19 od Josef77 »


Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #1 kdy: 04. 02. 2023, 14:47:45 »
Zacnu od konce-sifrovat disky jednotlivych VM je nesmysl, jestli chcete sifrovat tak na urovni serveru. Dejte si do google “thin provisioninng” a zjistite proc se to tak obvykle dela. Co se tyce velikosti virtualnich disku - mam zakazniky co maji stroje s 10TB disky nebo i vice. Pokud mate ups, ecc ram, storage a souborovy system na ktery se muzete spolehnout tak pravdepodobnost poskozeni je miziva. Pokud pouzijete thin provisioning tak misto 10TB restore budete obnovovat jenom disk o velikosti dat a pokud to nebudete tahat nekde z cloudu po 1mbit dsl ale nekde z lokalni site po 10gbit tak obnova bude rychla.

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #2 kdy: 04. 02. 2023, 18:09:32 »
Děkuji za radu s tím šifrováním. No jasně, to nedává smysl. Prostě zvyk to šifrovat u fyzických disků. Moc děkuji za upozornění. UPS, ecc ram mám. Chápu to tedy dobře, že virtuál o velikosti dejme tomu 1TB btrfs by neměl být problém?  Děkuji.

_Jenda

  • *****
  • 1 550
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #3 kdy: 04. 02. 2023, 18:21:21 »
Z pověrčivosti bych udělal "raw image" nebo ještě lépe LVM LV, nebo alespoň qcow2 který nebude „nafukovací“ ale efektivně ten raw image. Pak by nemělo být riziko poškození větší než když to ve virtuálu vůbec nebude (zejména když to vůbec nebude soubor, ale LV).

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #4 kdy: 04. 02. 2023, 20:28:36 »
Z pověrčivosti bych udělal "raw image" nebo ještě lépe LVM LV, nebo alespoň qcow2 který nebude „nafukovací“ ale efektivně ten raw image. Pak by nemělo být riziko poškození větší než když to ve virtuálu vůbec nebude (zejména když to vůbec nebude soubor, ale LV).
V cem je na ssd nenafukovaci image lepsi nez thin provisioned? U klasickych disku to melo dopad na performance diky fragmentaci.


Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #5 kdy: 04. 02. 2023, 20:30:41 »
Děkuji za radu s tím šifrováním. No jasně, to nedává smysl. Prostě zvyk to šifrovat u fyzických disků. Moc děkuji za upozornění. UPS, ecc ram mám. Chápu to tedy dobře, že virtuál o velikosti dejme tomu 1TB btrfs by neměl být problém?  Děkuji.
Na urovni toho virtualniho disku ne, ohledne btrfs to je jina kapitola, nekdo vam rekne ze to ma vsude a dobry, nekdo ma spatne zkusenosti. Ale v kontextu toho co se ptate pravdepodobnost problemu bude nizka, presto doporucuji mit zalohu.

_Jenda

  • *****
  • 1 550
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #6 kdy: 04. 02. 2023, 21:03:31 »
Z pověrčivosti bych udělal "raw image" nebo ještě lépe LVM LV, nebo alespoň qcow2 který nebude „nafukovací“ ale efektivně ten raw image. Pak by nemělo být riziko poškození větší než když to ve virtuálu vůbec nebude (zejména když to vůbec nebude soubor, ale LV).
V cem je na ssd nenafukovaci image lepsi nez thin provisioned? U klasickych disku to melo dopad na performance diky fragmentaci.
Recovery když se něco pokazí a ten „nelineární“ image nesložíš. Zatímco když to máš „lineárně“ tak se s tím snad ten FS uvnitř alespoň částečně popere. Na to se tazatel explicitně ptal. (neříkám že je to nějak extra pravděpodobný typ problému)

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #7 kdy: 04. 02. 2023, 23:30:44 »
Z pověrčivosti bych udělal "raw image" nebo ještě lépe LVM LV, nebo alespoň qcow2 který nebude „nafukovací“ ale efektivně ten raw image. Pak by nemělo být riziko poškození větší než když to ve virtuálu vůbec nebude (zejména když to vůbec nebude soubor, ale LV).
V cem je na ssd nenafukovaci image lepsi nez thin provisioned? U klasickych disku to melo dopad na performance diky fragmentaci.
Recovery když se něco pokazí a ten „nelineární“ image nesložíš. Zatímco když to máš „lineárně“ tak se s tím snad ten FS uvnitř alespoň částečně popere. Na to se tazatel explicitně ptal. (neříkám že je to nějak extra pravděpodobný typ problému)
Tohle funguje u hdd ale ne u ssd, tam nic jako “linearne” neni. Tazatel psal taky o zalohovani takze pochybuji ze by nekdy rekonstruktroval fs na ssd.

_Jenda

  • *****
  • 1 550
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #8 kdy: 05. 02. 2023, 00:31:28 »
Tohle funguje u hdd ale ne u ssd, tam nic jako “linearne” neni. Tazatel psal taky o zalohovani takze pochybuji ze by nekdy rekonstruktroval fs na ssd.
Já mluvil lineárně ve smyslu adresování z pohledu počítače. Nebo si prostě představ že máš ta data a náhodně v nich torpéduješ pár bloků. Když to bude soubor s „fragmentovaným“ qcow, možná se trefíš do metadat o tom, jak fragmenty patří za sebe, nebo se trefíš do metadat „vnějšího“ souborového systému a soubor nepůjde celý přečíst. Když se můžeš trefovat jen do dat „vnitřního“ FS tak je větší šance (menší počet vrstev co můžeš rozbít) že se to podaří alespoň částečně zachránit.

Samozřejmě když má zálohy, tak to obnoví ze zálohy. Reagoval jsem na věc explicitně zmíněnou v dotazu („Co když se právě obraz pokazí - např. hardwarová chyba při zápisu.“). A taky říkám, že to není věc co by se pravidelně děla, spíše možnost.

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #9 kdy: 05. 02. 2023, 04:25:43 »
Rozumim, dekuji!

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #10 kdy: 05. 02. 2023, 17:59:21 »
Z pověrčivosti bych udělal "raw image" nebo ještě lépe LVM LV, nebo alespoň qcow2 který nebude „nafukovací“ ale efektivně ten raw image. Pak by nemělo být riziko poškození větší než když to ve virtuálu vůbec nebude (zejména když to vůbec nebude soubor, ale LV).
Moc děkuji za radu. Zformátoval jsme disk jako LVM a připojím virtuál na LV.

a12

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #11 kdy: 06. 02. 2023, 10:16:06 »
a nebo pouzit misto qemu kontejner(lxc) a btrfs primo na hostiteli, lepe se to pak zalohuje/snapshotuje/obnovuje

PCnity

  • *****
  • 685
    • Zobrazit profil
    • E-mail
Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #12 kdy: 06. 02. 2023, 11:56:39 »
Ja mam pod VMkami ZFS (predtym Thin LVM) a nie je problem mat LUKS vo VMke a tahat konzistentne zalohy cez snapshoty zo strany hypervisora.

Nie je to teoria, obcas potrebujem experimentalne pustit nieco zo zalohy, resp. si naklonovat beziacu VM, zobrat jej netdev a nieco testovat. Ak layer pod VMkou tvori konzistetne snapshoty, nema moc kde nastat problem... Vidim to ako ekvivalent reset tlacidla.

msx.

Re:Obraz disku ve virtuálu do cca 1TB, riziko ztráty integrity dat?
« Odpověď #13 kdy: 07. 02. 2023, 07:06:59 »
Keď sa bojíš staty dát, prečo to nespravíš takto: Systém na virtuálny disk a "po sieti" pripojiť fyzický disk s veľkosťou akú chceš. Tým sa vyhneš veľkému súboru a systémový virtuálny disk sa meniť nebude. Ten môžeš odzálohovať a v prípade výpadku len obnovíš obraz disku.
Přátelé, potřeboval bych poradit. Nebo možná jen uklidnit.

Řeším firemní server u menší firmy. Na něm běží virualizace pod KVM. Potřebujeme mít větší množství fotografií, řádově 300 - 500 GB v jednom virtuálmím počítači. Zatím jsem dělal obrazy disku ve formátu qcow2 cca 30-50 GB. Je nějaké riziko dělat větší soubory řádově do 1TB? Jsem už nějaký ten rok ze školy a uvažuji, že přece jenom zhlediska systému je to jeden soubor. Co když se právě obraz pokazí - např. hardwarová chyba při zápisu. Zálohování je jasné, o tom žádná. Ale i obnova ze záloh je zdržení a občas i opruz. Data budou uloženy fyzicky na ssd mvme 2TB.

A také uvažuji jaké formátování zvolit. Užívám běžně btrfs a ext4 šifrovaně na luks. Je vhodné mít obraz qcow2 uložen na fyzickém ssd ve shodném formátu, nebo je to fakticky jedno? Je jasné, že zhlediska softwarového je to jedno, ale jde mi o rychlost a zatížení serveru. Ale to už možná řeším opravdu zbytečnost ... Výkonu i místa v naší malé firmě máme na serveru "zatím" dost.

Moc děkuji za veškeré rady.