Rozdělení disků pro Proxmox v domácím labu

[trodden passive]

Ahoj,

Moje současné nastavení je - šifrovaná instalace Proxmox 8 na Debianu 12, jeden disk (RAID1), všechno bez problémů funguje.
Místo upgradu na Proxmox 9 zvažuji změnu nastavení. Důvodem je oddělení VM od samotné instalace Proxmoxu.

Plánované nové nastavení:

Disk1 (HW RAID1) – šifrovaný Proxmox 9 na Debianu 13 – byl by to jen malý disk s Proxmoxem a nějakým prostorem pro ISO a šablony kontejnerů

Disk2 (HW RAID1) – šifrovaný datový disk (LVM) pro VMs, tento disk bych připojoval do Proxmoxu ručně (možná později skriptem).

Toto nastavení jsem testoval ve virtuálu a zdá se, že vše funguje jak má, ale než se do toho pustím, mám pár otázek:

1/ Napadá Vás nějaký možný problém, který by se v tomto setupu v budoucnu mohl objevit a nejsem si ho vědom?

2/ Proxmox bude startovat bez disku 2, který bude připojen až později – může to způsobit nějaké potíže kromě nefunkčního VM autostartu?

3/ Pokud bych provozoval disk 1 pouze jako jeden disk (bez RAIDu) a tento disk by selhal – můžu koupit nový, nainstalovat na něj Proxmox, připojit k němu disk 2 a pojedu dál?
Snažím se tímto ušetřit nějaké náklady, instalace Proxmoxu mě zabere cca 1hod a neočekávám, že by disk nějak často docházel.

4/ Všechny své VMs mám zálohované na PBS, takže migrace na toto nové nastavení by znamenala jen čistou instalaci Proxmoxu a poté obnovení VMs z PBS na disk2 – bude to tak fungovat, nebo bude potřeba ještě něco doladit ručně?

[Reklama]

[darebacik]

Ja osobne som nedavno zhanal mini pc s 4 NVMe, alebo SATA slotmi a cenovo som vhodne nic nenasiel.  Isiel som teda do Aoostar len s 3 NVMe slotmi a vyriesil som to takto.
Boot proxmox som dal na jeden disk (ext4)
Na dalsie 2 disky som pouzil ZFS Mirror, kde je vlastne vsetko ostatne.

Planujem to dlhodobejsie a islo mi o to aby som to mal pri reinstale proxmoxu najjednoduchsie.
Nemam rad upgrade, ale radsej cistu instalaciu. Takze ak pride novy proxmox, zalohujem niektore dolezite subory ako napr.

Kód: [Vybrat]

/etc/pve/qemu-server/*
/etc/network/interfaces
/etc/pve/storage.cfg
/etc/default/grub

Po reinstale spravim upgrade, importujem ZFS a mam vystarane.

Ano je dolezite mat proxmox tiez aspon v Mirror ZFS, ale nemam dalsi slot pre disk a dolezitejsie su VM disky, backups atd ... takze aspon tam je mirror.
Samozrejme zalohy rclonom sifrovat a posielat na cloud (podla dolezitosti ... nastavene to je na prvy pondek v mesiaci). Ja tam toho nemam vela, 2x VM a asi 15 LXC. Spolu asi 15 GB komprimovanych zaloh, takze to je zdarma na google drive.

Je to predsa len homelab

[trodden passive]

Po reinstale spravim upgrade, importujem ZFS a mam vystarane.

Takhle nějak si to představuju, přeinstaluju proxmox, připojím druhý disk a spustím VMs
Už jsi to v praxi dělal, jento funkční?

[Libor]

Jenom pozor na kombinaci ZFS a HW RAIDu - to je nedoporučovaná kombinace, ZFS nemá HW RAID rád.

[Logik]

Nedoporučovaná, protože člověk přijde o kus funkcionality ZFS. Problém by to vytvořit snad nemělo. Ale samozřemě je vhodnější ten mirror udělat pomocí ZFS.

[Reklama]

[trodden passive]

Mám to všechno na ext4, to není problém. Mě jde spíš o to, jestli to bude v tomto sestupu funkční.

[CPU]

Zase ta pověra ZFS a RAID 

Ty dvě nejběžnější pověry tady, že ZFS dělá na RAIDu problém a moč panny upíjená o úplňku po poslední klekánici léčí záduchu.

Ano, ta pověra má reálný základ, ale tichou poštou a opakováním se z toho stála mantra, u které si někteří rádi kroutí pytlíkem a jiní padají na kolena do prachu a modlí se ke Kernelu... 
Je to zažrané hlouběji a drží to víc než Helvétská víra nebo pohanství v Africe.

Takže jak to s tím ZFS a RAID je?
Zeptejme se Martina Cracauera.
https://reviews.freebsd.org/p/cracauer/#:~:text=openzfs:raidz_expansion%20to%20read%2Dwhitelist%20in%20ZFS%20bootloader.%20Longer,flag%20when%20the%20zpool%20is%20not%20raidz.

Kdo to je? No tak to byste měli vědět!

No a co o tom říká?

ZFS will work just fine on the single block devices provided by the RAID controller.

As others have said, the important thing is how you notify yourself of disk breakages and how you manage disk replacements. If you are already comfortable with the support software for your controller that would be fine. Otherwise I would let FreeBSD do the mirrors.

Whether ZFS is a great choice for mysql I don't know.

Zdroj: https://forums.freebsd.org/threads/zfs-on-hardware-raid.84861/

On a další lidé to píší naprosto jasně a opakovaně!
Nad jedním blokovým zařízením udělaným na RAIDu to běží dobře, ale musíte si pořešit mechanismus, kdy se na RAIDu objeví vadný disk.

No a protože řada lidí má značné problémy pochopit, co ten člověk píše, tak:

ZFS dobře běží na JEDNOM (ne na dvou nebo třech !!!) blokovém zařízení, které nám poskytne RAID. Jen je potřeba si jiným způsobem vyřešit stav, kdy nějaký z disků odejde.

Když to rozdělíme:
ZFS si klidně můžete pouštět na JEDNOM blokovém zařízení (!!!), ale vyhněte se skládání ZFS z několika blokových zařízení, které by RAID dával, např. stavět ZFS nad několika RAIDy je "vošajslich". Důležité je tady to slovo JEDNOM. A nemíchat! Tj. nemíchat RAID s dalším RAID nebo ke stávajícímu RAID přimrcasit další disky.

A ano, zjednodušeně to skutečně zní "ZFS a RAID = ne", ale to opravdu není pravda.

OK konfigurace:
(tohle je OK:) RAID -> udělá mi JEDNO blokové zařízení = v pohodě (ZELENÁ)

NOT OK konfigurace:
(tomuto se vyhni) RAID -> udělám si 5x nějaký RAID, vytvořím si několik blokových zařízení a nad tím se budu pokoušet stavět ZFS = to fakt není v pohodě !!! (ČERVENÁ)

NOT OK konfigurace:
(tomuto se vyhni) RAID -> udělám si 1x RAID a ZFS začnu rozšiřovat o JBOD připojené disky = to je taky bordel !!! (ČERVENÁ)

Jinak ZFS nad RAIDem je naprosto běžná a 100% funkční konfigurace, nepočítaně používaná. U různých VPS a serverů je běžné, že vůbec netušíte, co je vespodu a máte k dispozici jen virtuální blokové zařízení, které často ani neběží nad fyzickým RAIDem, ale vespodu je iSCSI/HBA/FB/FBoE/RAID/...what ever.

[Logik]

CPU - nechci zpochybňovat, že to je bordel a ne řešení vhodné k doporučení (když už, tak nad HW raidem udělat ještě MD-raid, ten rozdělit pomocí LVM a teprv nad ním postavit pořádný raid ZFS, aby to bylo opravdu spolehlivé :-) - jo, ještě jsem zapomněl na šifrování) ale IMHO by neměl být důvod, proč by ZFS nemělo běžet i na více blokových zařízeních v RAIDU. On vlastně každý víceplotnový disk je vlastně takový RAID 0.

Ale proč do toho vrtám - ne, že bych chtěl hnidopišit, spíše by mne zajímalo, jestli v té mé úvaze, že to je jen bordel a ne něco, co nebude fungovat, není nějaká chyba.