Proxmox a OpenMediaVault: kam umístit ZFS?

Proxmox a OpenMediaVault: kam umístit ZFS?
« kdy: 11. 01. 2025, 16:15:10 »
Zdravim.

Postavil jsem si homelab server, kdy jako hlavni OS je na nem nainstalovan Proxmox. Server bude krome jineho, slouzit i jako NAS. Muj dotaz je nasledujici:

Jaky bude nejlepsi pristup pri vytvareni ZFS pole, pro tu NAS? Mam ted 2x 1TB NVME SSD, rezim ZFS mirror, na kterem bezi Proxmox a jednotlive VM. Dale jsem dokoupil dalsi 2x 1TB SATA SSD (WD RED), ktere budou slouzit jako uloziste.

Co bude lepsi? Vytvorit ZFS pool na tyto 2 disky, primo v Proxmoxu a pak pres "VirtIO block" je vecpat do OpenMediaVault, nebo radeji priradit fyzicke disky do VM a pak vytvorit ZFS v OMV? Mit ZFS pod ZFS je zbytecne, tak vaham, jaky postup je nejvhodnejsi.  Co se tyce naslednych snapshotu, tak asi lepe ZFS v OMV?

Co by jste doporucili vy?

Predem diky za odpovedi.


CPU

  • *****
  • 934
    • Zobrazit profil
    • E-mail
Re:Proxmox + OpenMediaVault - kam "umistit" ZFS?
« Odpověď #1 kdy: 11. 01. 2025, 16:29:42 »
Dělat ZFS nad ZFS je myslím skutečně nonsense.
ZFS bych obecně nedělal nad jiným FS.
Třeba mít na discích EXT3 a nad tím dělat ZFS? Hm? Nééé...
« Poslední změna: 11. 01. 2025, 16:31:57 od CPU »

Re:Proxmox + OpenMediaVault - kam "umistit" ZFS?
« Odpověď #2 kdy: 11. 01. 2025, 16:53:03 »
Ja pouzivam moznost 1, ale moj NAS je kvazi nextcloud. Inak mam tiez podobnu situaciu ako ty, kde mam mirror na proxmox a VM/LXC a dalsie 2 SSD zfs mirror na data (prevazne nextcloud).
Pre dataset som vytvoril kvotu 200GB (z 1TB) a popripade ju mozem rozsirovat, alebo pouzit uplne pre ine VM/LXC.
---
Co na to hovori napr. claude od sonnetu ?
Chápu vaši situaci. Pojďme si rozebrat obě varianty a jejich výhody a nevýhody.
Varianta 1: ZFS pool přímo v Proxmoxu
Výhody:

Přímá správa storage na úrovni hypervizoru
Lepší výkon (není overhead virtualizace disků)
Jednodušší monitoring zdraví disků
Možnost využít ZFS funkce napříč všemi VM

Nevýhody:

Složitější přístup k diskům z OMV
Nutnost řešit oprávnění mezi Proxmoxem a OMV
Ztráta některých výhod přímé správy v OMV

Varianta 2: Fyzické disky přiřazené do OMV
Výhody:

Plná kontrola nad disky přímo v OMV
Jednodušší správa snapshotů a záloh v rámci NAS
Přehlednější monitoring v OMV rozhraní
Snadnější migrace VM s daty v případě potřeby

Nevýhody:

Mírně nižší výkon kvůli virtualizaci
Nemožnost využít ZFS funkce na úrovni Proxmoxu

Moje doporučení:
Vzhledem k tomu, že primární účel těchto disků je NAS storage, doporučil bych druhou variantu - tedy přiřadit fyzické disky přímo do OMV VM. Důvody:

Budete mít jednotnou správu NAS funkcí na jednom místě
Snapshoty budou lépe integrovány s OMV
V případě problémů s Proxmoxem můžete snáze migrovat VM i s daty
Nebudete mít "ZFS pod ZFS" a struktura bude čistší

Jediný významný kompromis je mírně nižší výkon, ale u SSD disků by tento rozdíl neměl být kritický pro běžné NAS použití.
Pro implementaci bych doporučil:

V Proxmoxu nastavit PCI passthrough pro SATA kontroler
Přiřadit disky do OMV VM
V OMV vytvořit ZFS pool v mirror konfiguraci
Nastavit automatické snapshoty přímo v OMV

Máte nějaké specifické požadavky na výkon nebo použití, které by mohly ovlivnit toto rozhodnutí?
« Poslední změna: 11. 01. 2025, 16:54:53 od darebacik »

RDa

  • *****
  • 2 818
    • Zobrazit profil
    • E-mail
Re:Proxmox a OpenMediaVault: kam umístit ZFS?
« Odpověď #3 kdy: 11. 01. 2025, 17:04:38 »
Jaky bude nejlepsi pristup pri vytvareni ZFS pole, pro tu NAS? Mam ted 2x 1TB NVME SSD, rezim ZFS mirror, na kterem bezi Proxmox a jednotlive VM. Dale jsem dokoupil dalsi 2x 1TB SATA SSD (WD RED), ktere budou slouzit jako uloziste.

Vtahni do hry LVM, rozdel si disk na proxmox-system, proxmox-virtuals, a virtual-rawdata.

NAS VM bude vyuzivat block device 1:1 z virtual-data, ale prijdes o SMART monitoring, protoze to bude jenom cast disku a ne celej.

ostatni VM pujdou z proxmox-virtuals, a muzou mit naivni block storage (napr. ext4 ve virtualnim disku), nebo jeste lepe NFS boot a rootfs na NFS z proxmoxu.

Ale pokud to chces dotahnout do dokonalosti, tak musis zacit uz na pocatku - a pro proxmox (+VM) vyclenit nejakou sadu disku, a pro NAS storage jinou sadu disku. Pokud bys tam mel dva separatni radice, tak muzes do NAS VM propagovat rovnou PCIe radic, ne disky.