Domácí virtuální server postavený na Proxmoxu

Domácí virtuální server postavený na Proxmoxu
« kdy: 28. 12. 2020, 02:40:12 »
Ahojte,
uvazujem nad postavenim mensieho domaceho serveru ktory by mal v sebe kombinovat nasledujuce vlastnosti (resp virtualne stroje - VM):
1. NAS VM
2. Niekolko docasnych VM
3. Media server VM
4. Windows gaming VM
5. Niekolko stalych VM (pihole, pfsense ...)

Nic podobne som predtym nerobil a momentalne zbieram info ako to cele dat dokopy a vychadza mi ze s Proxmoxom by to malo ist. V niektorych vieciach si niesom celkom isty a preto by som sa rad poradil.

Disky a ich ucel v celom rieseni:
1. Proxmox: 1x disk kde bude instalacia Proxmoxu - nieco male a rychle (m2 alebo SSD)
2. Proxmox: 1x disk kde budu obrazy virtualnych strojov - nieco vacsie ale stale dost rychle (SSD)
3. Passtrought do NAS VM: 2x disky pre NAS (RAID 1)


NAS VM
Toto myslim ze by mohlo fungovat v ako VM v ktorej bezi napr Rockstore resp Freenas (pripadne manualna konfiguracia) do ktorej by som spravil passtrought dvoch diskov urcenych pre NAS. Nalsedne vramci Rockstore by som vytvoril RAID a ponastavoval vsetko potrebne. Toto by idealne malo byt nejako spojene spolu s niecim ako je napr Nextcloud resp Duplicati a pod. Takze predpokladam ze tento "synchronizacny" software bude nutne nainstalovat do tejto VM aby bol schopny pracovat s diskami pod RAIDom. Taktiez by som tu nainstaloval SMB, NFS, CIFS aby bolo mozne pristupovat na tento obsah.

Q:
1. Je pass trought diskov (dana VM ma pristup ku celemu deviceu fyizickeho disku) mozny v Proxmox, a teda dana VM dokaze napr vytvarat RAIDy a pod?
2. Nextcloud napr umoznuje instalaciu pomocou Dockeru, viem napr startnut separatnu VM pre Nextcloud a pouzit data z NAS VM?

Niekolko docasnych VM
Tu si myslim ze by to malo ist relativvne jednoducho vytvorim/zapnem resp vypnem/zmazem nejaku virtualku podla potreby. ISO obrazy pre pripadne systemy by mali byt ulozene na vyssie spominanej NAS VM. Obraz disku samotnej VM by mal byt ulozeny na disku urcenom pre obrazy virtualnych strojov.
Zvazujem do buducna vytvorit RAID (podla financii uvidim ci 0, 1 resp 10) z disku urceneho na obrazy VM. Oficialne Proxmox nepodporuje SW RAID avsak si myslim ze na host PC kde bude Proxmox nainstalovany by malo ist mdadm alebo nieco ine takze tam nejake obmedzenie nevidim.
Neviem vsak aky file system je vhodny na obrazy VM. Povodne som zvazoval BTRFS najma koli moznosti robit snapshoty a setreniu miesta, avsak vraj tento FS nieje vhodny na obrazy VM. o ZFS az tak neuvazujem koli absencii ECC pamati v predpokladanej zostave. Proxmox vsak dokaze pracovat s qcow2 ktory uz snapshoty podporuje.

Q:
1. Aky file system zvolit na disk kde budu obrazy VM - BTRFS snapshot vs qcow2 snapshot?
2. Aky najlepsi FS pouzit v pripade pouzita Proxmox (qcow2) snapshotov?
3. Je nutne v pripade Proxmox (qcow2) snapshotov snapshotov pouzit ZFS, resp naco je podpora ZFS v Proxmoxe?
4. Ma volba FS na ktorom su ulozene obrazy VMs vyplv na celkovy vykon VM?
5. ma Proxmox nejaky problem so SW raidom?


Media server VM
Toto by tiez mala byt samostatna virtualka kde bude bezat zrejme Jellyfin (Plex je tiez v hre no Jellyfin ma vraj lepsie moznosti konfiguracie). Multimedialny obsah by mal byt dostupny z NAS VM. Tu sa trosku obavam dvoch veci:
- networkingu - teda aby Jellyfin/Plex client (napr na TV) mal pristup k Jellyfin/Plex serveru - myslim ze toto je urcite nejako riesitelne vramci Proxmox networkingu
- performance - ako najlepsie nazdielat multimedialny obsah. Myslim ze toto by tiez malo chodit tak ze Media server VM si mountne obsah z NAS VM (vraj je na tom lepsie SMB ako NFS koli FS modification watches absencii).

Q:
1. Je mozne vramci Proxmoxu nejako nastavit aby boli konkretne CT/VM dostupne z LAN siete?
2. Je mozne pristupovat na jednotlive sluzby (SMB, NFS, CIFS) z jednej VM na inu VM ?

Windows gaming VM
Toto je z jmojho pohladu asi VM ktora vyvolava najviac otazok:

Q: Disk
1. Je lepsie pouzit nativny disk cez passtrought koli vykonu alebo obraz VM napr koli spominanym snapshotom? Resp mozem mat najlepsie z oboch?

Q: VGA Passtrought
2. Po VGA passrought tato karta prestane byt dostupne v host machine (na Proxmoxe)?
3. V pripade ze spravim VGA passrought pre konkretnu VM mozem tuto VM nasledne vypnut a pouzit passtrought pre inu VM (bez restartu Proxmoxu)
4. Pre VGA passrought nepotrebujem mat drivery pre tuto kartu na host machine (na Proxmoxe) ale na prislusnej VM?
5. Ak pripojim monitor do VGA vystupu tak az do momentu pokial Proxmox nastartuje prislusnu VM do kt je tato GPU passtrought tak by som mal vidiet vystup z Proxmoxu, nasledne ked startne prislusna VM uvidim obraz danej VM?
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
7. Dokazem spravit VGA passtrought s jednou VGA kartou? Bude Proxmox schopny nastartovat do "headless" rezimu a bude schopny spustat ostatne VMs a budem ho schopny ovladat cez WEB resp SSH?
8. Aky je dnes stav pre GPU passtrought? Videl som rozne tutorialy od pomerne jednoducho vyzerajucich (nastavit iommu v grube Proxmoxu a v GUI VM naklikat zariadenie do VM) cez zlozitejsie (dumpovanie vBIOSu z VGA, jeho nasledne modifikovanie a nastavenie pre konkretnu VM, hlavne v kombinacii s UNRAID a absolutne som nepochopil aky to ma zmysel) az po asi najviac zlozite (manualne kompilovanie Qemu a jadra a instalaciu roznych driverov a neviem coho vsetkeho este)



Cele by to malo bezat na Ryzen 5 3600, s ECC ramkamy zatial nepocitam. Pokial viem tak pre spravne fungovanie GPU passtrought je nutne mat okrem CPU ktore to podporuje aj zakladnu dosku. Viete mi prosim poradit nejaku pre Ryzen 5 3600? Ja to chapem tak ze samotna VGA by mala byt v samostatnej IOMMU skupine aby bolo mozne spravit GPU passtrought len tej skupiny kde je VGA a nie dalsich zariadeni ktore by tam potencionalne mohli spadnut pretoze sa robi vlastne passtrought danej IOMMU skupiny a nie konkrenteho zariadenia.


Budem vdacny za colkovek co pomoze, konstruktivne pripomienky, kritiku, navrhy na zlepsenie, best practises, linky na howtos atd atd.

A dakujem kazdemu co to docital az do konca
« Poslední změna: 28. 12. 2020, 09:39:43 od Petr Krčmář »


RDa

  • *****
  • 2 465
    • Zobrazit profil
    • E-mail
Re:Domaci virtualny server postaveny na Proxmoxe
« Odpověď #1 kdy: 28. 12. 2020, 03:14:25 »
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.

U ostatnich veci - samozrejme taky muzes udelat 1:1 virtualni disk k nativnimu, ale moc jako passthrough to nepocitam - to by bylo az bys mel nejaky extra sata radic (jinej nez na hypervisor) ktery muzes predat do VM jiz jako PCIe device.

Osobne me to prijde ponekud overengineered (ale chapu ze si lidi potrebuji hrat a ucit se necemu novemu), a tlak na vykon je na spatnem miste - napr. NAS node bude stejne mit jen GbE konektivitu (doufam ze nejedes wifi only) a tech 1GbE ti saturuje i raid nad hodne vrstvama virtualizace - jediny problem bude ve spotrebe, a ze namisto 10% cpu bude zatez 60% (ilustrativne!).

Holt to zacni zkouset nejak poskladat - nemyslim si ze tohle (kvuli rozsahu/pozadavkum) jde udelat na prvni dobrou a bude to na nekolik predelavani.. pokud si dokazes udelat nejake metriky a replikovat mereni (treba prenos dat vs. utilizace resp. spotreba), tak se muzes dooptimalizovat casem k dobremu reseni.

Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.

PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.

Re:Domaci virtualny server postaveny na Proxmoxe
« Odpověď #2 kdy: 28. 12. 2020, 09:42:33 »
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.

Nemusíš na vše mít jako VM na některé věci ti stačí kontejner. 
VM jsou jako opravdové samostatné počítače, můžeš mount co chceš.
CT (kontejnery) mohou mount jen svazky připojené k samotnému Proxmox, to může být omezující.

Passthrough bych se snažil spíš omezit, to nepoužívám - může být obtížnější nastavit a provozovat. Pro připojení 1GBps síťovkou nebude určitě připojení disků skrz Proxmox vůbec vadit.

Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.

Pro transkodování na PLEX potřebuješ výkonný CPU nebo akceleraci GPU.

Uvaž opravdový serverový HW, já mam Xeon e3-1270v2 + 16GB ECC RAM, to je myslím reálné minimum. Tato konfigurace zvládne 1 video stream z 4k na FullHD, více ne.

Asi budeš mít problém s uspáváním disků.


r223

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #3 kdy: 28. 12. 2020, 12:00:30 »
Podobnou věc používám, zkušenosti:
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí
- spindown disků při pass nefunguje
- pro pci pass je trocho problém s HW, protože poměrně nečekaně to na mnoha platformách (třeba HP server gen 8) nemusí fungovat dobře. Naopak mám třeba levnou desktopovou sesku a coffe lake CPU, kde mi jedou 4 karty....
- jak budeš přenášet obraz z pci pass karet? Optimum je na tu kartu mít asi fyzický monitor
- bude to žrát, počítej klidně 100W ILDE, PM v těchto konfuguracích není nic moc
- serverový HW je na to lepší, ale žere a je hlučný....

r223

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #4 kdy: 28. 12. 2020, 12:03:05 »
-ad pokud budeš mít nVidia, je problém odlišit, zda GPU nefunguje kuli problému s pcie pass a nebo detekci VM v nVidia driverech (ale to se dá v proxmoxu obejít. Doporučuji ale nejpve otestovat pass na nějakém bezproblémovějším hw)


Re:Domaci virtualny server postaveny na Proxmoxe
« Odpověď #5 kdy: 28. 12. 2020, 12:40:03 »
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.
Nevím jak u Proxmoxu, ale i iGPU by mělo jít přehazovat (bindovat/unbindovat) mezi hostem a hostitelem. Případně použít Intel GVT-g, ale pevně věřím, že tazatel bude mít i dGPU pokud to s Windows gaming VM myslí vážně.

Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.
Souhlasím, asi by nebylo moc příjemné kdyby uprostřed přestřelky v Cyperpunku se začalo transkódovat nějaké 4K video pro nějakého clienta :), ale nejsem přesvědčen zda pro vytvoření "game mode" bude stačit jen snížit priority ostatních, ale nevím nikdy jsem takové balancování výkonu nedělal.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #6 kdy: 28. 12. 2020, 12:46:20 »
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí

Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.

FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #7 kdy: 28. 12. 2020, 14:11:58 »
Windows gaming VM
Toto je z jmojho pohladu asi VM ktora vyvolava najviac otazok:

Q: Disk
1. Je lepsie pouzit nativny disk cez passtrought koli vykonu alebo obraz VM napr koli spominanym snapshotom? Resp mozem mat najlepsie z oboch?
A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.

Q: VGA Passtrought
2. Po VGA passrought tato karta prestane byt dostupne v host machine (na Proxmoxe)?
A: Ano přesně tak, jedině, že bys měl profesionální kartu (nVidia Quatro,...), které umí rozdělit výkon mezi hosta a hostitele, ale ty jsou cenově uplně jinde. Případně to umí Intel: https://wiki.archlinux.org/index.php/Intel_GVT-g
3. V pripade ze spravim VGA passrought pre konkretnu VM mozem tuto VM nasledne vypnut a pouzit passtrought pre inu VM (bez restartu Proxmoxu)
A: Ano s Nvidia kartami je to bez problému. Lze si vytvořit script, který binduje/unbinduje GPU. Já si třeba přehazuji (binguji/unbinduji) GPU mezi hostem a hostitelem, podle toho kde ji zrovna potřebuji. S AMD kartami je trochu problém. Nebudu to teď rozepisovat, jen tě navedu, že se tomu říká reset bug a reší se různými patchy (dříve kernelu, dnes by to snad mělo jít jen patchem nějakého modulu jádra). U poslední nejvyšší řady RX 6000 by ten bug být již neměl (jen jsem to četl v diskuzi, blíže jsem nezkoumal).
4. Pre VGA passrought nepotrebujem mat drivery pre tuto kartu na host machine (na Proxmoxe) ale na prislusnej VM?
A: Ano přesně tak. VM vidí reálnou GPU a potřebuje pro ni ovladače. Proxmox (hostitel) GPU v tu chvíli naopak nevidí.
5. Ak pripojim monitor do VGA vystupu tak az do momentu pokial Proxmox nastartuje prislusnu VM do kt je tato GPU passtrought tak by som mal vidiet vystup z Proxmoxu, nasledne ked startne prislusna VM uvidim obraz danej VM?
A: Lepší řešení je pro hostitele (Proxmox) mít vyhrazenou iGPU a pro hosta (VM) mít dGPU. Pokud budeš mít jen jednu GPU, tak ji musiš přehazovat mezi hostem a hostitelem. Nevím jestli Proxmox obsahuje nějaké scripty, které to umí na kliknutí (respektive klávesouvou zkratku), pochybuji, ale jestli o tom víš, tak se poděl o info, bylo by to pro mne příjemné překvapení. Pokud Proxmox takovou superfunkci nemá, tak se ti může stát, že když ti vytuhne VM s VGA pass, tak GPU už nedokážeš vrátit zpět Proxmoxu. Musel bys mít nějaký způsob jak zabít vytuhnutou VM bez monitoru. Z mobilu přes SSH?
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
7. Dokazem spravit VGA passtrought s jednou VGA kartou? Bude Proxmox schopny nastartovat do "headless" rezimu a bude schopny spustat ostatne VMs a budem ho schopny ovladat cez WEB resp SSH?
A: VGA pass jen s jednou GPU je vopruz, ale jít by to mělo. Ještě tě navedu na https://github.com/gnif/LookingGlass , což je způsob jak v hostiteli (Proxmoxu), případně v nějaké VM, zobrazovat grafický výstup z jiné VM, která má passthrougnutou VGA. Ale je to beta a za druhé je tam cítit maličký lag, takže při hraní rychlých her to může trochu vadit. I přes to je to ze všech dostupných řešení (RDP, Spice, VNC) způsob jak docílit minimálního lagu - to je i hlavní cíl projektu LookingGlass.
8. Aky je dnes stav pre GPU passtrought? Videl som rozne tutorialy od pomerne jednoducho vyzerajucich (nastavit iommu v grube Proxmoxu a v GUI VM naklikat zariadenie do VM) cez zlozitejsie (dumpovanie vBIOSu z VGA, jeho nasledne modifikovanie a nastavenie pre konkretnu VM, hlavne v kombinacii s UNRAID a absolutne som nepochopil aky to ma zmysel) az po asi najviac zlozite (manualne kompilovanie Qemu a jadra a instalaciu roznych driverov a neviem coho vsetkeho este)
A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28

Asi nejlepší vga passthrough dokumentace je jako vždy na archlinuxu :): https://wiki.archlinux.org/index.php/PCI_passthrough_via_OVMF

Citace
Cele by to malo bezat na Ryzen 5 3600
Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.

Citace
Viete mi prosim poradit nejaku pre Ryzen 5 3600?
V tomto nepomohu. Bude třeba na google hledat spojení "success stories" "ryzen 5" "iommu group" apod.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #8 kdy: 28. 12. 2020, 22:04:37 »
Dakujem velmi pekne vsetkym za cenne rady. Trosku by som upresnil o co mi vlastne ide.

Mam k dispozicii jednu starsiu nvidu - nieje to ziadny zazrak ale starsie hry to potiahne. Tuto kartu planujem vyuzivat bud vo Windows gaming VM alebo Media server VM, no nie vsak v oboch sucastne. Windows gaming VM bude vyuzivana naozaj len obcas. Zaroven je to jedina karta ktoru mam k dispozicii a teda sa nejedna o dGPU system. Preto sa zaujimam o moznost robit passtrought tejto VGA do roznych VM podla potreby. VGA na hoste/hypervisore mi chybat nebude a vystacim si s SSH/WEB samozrejme v pripade ze Proxmox bude fungovat nadalej.

Co sa tyka transcode videa tak TV mam LG-55LF630V - FullHD (1920 x 1080 px) takze ak to chapem spravne tak vsetko co je nizse rozlisenie ako 1920 x 1080 px by malo na tejto TV fungovat bez transcode, a to je zrejme vacsina videii ktore planujem streamovat. Zatial vsetko co som spustal na TV z USB mi fungovalo bez problemov, takze je mozne ze transcode mozno ani nebude treba.

Chcel by som ale do buducnosti mat moznost pouzit system ako dGPU, avsak ani v tomto pripade by s najvacsou pravdepodobnostou neboli spustene Windows gaming VM a Media server VM naraz - to by asi vyzadovalo vyssiu investicu aku som ochotny spravit. A ako sa hovori chcem si trosku osahat ako to cele funguje, takze preto by som rad nejaku dosku s vyhladom na moznost 2xGPU passtrought. Na to aby som ale mohol spravit passtrought 2 kariet do nezavislych VM treba mat vhodnu zakladnu dosku ktora ma dve PCIe v roznych IOMMU skupinach, ak som to zle pochopil tak ma prosim opravte.

Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.

Neplanujem iGPU ale dedikovanu VGA. Viem ze pri APU Ryzenoch je to problem, pri Intel to vraj nejak ide ale kazdopadne je to komplikacia ktora sa da vyriesit lacnejsou dedikovanou kartou, samozrejme za predpokladu ze ma doska spravne IOMMU skupiny. Problem je ale dopatrat sa ku doske ktora ma tieto spravne IOMMU skupiny.

U ostatnich veci - samozrejme taky muzes udelat 1:1 virtualni disk k nativnimu, ale moc jako passthrough to nepocitam - to by bylo az bys mel nejaky extra sata radic (jinej nez na hypervisor) ktery muzes predat do VM jiz jako PCIe device.

Ako je to potom s vykonom pri takomto rieseni? A pouzivas aj nejake vacsie obrazy diskov? Napr v mojom pripade si celkom neviem predstavit pouzit NAS VM inac nez ako passtrought. To by som mal na disku obrovsky obraz virtualneho PC v ktorom by som mal data? Alternativu vidim v tom ako to popisujes a teda ze to vyriesit uz rovno na urovni host/hypervisor.

Osobne me to prijde ponekud overengineered (ale chapu ze si lidi potrebuji hrat a ucit se necemu novemu), a tlak na vykon je na spatnem miste - napr. NAS node bude stejne mit jen GbE konektivitu (doufam ze nejedes wifi only) a tech 1GbE ti saturuje i raid nad hodne vrstvama virtualizace - jediny problem bude ve spotrebe, a ze namisto 10% cpu bude zatez 60% (ilustrativne!).

Wifi urcite nie. Skor si chcem nechat moznost dokupenia dalsej PCIe sietovej karty prave koli spominanemu sietovemu bottlenecku.
Ano virtualizacia je urcite overhead navyse. Ale pokial viem tak KVM ma cca 95%-98% vykonu nativneho zeleza, takze z toho tak nejak usudzujem ze by to nemuselo zabijat CPU a zrat elektrinu.

Holt to zacni zkouset nejak poskladat - nemyslim si ze tohle (kvuli rozsahu/pozadavkum) jde udelat na prvni dobrou a bude to na nekolik predelavani.. pokud si dokazes udelat nejake metriky a replikovat mereni (treba prenos dat vs. utilizace resp. spotreba), tak se muzes dooptimalizovat casem k dobremu reseni.

S tym tak nejak pocitam ze to nedam na prvy krat, skor mi ide o to zacat zo spraveho konca a nezarubat si cestu pripadnym upgradom a zmenam, preto som vdacny za kazdy nazor.

Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.

Toto by bolo urcite zaujimave a zistim ake ma Proxmox moznosti, prip si necham poradit ako to riesia ostatni. Kazdopadne Windows Gaming VM bude urcena skor na obcasne pouzivnie, nepotrebujem ju mat sartnutu 24/7 ale len ked chcem zahrat nejaku starsiu pecku. Prave koli tomuto ma zaujima moznost zdielat jednu passtrought GPU medzi roznymi VM tak ze jednu VM stopnem a startnem inu VM kde mozem vyuzit danu GPU (1. stop Media Server VM, 2. strart Windows Gaming VM, 3. zahrat hru, 4. stop Windows Gaming VM, 5. start Media Server VM).

PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.

SPICY umoznuje remote management este pred startom VM (teda vidim tam post, grub atd) a teda je to riesene nejak tak ze ani nepotrebujem mat vo VM nejaku dedikovanu aplikaciu? Je to nejako vyrazne pomalsie napr oproti sominanemu RDP?

PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.

Co sa tyka FS/raid/lvm tak toto zvazujem ako by bolo najlepsie. Pokial by som urobil passtrought a nastavil to v NAS VM tak si myslim ze stale zostava moznost pripojit tieto disky do host/hypervisor nakolko by to mal byt plnohonotny RAID nad celym diskom a nie nad imageom. Benefit vidim mozno v tom ze NAS VM nemusi vidiet ine disky nez tie nad ktorymi ma spravit RAID. Na druhej strane ako tu uz bolo spominane treba na to nejaky radic ktory mozem passtrought do VM.
Nema s tym niekto skusenosti ako je tomu pri Ryzenoch a ci je mozne mat SATA pre host/hypervisor a ine SATA pre konkretnu VM? Predpokladam ze to je opat zalezitostou IOMMU skupin.


Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.

To som rad :)

Nemusíš na vše mít jako VM na některé věci ti stačí kontejner. 
VM jsou jako opravdové samostatné počítače, můžeš mount co chceš.
CT (kontejnery) mohou mount jen svazky připojené k samotnému Proxmox, to může být omezující.

Ano tak nejak som tomu pochopil

Passthrough bych se snažil spíš omezit, to nepoužívám - může být obtížnější nastavit a provozovat. Pro připojení 1GBps síťovkou nebude určitě připojení disků skrz Proxmox vůbec vadit.

Mas na mysli passtrought ak spravne chapem?

Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.

Skor som uvazoval nad BTRFS koli absencii ECC. ECC neriesim momentalne pre to ze si este viac zuzim moznosti na vyber zakladnej dosky ktora ma aj dobre IOMMU skupiny a aj ECC. Moznoze IOMMU precenujem a nechapem tomu celkom spravne takze si rad necham poradit.

Pro transkodování na PLEX potřebuješ výkonný CPU nebo akceleraci GPU.

Primarny use case je strem videa na full HD TV, mozno obcas mobil/tablet.

Uvaž opravdový serverový HW, já mam Xeon e3-1270v2 + 16GB ECC RAM, to je myslím reálné minimum. Tato konfigurace zvládne 1 video stream z 4k na FullHD, více ne.

Intel Xeon E3-1270 V2 @ 3.50GHz - passmark score: 6552
AMD Ryzen 5 3600 - passmark score: 17860

Chapem ze passmark je X parametrov CPU zhustenych do jedneho. Ale uvadzam to na porovnanie. Musim brat ohlad aj na spotrebu a hlucnost. Vyhodu v Xeone vidim v HW transcode videa, ale alebo mi este nieco unika?

Asi budeš mít problém s uspáváním disků.

Myslis pri pass trought? Preco je to problem, pouzivas uspavanie resp SMART?

- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem

Ja by som rad HDD passtrought do NAS VM potom by to uz malo byt nativne, ci? A skor ako ZFS davam prednost BTRFS, koli nizsim HW narokom.

- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí

Bavime sa stale o passtrought HDD ked spravne chapem? Ja som zil v tom ze ked je to passtrought tak je to vykon blizky nativnemu na 95%-98%. Nemoze to byt dane napr aj architekturou zakladnej dosky (mam na mysli ci je SATA radic skutocne v PCIe 8x alebo len v PCIe ktora sa tvari ako 8x ale to 2x ?)

- spindown disků při pass nefunguje

Hmm uz to tu bolo spomenute .... ma vobec spindown zmysel pri HDD pre NAS z pohladu setrenia zivotnosti alebo je to skor o setreni energie?

- pro pci pass je trocho problém s HW, protože poměrně nečekaně to na mnoha platformách (třeba HP server gen 8) nemusí fungovat dobře. Naopak mám třeba levnou desktopovou sesku a coffe lake CPU, kde mi jedou 4 karty....

Co som sa zatial docital tak s 1 VGA by vraj byt problem nemal, s 2 to uz moze byt problem, tiez tu bolo spomenute ze je problem u notebookov. Intel ma zrejme v tomto navrch oproti AMD.

- jak budeš přenášet obraz z pci pass karet? Optimum je na tu kartu mít asi fyzický monitor

Ano tak, resp som na to chcel napojit spominanu TV a hrat sa prilezitostne na nej.

- bude to žrát, počítej klidně 100W ILDE, PM v těchto konfuguracích není nic moc

Toto som pravdupovediac nikdy nepochopil podla coho sa to da vyratat (ak sa vobec da). Cital som niekde ze AM4 ma max 142W limit, PCIe 75w, plus nejake disky doska atd to mi vychadza max na 300W ale nikto neodporuca na takuto zostavu 300W zdroj ale to je asi tema na ine vlakno.


- serverový HW je na to lepší, ale žere a je hlučný....

Stretol som sa sa uz s tymto nazorom. No nikdy som nepochopil ze preco konkretne je lepsi server hardware? Ma to byt home server takze mi netreba nejaky hot(swap|plug|spare) a prezijem aj downtime. Zato vsak hlucnost, sporeba a to ze to nemam kam ulozit ked nemam rack je dost problem.


-ad pokud budeš mít nVidia, je problém odlišit, zda GPU nefunguje kuli problému s pcie pass a nebo detekci VM v nVidia driverech (ale to se dá v proxmoxu obejít. Doporučuji ale nejpve otestovat pass na nějakém bezproblémovějším hw)

Tusim z ohoto dovodu sa robia tie dumpy vBIOSu o ktorych som pisal v otazke resp v Proxmoxe som tusim videl ze to ide obist cez nejake parametre virtualky (ak hovorime o tom istom?)

Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.

FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.

Ako som spominal najradsej by som BTRFS koli mensim narokom na HW voci ZFS + passthrough disky, neviem ci je to to iste ako tebou zmienena virtualizacia ZFS? Vies prosim o nejakom zdroji kde sa pojednava o takomto "narocnom" HW setupe - 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM) - celkom ma to zaujima.


6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/

Tusim som kdesi cital ze v pripade ze je USB v IOMMU v skupine spolu s inymi zariadeniami pre ktore nechcem robit passtrought tak je moznost nejakeho virtualneho USB a tam to potom ide? Ak taram oprav ma prosim, resp tebou spominane riesenie cez evdev dovoluje aj nieco taketo?

Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.

Kontainerom sa vobec nebranim

PS: opat velka vdaka vytrvalcom co to docitali :)

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #9 kdy: 28. 12. 2020, 22:11:16 »
Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.

FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.

Ako som spominal najradsej by som BTRFS koli mensim narokom na HW voci ZFS + passthrough disky, neviem ci je to to iste ako tebou zmienena virtualizacia ZFS? Vies prosim o nejakom zdroji kde sa pojednava o takomto "narocnom" HW setupe - 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM) - celkom ma to zaujima.

S btrfs nemám prakticky žádné zkušenosti, protože mu chybějí (nebo jsou nespolehlivé) právě ty funkčnosti, které já hledám.

Co se týče ZFS, materiálů je hodně - jak kolem OpenZFS, tak kolem BSD+ZFS, tak i kolem FreeNAS, i na Oraclu k původnímu ZFS. Bohužel, nikde nejsou moc "hotové" rady, spíš informace, co jak funguje, co jaký parametr ovlivňuje. Z toho si to musí každý složit sám. Co jsem pochopil, tak ZFS nikdy nepoužívala laická veřejnost (kanón na vrabce), takže v diskusích jsou informace kusé a někdy i špatné. Ti, co to nasazují do enterprise, se zase neexhibují v diskusích. Oracle dřív i iXsystems dnes nemají důvod pouštět svoje know how :(.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #10 kdy: 28. 12. 2020, 23:00:09 »
Na to aby som ale mohol spravit passtrought 2 kariet do nezavislych VM treba mat vhodnu zakladnu dosku ktora ma dve PCIe v roznych IOMMU skupinach, ak som to zle pochopil tak ma prosim opravte.
O PCIe (po příkazu lspcie se vypisuje jako "PCI bridge") ani tak nejde. Pokud bys měl základovku bez GPU karty, tak nepoznáš jestli bude případná zapojená GPU v samostatné skupině. Proto je potřeba hledat na netu success stories. Pokud není GPU+Audio v samostatné skupině, tak se to dá často obejít ACS patchem.

6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
Tusim som kdesi cital ze v pripade ze je USB v IOMMU v skupine spolu s inymi zariadeniami pre ktore nechcem robit passtrought tak je moznost nejakeho virtualneho USB a tam to potom ide? Ak taram oprav ma prosim, resp tebou spominane riesenie cez evdev dovoluje aj nieco taketo?
USB pass a VGA/PCI pass nemá spolu nic společného. U USB pass se neřeší žádné IOMMU Groups. Pouze pokud bys do VM chtěl předat celý USB řadič, tak to je PCI pass, ale to asi dělat nebudeš. S USB pass klávesnice a myši problém není. Nevím co myslíš virtuálním USB. VM je složená z virtuálních zařízení a jeden z nich je "virtuální USB řadič" na který se následně připojí passthrougnuté (fyzické) USB zařízení. Moje řešení pomocí evdev má tu výhodu, že si klávesnici a myš přehazuji klávesovou zkratkou mezi hostem a hostitelem. U USB pass je přehazování mezi hostem a hostitelem zdlouhavější (musíš nějakou tu sekundu čekat než se objeví v hostu nebo hostiteli).

Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.
Kontainerom sa vobec nebranim
Tak pokud budeš hlavním uživatelem toho celého serveru a budeš mít zapínání a vypínání VM pod kontrolou, tak to by mělo být celkem v pohodě i s tím Ryzenem. Myslel jsem na začátku, že to bude vytížený stroj na který se bude připojovat více klientů. Pokud budeš hlavní uživatel, tak bych se v této fázi ani netrápil "gaming módem". V rámci tunningu výkonu můžeš později použít třeba CPU pinning, kdy dané VM "připneš" konkrétní jádra v CPU, nebo HugePages, ale to si nech až nakonec, to jsou až třešničky na dortu :)

RDa

  • *****
  • 2 465
    • Zobrazit profil
    • E-mail
Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #11 kdy: 29. 12. 2020, 00:34:40 »
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.

SPICY umoznuje remote management este pred startom VM (teda vidim tam post, grub atd) a teda je to riesene nejak tak ze ani nepotrebujem mat vo VM nejaku dedikovanu aplikaciu? Je to nejako vyrazne pomalsie napr oproti sominanemu RDP?


Tak ono to funguje podobne jako hw IP KVM (napr. ASPEED BMC) reseni - mas pristup k UI od VM (klavesnice/video), takze se to hodi napr. na instalaci OS. Mozna nekdy i pro pouzivani, ale k tomu me prijde uz lepsi to RDP (jedu tam stary office napr.). Mozna to ale souvisi s tim, ze VM mi bezi na jinem zeleze (serveru), nez moje uzivatelske rozhrani odkud to spravuji, takze to SPICY me prislo jako nejsnazsi cesta, jak to ovladat se vsim vsudy. Vetsinou tim resim ruzne - proc to nebootuje - stavy a pak kdyz uz je VM up, tak skrze ssh to neni problem ovladat, ze jo.

Ohledne ECC a server hw - myslim ze pocituji za ta leta znatelnou vyssi stabilitu u serveroveho zeleza, a vlastne samovolne restarty se tam nekonaji, na rozdil od desktopovych/consumer reseni. Kdyz mas jedno PC, a takovy incident se stane jednou za rok, tak to ignorujes, ale pokud jedes rekneme 12 systemu a restart se pak kona s cetnosti jednou za mesic.. te to zacne samozrejme stvat. Nemam jasny dukaz ze za to muze ECC nebo Xeon - je to porad jenom subjektivni pocit.

Osobne jsem na ECC systemy presel postupne.. stejne tak jak se zelezo zmigrovalo do 19" rack systemu, casem poresila UPS, PDU, backup, VLANy a jine "vyssi divci". Postune k tomu mozna dospejes, nebo budes mit stesti ze te nestesti nepotka.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #12 kdy: 29. 12. 2020, 16:26:17 »
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.

Chcel som sa este opytat co je potrebne pre to aby mohli ostatne PC na lokalne sieti komunikovat s pfSense resp Pi-hole? Predpokladam ze exisuje nejaka moznost ako je tomu napr pri VirtualBoxe ze ma bridge mode, alebo nejaky virtualny interface s viacerymi IP alebo dake reverse proxy a pod? Pytam sa to koli tomu ci nieje nahoodu nutne robit nejake passtrought sialenosti so sietovou kartou a tym padom je clovek opat limitovany tym co mu IOMMU skupiny dovolia - ale pevne verim ze nie, len si to chcem potvrdit.

Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.

Toto mas na host/hypervisor alebo je na to startnuta dedikovana CT/VM ktora to spravuje?

A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.

Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.


A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28

Co som zatial cital tak viem ze s passtrought 1 GPU prakticky niesu problemy, tak ako popisujes. Uvazujem vsak este o jednej karte ktora by bola len pre host/hypervisor a nerobil by som passtrought. Na zaciatok ozaj len nieco co ma HDMI aby to pomohlo pri nastavovani, neskor mozno nieco co zvladne NVENC a NVDEC, takto by mohol na hoste/hypervisore bezat v kontajnery jellyfin ktory vyuzije HW.
Neviem vsak ci je takyto setup (dGPU kde jedna je passtrought do VM a druha je urcena pre host/hypervisor) tiez vo vacsine pripadov bez problemov alebo tam plati to iste co pri dGPU kde pre obe VGA robim passtrought?
Tiez by som zobral este aspon 1 sietovu kartu (ak mi tam ma bezat pfSense nech ma tato masina WAN a LAN) prip tiez SATA kartu pre viac diskov. A neviem ci aj toto ma dosah na IOMMU a s tym spojene problemy a ci si v pripade dosky ktora tento setup neumoznuje nezarubem cestu?

Dakujem

ja.

  • ****
  • 316
    • Zobrazit profil
    • E-mail
Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #13 kdy: 29. 12. 2020, 17:52:28 »
Chcel som sa este opytat co je potrebne pre to aby mohli ostatne PC na lokalne sieti komunikovat s pfSense resp Pi-hole? Predpokladam ze exisuje nejaka moznost ako je tomu napr pri VirtualBoxe ze ma bridge mode, alebo nejaky virtualny interface s viacerymi IP alebo dake reverse proxy a pod? Pytam sa to koli tomu ci nieje nahoodu nutne robit nejake passtrought sialenosti so sietovou kartou a tym padom je clovek opat limitovany tym co mu IOMMU skupiny dovolia - ale pevne verim ze nie, len si to chcem potvrdit.

Proxmox by default vyrobí bridge (vmbr), nastaví fyzické sieťové rozhranie ako jeho slave a na tento bridge potom vešia jednotlivé virtuálky. Tento bridge môžeš urobiť aj VLAN-aware, ak to potrebuješ (napr. ak by si chcel mať router on a stick ;) ). Pokiaľ sa chceš pohrať ešte viac, Proxmox podporuje openvswitch.

V skratke: áno, virtuálky sú v rovnakej sieti, ako beží host s proxmoxom.

Toto mas na host/hypervisor alebo je na to startnuta dedikovana CT/VM ktora to spravuje?

To je v tom systéme, ktorý má pripojený ZFS pool. Ono tu RAM ani nepotrebuješ, pokiaľ nezapneš deduplication. Dedup totiž funguje tak, že si pamätá checksumy zapísaných blokov a pokiaľ pri zápise zistí, že taký už niekde na disku má, tak iba urobí reflink.

No a tie checksumy niečo zaberajú.

Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.

Môže, ale...

Pokiaľ je backing store virtuálneho disku blokové zariadenie (logical volume pri LVM, zvol (bez kompresie!) pri ZFS, alebo raw partition), tak výkon je v poriadku. Pokiaľ je to qcow2 súbor vo filesystéme, tak ten výkon už nemusí byť, pretože ideš cez jednu extra vrstvu.

Raw disky s radičom je treba len pre virtuálky, ktoré chceš použiť ako NAS. Ide o to, aby software v NAS VM mal presný prehľad, v akom stave sa nachádza fyzicky hw, od TRIM a SMART reporting po presné chybové hlášky v prípade vadných sektorov, výpadku disku z poľa alebo inej udalosti, od ktorej virtuálny hardware abstrahuje.

Re:Domácí virtuální server postavený na Proxmoxu
« Odpověď #14 kdy: 29. 12. 2020, 18:11:43 »
A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.
Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.
Jsem přesvědčený, že v reálu nepoznáš rozdíl mezi tím když jsou data nainstalována v obrazu disku na SSD nebo přímo na SSD. Takové věci má smysl řešit pokud bys provozoval databázovou VM, kde je důležité každé vytunění výkonu při čtení/zápisu na disk, ale u VM s Windowsem užívaný jako desktop na práci nebo pro gaming není důvod se tím zatěžovat. Když máš celé SSD vyhrazené jen pro Windows, tak je to zbytečné plýtvání volným místem. Naopak když necháš SSD hostiteli (Proxmoxu), tak může volné místo využít Proxmox a celá VM je uložená jen jako jeden soubor (qcow2 nebo raw) a je to i jednodušší na migraci.

A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28
Neviem vsak ci je takyto setup (dGPU kde jedna je passtrought do VM a druha je urcena pre host/hypervisor) tiez vo vacsine pripadov bez problemov alebo tam plati to iste co pri dGPU kde pre obe VGA robim passtrought?
Tiez by som zobral este aspon 1 sietovu kartu (ak mi tam ma bezat pfSense nech ma tato masina WAN a LAN) prip tiez SATA kartu pre viac diskov. A neviem ci aj toto ma dosah na IOMMU a s tym spojene problemy a ci si v pripade dosky ktora tento setup neumoznuje nezarubem cestu?
U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.