Dakujem velmi pekne vsetkym za cenne rady. Trosku by som upresnil o co mi vlastne ide.
Mam k dispozicii jednu starsiu nvidu - nieje to ziadny zazrak ale starsie hry to potiahne. Tuto kartu planujem vyuzivat bud vo Windows gaming VM alebo Media server VM, no nie vsak v oboch sucastne. Windows gaming VM bude vyuzivana naozaj len obcas. Zaroven je to jedina karta ktoru mam k dispozicii a teda sa nejedna o dGPU system. Preto sa zaujimam o moznost robit passtrought tejto VGA do roznych VM podla potreby. VGA na hoste/hypervisore mi chybat nebude a vystacim si s SSH/WEB samozrejme v pripade ze Proxmox bude fungovat nadalej.
Co sa tyka transcode videa tak TV mam LG-55LF630V - FullHD (1920 x 1080 px) takze ak to chapem spravne tak vsetko co je nizse rozlisenie ako 1920 x 1080 px by malo na tejto TV fungovat bez transcode, a to je zrejme vacsina videii ktore planujem streamovat. Zatial vsetko co som spustal na TV z USB mi fungovalo bez problemov, takze je mozne ze transcode mozno ani nebude treba.
Chcel by som ale do buducnosti mat moznost pouzit system ako dGPU, avsak ani v tomto pripade by s najvacsou pravdepodobnostou neboli spustene Windows gaming VM a Media server VM naraz - to by asi vyzadovalo vyssiu investicu aku som ochotny spravit. A ako sa hovori chcem si trosku osahat ako to cele funguje, takze preto by som rad nejaku dosku s vyhladom na moznost 2xGPU passtrought. Na to aby som ale mohol spravit passtrought 2 kariet do nezavislych VM treba mat vhodnu zakladnu dosku ktora ma dve PCIe v roznych IOMMU skupinach, ak som to zle pochopil tak ma prosim opravte.
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.
Neplanujem iGPU ale dedikovanu VGA. Viem ze pri APU Ryzenoch je to problem, pri Intel to vraj nejak ide ale kazdopadne je to komplikacia ktora sa da vyriesit lacnejsou dedikovanou kartou, samozrejme za predpokladu ze ma doska spravne IOMMU skupiny. Problem je ale dopatrat sa ku doske ktora ma tieto spravne IOMMU skupiny.
U ostatnich veci - samozrejme taky muzes udelat 1:1 virtualni disk k nativnimu, ale moc jako passthrough to nepocitam - to by bylo az bys mel nejaky extra sata radic (jinej nez na hypervisor) ktery muzes predat do VM jiz jako PCIe device.
Ako je to potom s vykonom pri takomto rieseni? A pouzivas aj nejake vacsie obrazy diskov? Napr v mojom pripade si celkom neviem predstavit pouzit NAS VM inac nez ako passtrought. To by som mal na disku obrovsky obraz virtualneho PC v ktorom by som mal data? Alternativu vidim v tom ako to popisujes a teda ze to vyriesit uz rovno na urovni host/hypervisor.
Osobne me to prijde ponekud overengineered (ale chapu ze si lidi potrebuji hrat a ucit se necemu novemu), a tlak na vykon je na spatnem miste - napr. NAS node bude stejne mit jen GbE konektivitu (doufam ze nejedes wifi only) a tech 1GbE ti saturuje i raid nad hodne vrstvama virtualizace - jediny problem bude ve spotrebe, a ze namisto 10% cpu bude zatez 60% (ilustrativne!).
Wifi urcite nie. Skor si chcem nechat moznost dokupenia dalsej PCIe sietovej karty prave koli spominanemu sietovemu bottlenecku.
Ano virtualizacia je urcite overhead navyse. Ale pokial viem tak KVM ma cca 95%-98% vykonu nativneho zeleza, takze z toho tak nejak usudzujem ze by to nemuselo zabijat CPU a zrat elektrinu.
Holt to zacni zkouset nejak poskladat - nemyslim si ze tohle (kvuli rozsahu/pozadavkum) jde udelat na prvni dobrou a bude to na nekolik predelavani.. pokud si dokazes udelat nejake metriky a replikovat mereni (treba prenos dat vs. utilizace resp. spotreba), tak se muzes dooptimalizovat casem k dobremu reseni.
S tym tak nejak pocitam ze to nedam na prvy krat, skor mi ide o to zacat zo spraveho konca a nezarubat si cestu pripadnym upgradom a zmenam, preto som vdacny za kazdy nazor.
Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.
Toto by bolo urcite zaujimave a zistim ake ma Proxmox moznosti, prip si necham poradit ako to riesia ostatni. Kazdopadne Windows Gaming VM bude urcena skor na obcasne pouzivnie, nepotrebujem ju mat sartnutu 24/7 ale len ked chcem zahrat nejaku starsiu pecku. Prave koli tomuto ma zaujima moznost zdielat jednu passtrought GPU medzi roznymi VM tak ze jednu VM stopnem a startnem inu VM kde mozem vyuzit danu GPU (1. stop Media Server VM, 2. strart Windows Gaming VM, 3. zahrat hru, 4. stop Windows Gaming VM, 5. start Media Server VM).
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
SPICY umoznuje remote management este pred startom VM (teda vidim tam post, grub atd) a teda je to riesene nejak tak ze ani nepotrebujem mat vo VM nejaku dedikovanu aplikaciu? Je to nejako vyrazne pomalsie napr oproti sominanemu RDP?
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
Co sa tyka FS/raid/lvm tak toto zvazujem ako by bolo najlepsie. Pokial by som urobil passtrought a nastavil to v NAS VM tak si myslim ze stale zostava moznost pripojit tieto disky do host/hypervisor nakolko by to mal byt plnohonotny RAID nad celym diskom a nie nad imageom. Benefit vidim mozno v tom ze NAS VM nemusi vidiet ine disky nez tie nad ktorymi ma spravit RAID. Na druhej strane ako tu uz bolo spominane treba na to nejaky radic ktory mozem passtrought do VM.
Nema s tym niekto skusenosti ako je tomu pri Ryzenoch a ci je mozne mat SATA pre host/hypervisor a ine SATA pre konkretnu VM? Predpokladam ze to je opat zalezitostou IOMMU skupin.
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.
To som rad
Nemusíš na vše mít jako VM na některé věci ti stačí kontejner.
VM jsou jako opravdové samostatné počítače, můžeš mount co chceš.
CT (kontejnery) mohou mount jen svazky připojené k samotnému Proxmox, to může být omezující.
Ano tak nejak som tomu pochopil
Passthrough bych se snažil spíš omezit, to nepoužívám - může být obtížnější nastavit a provozovat. Pro připojení 1GBps síťovkou nebude určitě připojení disků skrz Proxmox vůbec vadit.
Mas na mysli passtrought ak spravne chapem?
Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.
Skor som uvazoval nad BTRFS koli absencii ECC. ECC neriesim momentalne pre to ze si este viac zuzim moznosti na vyber zakladnej dosky ktora ma aj dobre IOMMU skupiny a aj ECC. Moznoze IOMMU precenujem a nechapem tomu celkom spravne takze si rad necham poradit.
Pro transkodování na PLEX potřebuješ výkonný CPU nebo akceleraci GPU.
Primarny use case je strem videa na full HD TV, mozno obcas mobil/tablet.
Uvaž opravdový serverový HW, já mam Xeon e3-1270v2 + 16GB ECC RAM, to je myslím reálné minimum. Tato konfigurace zvládne 1 video stream z 4k na FullHD, více ne.
Intel Xeon E3-1270 V2 @ 3.50GHz - passmark score: 6552
AMD Ryzen 5 3600 - passmark score: 17860
Chapem ze passmark je X parametrov CPU zhustenych do jedneho. Ale uvadzam to na porovnanie. Musim brat ohlad aj na spotrebu a hlucnost. Vyhodu v Xeone vidim v HW transcode videa, ale alebo mi este nieco unika?
Asi budeš mít problém s uspáváním disků.
Myslis pri pass trought? Preco je to problem, pouzivas uspavanie resp SMART?
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
Ja by som rad HDD passtrought do NAS VM potom by to uz malo byt nativne, ci? A skor ako ZFS davam prednost BTRFS, koli nizsim HW narokom.
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí
Bavime sa stale o passtrought HDD ked spravne chapem? Ja som zil v tom ze ked je to passtrought tak je to vykon blizky nativnemu na 95%-98%. Nemoze to byt dane napr aj architekturou zakladnej dosky (mam na mysli ci je SATA radic skutocne v PCIe 8x alebo len v PCIe ktora sa tvari ako 8x ale to 2x ?)
- spindown disků při pass nefunguje
Hmm uz to tu bolo spomenute .... ma vobec spindown zmysel pri HDD pre NAS z pohladu setrenia zivotnosti alebo je to skor o setreni energie?
- pro pci pass je trocho problém s HW, protože poměrně nečekaně to na mnoha platformách (třeba HP server gen 
nemusí fungovat dobře. Naopak mám třeba levnou desktopovou sesku a coffe lake CPU, kde mi jedou 4 karty....
Co som sa zatial docital tak s 1 VGA by vraj byt problem nemal, s 2 to uz moze byt problem, tiez tu bolo spomenute ze je problem u notebookov. Intel ma zrejme v tomto navrch oproti AMD.
- jak budeš přenášet obraz z pci pass karet? Optimum je na tu kartu mít asi fyzický monitor
Ano tak, resp som na to chcel napojit spominanu TV a hrat sa prilezitostne na nej.
- bude to žrát, počítej klidně 100W ILDE, PM v těchto konfuguracích není nic moc
Toto som pravdupovediac nikdy nepochopil podla coho sa to da vyratat (ak sa vobec da). Cital som niekde ze AM4 ma max 142W limit, PCIe 75w, plus nejake disky doska atd to mi vychadza max na 300W ale nikto neodporuca na takuto zostavu 300W zdroj ale to je asi tema na ine vlakno.
- serverový HW je na to lepší, ale žere a je hlučný....
Stretol som sa sa uz s tymto nazorom. No nikdy som nepochopil ze preco konkretne je lepsi server hardware? Ma to byt home server takze mi netreba nejaky hot(swap|plug|spare) a prezijem aj downtime. Zato vsak hlucnost, sporeba a to ze to nemam kam ulozit ked nemam rack je dost problem.
-ad pokud budeš mít nVidia, je problém odlišit, zda GPU nefunguje kuli problému s pcie pass a nebo detekci VM v nVidia driverech (ale to se dá v proxmoxu obejít. Doporučuji ale nejpve otestovat pass na nějakém bezproblémovějším hw)
Tusim z ohoto dovodu sa robia tie dumpy vBIOSu o ktorych som pisal v otazke resp v Proxmoxe som tusim videl ze to ide obist cez nejake parametre virtualky (ak hovorime o tom istom?)
Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.
FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.
Ako som spominal najradsej by som BTRFS koli mensim narokom na HW voci ZFS + passthrough disky, neviem ci je to to iste ako tebou zmienena virtualizacia ZFS? Vies prosim o nejakom zdroji kde sa pojednava o takomto "narocnom" HW setupe - 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM) - celkom ma to zaujima.
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
Tusim som kdesi cital ze v pripade ze je USB v IOMMU v skupine spolu s inymi zariadeniami pre ktore nechcem robit passtrought tak je moznost nejakeho virtualneho USB a tam to potom ide? Ak taram oprav ma prosim, resp tebou spominane riesenie cez evdev dovoluje aj nieco taketo?
Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.
Kontainerom sa vobec nebranim
PS: opat velka vdaka vytrvalcom co to docitali
34 Odpovědí
18658 Zhlédnutí