Fórum Root.cz
Hlavní témata => Server => Téma založeno: wakatana 28. 12. 2020, 02:40:12
-
Ahojte,
uvazujem nad postavenim mensieho domaceho serveru ktory by mal v sebe kombinovat nasledujuce vlastnosti (resp virtualne stroje - VM):
1. NAS VM
2. Niekolko docasnych VM
3. Media server VM
4. Windows gaming VM
5. Niekolko stalych VM (pihole, pfsense ...)
Nic podobne som predtym nerobil a momentalne zbieram info ako to cele dat dokopy a vychadza mi ze s Proxmoxom by to malo ist. V niektorych vieciach si niesom celkom isty a preto by som sa rad poradil.
Disky a ich ucel v celom rieseni:
1. Proxmox: 1x disk kde bude instalacia Proxmoxu - nieco male a rychle (m2 alebo SSD)
2. Proxmox: 1x disk kde budu obrazy virtualnych strojov - nieco vacsie ale stale dost rychle (SSD)
3. Passtrought do NAS VM: 2x disky pre NAS (RAID 1)
NAS VM
Toto myslim ze by mohlo fungovat v ako VM v ktorej bezi napr Rockstore resp Freenas (pripadne manualna konfiguracia) do ktorej by som spravil passtrought dvoch diskov urcenych pre NAS. Nalsedne vramci Rockstore by som vytvoril RAID a ponastavoval vsetko potrebne. Toto by idealne malo byt nejako spojene spolu s niecim ako je napr Nextcloud resp Duplicati a pod. Takze predpokladam ze tento "synchronizacny" software bude nutne nainstalovat do tejto VM aby bol schopny pracovat s diskami pod RAIDom. Taktiez by som tu nainstaloval SMB, NFS, CIFS aby bolo mozne pristupovat na tento obsah.
Q:
1. Je pass trought diskov (dana VM ma pristup ku celemu deviceu fyizickeho disku) mozny v Proxmox, a teda dana VM dokaze napr vytvarat RAIDy a pod?
2. Nextcloud napr umoznuje instalaciu pomocou Dockeru, viem napr startnut separatnu VM pre Nextcloud a pouzit data z NAS VM?
Niekolko docasnych VM
Tu si myslim ze by to malo ist relativvne jednoducho vytvorim/zapnem resp vypnem/zmazem nejaku virtualku podla potreby. ISO obrazy pre pripadne systemy by mali byt ulozene na vyssie spominanej NAS VM. Obraz disku samotnej VM by mal byt ulozeny na disku urcenom pre obrazy virtualnych strojov.
Zvazujem do buducna vytvorit RAID (podla financii uvidim ci 0, 1 resp 10) z disku urceneho na obrazy VM. Oficialne Proxmox nepodporuje SW RAID avsak si myslim ze na host PC kde bude Proxmox nainstalovany by malo ist mdadm alebo nieco ine takze tam nejake obmedzenie nevidim.
Neviem vsak aky file system je vhodny na obrazy VM. Povodne som zvazoval BTRFS najma koli moznosti robit snapshoty a setreniu miesta, avsak vraj tento FS nieje vhodny na obrazy VM. o ZFS az tak neuvazujem koli absencii ECC pamati v predpokladanej zostave. Proxmox vsak dokaze pracovat s qcow2 ktory uz snapshoty podporuje.
Q:
1. Aky file system zvolit na disk kde budu obrazy VM - BTRFS snapshot vs qcow2 snapshot?
2. Aky najlepsi FS pouzit v pripade pouzita Proxmox (qcow2) snapshotov?
3. Je nutne v pripade Proxmox (qcow2) snapshotov snapshotov pouzit ZFS, resp naco je podpora ZFS v Proxmoxe?
4. Ma volba FS na ktorom su ulozene obrazy VMs vyplv na celkovy vykon VM?
5. ma Proxmox nejaky problem so SW raidom?
Media server VM
Toto by tiez mala byt samostatna virtualka kde bude bezat zrejme Jellyfin (Plex je tiez v hre no Jellyfin ma vraj lepsie moznosti konfiguracie). Multimedialny obsah by mal byt dostupny z NAS VM. Tu sa trosku obavam dvoch veci:
- networkingu - teda aby Jellyfin/Plex client (napr na TV) mal pristup k Jellyfin/Plex serveru - myslim ze toto je urcite nejako riesitelne vramci Proxmox networkingu
- performance - ako najlepsie nazdielat multimedialny obsah. Myslim ze toto by tiez malo chodit tak ze Media server VM si mountne obsah z NAS VM (vraj je na tom lepsie SMB ako NFS koli FS modification watches absencii).
Q:
1. Je mozne vramci Proxmoxu nejako nastavit aby boli konkretne CT/VM dostupne z LAN siete?
2. Je mozne pristupovat na jednotlive sluzby (SMB, NFS, CIFS) z jednej VM na inu VM ?
Windows gaming VM
Toto je z jmojho pohladu asi VM ktora vyvolava najviac otazok:
Q: Disk
1. Je lepsie pouzit nativny disk cez passtrought koli vykonu alebo obraz VM napr koli spominanym snapshotom? Resp mozem mat najlepsie z oboch?
Q: VGA Passtrought
2. Po VGA passrought tato karta prestane byt dostupne v host machine (na Proxmoxe)?
3. V pripade ze spravim VGA passrought pre konkretnu VM mozem tuto VM nasledne vypnut a pouzit passtrought pre inu VM (bez restartu Proxmoxu)
4. Pre VGA passrought nepotrebujem mat drivery pre tuto kartu na host machine (na Proxmoxe) ale na prislusnej VM?
5. Ak pripojim monitor do VGA vystupu tak az do momentu pokial Proxmox nastartuje prislusnu VM do kt je tato GPU passtrought tak by som mal vidiet vystup z Proxmoxu, nasledne ked startne prislusna VM uvidim obraz danej VM?
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
7. Dokazem spravit VGA passtrought s jednou VGA kartou? Bude Proxmox schopny nastartovat do "headless" rezimu a bude schopny spustat ostatne VMs a budem ho schopny ovladat cez WEB resp SSH?
8. Aky je dnes stav pre GPU passtrought? Videl som rozne tutorialy od pomerne jednoducho vyzerajucich (nastavit iommu v grube Proxmoxu a v GUI VM naklikat zariadenie do VM) cez zlozitejsie (dumpovanie vBIOSu z VGA, jeho nasledne modifikovanie a nastavenie pre konkretnu VM, hlavne v kombinacii s UNRAID a absolutne som nepochopil aky to ma zmysel) az po asi najviac zlozite (manualne kompilovanie Qemu a jadra a instalaciu roznych driverov a neviem coho vsetkeho este)
Cele by to malo bezat na Ryzen 5 3600, s ECC ramkamy zatial nepocitam. Pokial viem tak pre spravne fungovanie GPU passtrought je nutne mat okrem CPU ktore to podporuje aj zakladnu dosku. Viete mi prosim poradit nejaku pre Ryzen 5 3600? Ja to chapem tak ze samotna VGA by mala byt v samostatnej IOMMU skupine aby bolo mozne spravit GPU passtrought len tej skupiny kde je VGA a nie dalsich zariadeni ktore by tam potencionalne mohli spadnut pretoze sa robi vlastne passtrought danej IOMMU skupiny a nie konkrenteho zariadenia.
Budem vdacny za colkovek co pomoze, konstruktivne pripomienky, kritiku, navrhy na zlepsenie, best practises, linky na howtos atd atd.
A dakujem kazdemu co to docital az do konca
-
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.
U ostatnich veci - samozrejme taky muzes udelat 1:1 virtualni disk k nativnimu, ale moc jako passthrough to nepocitam - to by bylo az bys mel nejaky extra sata radic (jinej nez na hypervisor) ktery muzes predat do VM jiz jako PCIe device.
Osobne me to prijde ponekud overengineered (ale chapu ze si lidi potrebuji hrat a ucit se necemu novemu), a tlak na vykon je na spatnem miste - napr. NAS node bude stejne mit jen GbE konektivitu (doufam ze nejedes wifi only) a tech 1GbE ti saturuje i raid nad hodne vrstvama virtualizace - jediny problem bude ve spotrebe, a ze namisto 10% cpu bude zatez 60% (ilustrativne!).
Holt to zacni zkouset nejak poskladat - nemyslim si ze tohle (kvuli rozsahu/pozadavkum) jde udelat na prvni dobrou a bude to na nekolik predelavani.. pokud si dokazes udelat nejake metriky a replikovat mereni (treba prenos dat vs. utilizace resp. spotreba), tak se muzes dooptimalizovat casem k dobremu reseni.
Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
-
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.
Nemusíš na vše mít jako VM na některé věci ti stačí kontejner.
VM jsou jako opravdové samostatné počítače, můžeš mount co chceš.
CT (kontejnery) mohou mount jen svazky připojené k samotnému Proxmox, to může být omezující.
Passthrough bych se snažil spíš omezit, to nepoužívám - může být obtížnější nastavit a provozovat. Pro připojení 1GBps síťovkou nebude určitě připojení disků skrz Proxmox vůbec vadit.
Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.
Pro transkodování na PLEX potřebuješ výkonný CPU nebo akceleraci GPU.
Uvaž opravdový serverový HW, já mam Xeon e3-1270v2 + 16GB ECC RAM, to je myslím reálné minimum. Tato konfigurace zvládne 1 video stream z 4k na FullHD, více ne.
Asi budeš mít problém s uspáváním disků.
-
Podobnou věc používám, zkušenosti:
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí
- spindown disků při pass nefunguje
- pro pci pass je trocho problém s HW, protože poměrně nečekaně to na mnoha platformách (třeba HP server gen 8) nemusí fungovat dobře. Naopak mám třeba levnou desktopovou sesku a coffe lake CPU, kde mi jedou 4 karty....
- jak budeš přenášet obraz z pci pass karet? Optimum je na tu kartu mít asi fyzický monitor
- bude to žrát, počítej klidně 100W ILDE, PM v těchto konfuguracích není nic moc
- serverový HW je na to lepší, ale žere a je hlučný....
-
-ad pokud budeš mít nVidia, je problém odlišit, zda GPU nefunguje kuli problému s pcie pass a nebo detekci VM v nVidia driverech (ale to se dá v proxmoxu obejít. Doporučuji ale nejpve otestovat pass na nějakém bezproblémovějším hw)
-
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.
Nevím jak u Proxmoxu, ale i iGPU by mělo jít přehazovat (bindovat/unbindovat) mezi hostem a hostitelem. Případně použít Intel GVT-g (https://wiki.archlinux.org/index.php/Intel_GVT-g), ale pevně věřím, že tazatel bude mít i dGPU pokud to s Windows gaming VM myslí vážně.
Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.
Souhlasím, asi by nebylo moc příjemné kdyby uprostřed přestřelky v Cyperpunku se začalo transkódovat nějaké 4K video pro nějakého clienta :), ale nejsem přesvědčen zda pro vytvoření "game mode" bude stačit jen snížit priority ostatních, ale nevím nikdy jsem takové balancování výkonu nedělal.
-
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí
Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.
FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.
-
Windows gaming VM
Toto je z jmojho pohladu asi VM ktora vyvolava najviac otazok:
Q: Disk
1. Je lepsie pouzit nativny disk cez passtrought koli vykonu alebo obraz VM napr koli spominanym snapshotom? Resp mozem mat najlepsie z oboch?
A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.
Q: VGA Passtrought
2. Po VGA passrought tato karta prestane byt dostupne v host machine (na Proxmoxe)?
A: Ano přesně tak, jedině, že bys měl profesionální kartu (nVidia Quatro,...), které umí rozdělit výkon mezi hosta a hostitele, ale ty jsou cenově uplně jinde. Případně to umí Intel: https://wiki.archlinux.org/index.php/Intel_GVT-g
3. V pripade ze spravim VGA passrought pre konkretnu VM mozem tuto VM nasledne vypnut a pouzit passtrought pre inu VM (bez restartu Proxmoxu)
A: Ano s Nvidia kartami je to bez problému. Lze si vytvořit script, který binduje/unbinduje GPU. Já si třeba přehazuji (binguji/unbinduji) GPU mezi hostem a hostitelem, podle toho kde ji zrovna potřebuji. S AMD kartami je trochu problém. Nebudu to teď rozepisovat, jen tě navedu, že se tomu říká reset bug (https://www.reddit.com/r/Amd/comments/gor5q9/amd_flr_reset_bug_when_will_it_be_fixed/) a reší se různými patchy (dříve kernelu, dnes by to snad mělo jít jen patchem nějakého modulu jádra). U poslední nejvyšší řady RX 6000 by ten bug být již neměl (jen jsem to četl v diskuzi, blíže jsem nezkoumal).
4. Pre VGA passrought nepotrebujem mat drivery pre tuto kartu na host machine (na Proxmoxe) ale na prislusnej VM?
A: Ano přesně tak. VM vidí reálnou GPU a potřebuje pro ni ovladače. Proxmox (hostitel) GPU v tu chvíli naopak nevidí.
5. Ak pripojim monitor do VGA vystupu tak az do momentu pokial Proxmox nastartuje prislusnu VM do kt je tato GPU passtrought tak by som mal vidiet vystup z Proxmoxu, nasledne ked startne prislusna VM uvidim obraz danej VM?
A: Lepší řešení je pro hostitele (Proxmox) mít vyhrazenou iGPU a pro hosta (VM) mít dGPU. Pokud budeš mít jen jednu GPU, tak ji musiš přehazovat mezi hostem a hostitelem. Nevím jestli Proxmox obsahuje nějaké scripty, které to umí na kliknutí (respektive klávesouvou zkratku), pochybuji, ale jestli o tom víš, tak se poděl o info, bylo by to pro mne příjemné překvapení. Pokud Proxmox takovou superfunkci nemá, tak se ti může stát, že když ti vytuhne VM s VGA pass, tak GPU už nedokážeš vrátit zpět Proxmoxu. Musel bys mít nějaký způsob jak zabít vytuhnutou VM bez monitoru. Z mobilu přes SSH?
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
7. Dokazem spravit VGA passtrought s jednou VGA kartou? Bude Proxmox schopny nastartovat do "headless" rezimu a bude schopny spustat ostatne VMs a budem ho schopny ovladat cez WEB resp SSH?
A: VGA pass jen s jednou GPU je vopruz, ale jít by to mělo. Ještě tě navedu na https://github.com/gnif/LookingGlass , což je způsob jak v hostiteli (Proxmoxu), případně v nějaké VM, zobrazovat grafický výstup z jiné VM, která má passthrougnutou VGA. Ale je to beta a za druhé je tam cítit maličký lag, takže při hraní rychlých her to může trochu vadit. I přes to je to ze všech dostupných řešení (RDP, Spice, VNC) způsob jak docílit minimálního lagu - to je i hlavní cíl projektu LookingGlass.
8. Aky je dnes stav pre GPU passtrought? Videl som rozne tutorialy od pomerne jednoducho vyzerajucich (nastavit iommu v grube Proxmoxu a v GUI VM naklikat zariadenie do VM) cez zlozitejsie (dumpovanie vBIOSu z VGA, jeho nasledne modifikovanie a nastavenie pre konkretnu VM, hlavne v kombinacii s UNRAID a absolutne som nepochopil aky to ma zmysel) az po asi najviac zlozite (manualne kompilovanie Qemu a jadra a instalaciu roznych driverov a neviem coho vsetkeho este)
A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28
Asi nejlepší vga passthrough dokumentace je jako vždy na archlinuxu :): https://wiki.archlinux.org/index.php/PCI_passthrough_via_OVMF
Cele by to malo bezat na Ryzen 5 3600
Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.
Viete mi prosim poradit nejaku pre Ryzen 5 3600?
V tomto nepomohu. Bude třeba na google hledat spojení "success stories" "ryzen 5" "iommu group" apod.
-
Dakujem velmi pekne vsetkym za cenne rady. Trosku by som upresnil o co mi vlastne ide.
Mam k dispozicii jednu starsiu nvidu - nieje to ziadny zazrak ale starsie hry to potiahne. Tuto kartu planujem vyuzivat bud vo Windows gaming VM alebo Media server VM, no nie vsak v oboch sucastne. Windows gaming VM bude vyuzivana naozaj len obcas. Zaroven je to jedina karta ktoru mam k dispozicii a teda sa nejedna o dGPU system. Preto sa zaujimam o moznost robit passtrought tejto VGA do roznych VM podla potreby. VGA na hoste/hypervisore mi chybat nebude a vystacim si s SSH/WEB samozrejme v pripade ze Proxmox bude fungovat nadalej.
Co sa tyka transcode videa tak TV mam LG-55LF630V - FullHD (1920 x 1080 px) takze ak to chapem spravne tak vsetko co je nizse rozlisenie ako 1920 x 1080 px by malo na tejto TV fungovat bez transcode, a to je zrejme vacsina videii ktore planujem streamovat. Zatial vsetko co som spustal na TV z USB mi fungovalo bez problemov, takze je mozne ze transcode mozno ani nebude treba.
Chcel by som ale do buducnosti mat moznost pouzit system ako dGPU, avsak ani v tomto pripade by s najvacsou pravdepodobnostou neboli spustene Windows gaming VM a Media server VM naraz - to by asi vyzadovalo vyssiu investicu aku som ochotny spravit. A ako sa hovori chcem si trosku osahat ako to cele funguje, takze preto by som rad nejaku dosku s vyhladom na moznost 2xGPU passtrought. Na to aby som ale mohol spravit passtrought 2 kariet do nezavislych VM treba mat vhodnu zakladnu dosku ktora ma dve PCIe v roznych IOMMU skupinach, ak som to zle pochopil tak ma prosim opravte.
Pokud tam mas jen iGPU tak to bude hodne drbani se s GPU passthrough, protoze musis hypervisor bootovat jako headless, takze se to bude blbe ladit, pokud nejsi kamarad se seriakem. Ma-li ho tva deska ovsem.
Neplanujem iGPU ale dedikovanu VGA. Viem ze pri APU Ryzenoch je to problem, pri Intel to vraj nejak ide ale kazdopadne je to komplikacia ktora sa da vyriesit lacnejsou dedikovanou kartou, samozrejme za predpokladu ze ma doska spravne IOMMU skupiny. Problem je ale dopatrat sa ku doske ktora ma tieto spravne IOMMU skupiny.
U ostatnich veci - samozrejme taky muzes udelat 1:1 virtualni disk k nativnimu, ale moc jako passthrough to nepocitam - to by bylo az bys mel nejaky extra sata radic (jinej nez na hypervisor) ktery muzes predat do VM jiz jako PCIe device.
Ako je to potom s vykonom pri takomto rieseni? A pouzivas aj nejake vacsie obrazy diskov? Napr v mojom pripade si celkom neviem predstavit pouzit NAS VM inac nez ako passtrought. To by som mal na disku obrovsky obraz virtualneho PC v ktorom by som mal data? Alternativu vidim v tom ako to popisujes a teda ze to vyriesit uz rovno na urovni host/hypervisor.
Osobne me to prijde ponekud overengineered (ale chapu ze si lidi potrebuji hrat a ucit se necemu novemu), a tlak na vykon je na spatnem miste - napr. NAS node bude stejne mit jen GbE konektivitu (doufam ze nejedes wifi only) a tech 1GbE ti saturuje i raid nad hodne vrstvama virtualizace - jediny problem bude ve spotrebe, a ze namisto 10% cpu bude zatez 60% (ilustrativne!).
Wifi urcite nie. Skor si chcem nechat moznost dokupenia dalsej PCIe sietovej karty prave koli spominanemu sietovemu bottlenecku.
Ano virtualizacia je urcite overhead navyse. Ale pokial viem tak KVM ma cca 95%-98% vykonu nativneho zeleza, takze z toho tak nejak usudzujem ze by to nemuselo zabijat CPU a zrat elektrinu.
Holt to zacni zkouset nejak poskladat - nemyslim si ze tohle (kvuli rozsahu/pozadavkum) jde udelat na prvni dobrou a bude to na nekolik predelavani.. pokud si dokazes udelat nejake metriky a replikovat mereni (treba prenos dat vs. utilizace resp. spotreba), tak se muzes dooptimalizovat casem k dobremu reseni.
S tym tak nejak pocitam ze to nedam na prvy krat, skor mi ide o to zacat zo spraveho konca a nezarubat si cestu pripadnym upgradom a zmenam, preto som vdacny za kazdy nazor.
Co me tam chybi jeste je pak ondemand rizeni nejakych priorit - napr. "game mode" da vsechny VM krome te s grafikou do "nice" priority, ze dostanou pridel az kdyby nebylo co delat.
Toto by bolo urcite zaujimave a zistim ake ma Proxmox moznosti, prip si necham poradit ako to riesia ostatni. Kazdopadne Windows Gaming VM bude urcena skor na obcasne pouzivnie, nepotrebujem ju mat sartnutu 24/7 ale len ked chcem zahrat nejaku starsiu pecku. Prave koli tomuto ma zaujima moznost zdielat jednu passtrought GPU medzi roznymi VM tak ze jednu VM stopnem a startnem inu VM kde mozem vyuzit danu GPU (1. stop Media Server VM, 2. strart Windows Gaming VM, 3. zahrat hru, 4. stop Windows Gaming VM, 5. start Media Server VM).
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
SPICY umoznuje remote management este pred startom VM (teda vidim tam post, grub atd) a teda je to riesene nejak tak ze ani nepotrebujem mat vo VM nejaku dedikovanu aplikaciu? Je to nejako vyrazne pomalsie napr oproti sominanemu RDP?
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
Co sa tyka FS/raid/lvm tak toto zvazujem ako by bolo najlepsie. Pokial by som urobil passtrought a nastavil to v NAS VM tak si myslim ze stale zostava moznost pripojit tieto disky do host/hypervisor nakolko by to mal byt plnohonotny RAID nad celym diskom a nie nad imageom. Benefit vidim mozno v tom ze NAS VM nemusi vidiet ine disky nez tie nad ktorymi ma spravit RAID. Na druhej strane ako tu uz bolo spominane treba na to nejaky radic ktory mozem passtrought do VM.
Nema s tym niekto skusenosti ako je tomu pri Ryzenoch a ci je mozne mat SATA pre host/hypervisor a ine SATA pre konkretnu VM? Predpokladam ze to je opat zalezitostou IOMMU skupin.
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.
To som rad :)
Nemusíš na vše mít jako VM na některé věci ti stačí kontejner.
VM jsou jako opravdové samostatné počítače, můžeš mount co chceš.
CT (kontejnery) mohou mount jen svazky připojené k samotnému Proxmox, to může být omezující.
Ano tak nejak som tomu pochopil
Passthrough bych se snažil spíš omezit, to nepoužívám - může být obtížnější nastavit a provozovat. Pro připojení 1GBps síťovkou nebude určitě připojení disků skrz Proxmox vůbec vadit.
Mas na mysli passtrought ak spravne chapem?
Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.
Skor som uvazoval nad BTRFS koli absencii ECC. ECC neriesim momentalne pre to ze si este viac zuzim moznosti na vyber zakladnej dosky ktora ma aj dobre IOMMU skupiny a aj ECC. Moznoze IOMMU precenujem a nechapem tomu celkom spravne takze si rad necham poradit.
Pro transkodování na PLEX potřebuješ výkonný CPU nebo akceleraci GPU.
Primarny use case je strem videa na full HD TV, mozno obcas mobil/tablet.
Uvaž opravdový serverový HW, já mam Xeon e3-1270v2 + 16GB ECC RAM, to je myslím reálné minimum. Tato konfigurace zvládne 1 video stream z 4k na FullHD, více ne.
Intel Xeon E3-1270 V2 @ 3.50GHz - passmark score: 6552
AMD Ryzen 5 3600 - passmark score: 17860
Chapem ze passmark je X parametrov CPU zhustenych do jedneho. Ale uvadzam to na porovnanie. Musim brat ohlad aj na spotrebu a hlucnost. Vyhodu v Xeone vidim v HW transcode videa, ale alebo mi este nieco unika?
Asi budeš mít problém s uspáváním disků.
Myslis pri pass trought? Preco je to problem, pouzivas uspavanie resp SMART?
- zapomeň na ZFS a freeNAS. Je to velmi pomalé, zřejmě to má nějaký problém s nenativním diskem
Ja by som rad HDD passtrought do NAS VM potom by to uz malo byt nativne, ci? A skor ako ZFS davam prednost BTRFS, koli nizsim HW narokom.
- obecně dobré NAS VM řešení je docela problém, optimální cestu jsem zatím nanašel, obecně mám problém oproti nativním s rychlostí
Bavime sa stale o passtrought HDD ked spravne chapem? Ja som zil v tom ze ked je to passtrought tak je to vykon blizky nativnemu na 95%-98%. Nemoze to byt dane napr aj architekturou zakladnej dosky (mam na mysli ci je SATA radic skutocne v PCIe 8x alebo len v PCIe ktora sa tvari ako 8x ale to 2x ?)
- spindown disků při pass nefunguje
Hmm uz to tu bolo spomenute .... ma vobec spindown zmysel pri HDD pre NAS z pohladu setrenia zivotnosti alebo je to skor o setreni energie?
- pro pci pass je trocho problém s HW, protože poměrně nečekaně to na mnoha platformách (třeba HP server gen 8) nemusí fungovat dobře. Naopak mám třeba levnou desktopovou sesku a coffe lake CPU, kde mi jedou 4 karty....
Co som sa zatial docital tak s 1 VGA by vraj byt problem nemal, s 2 to uz moze byt problem, tiez tu bolo spomenute ze je problem u notebookov. Intel ma zrejme v tomto navrch oproti AMD.
- jak budeš přenášet obraz z pci pass karet? Optimum je na tu kartu mít asi fyzický monitor
Ano tak, resp som na to chcel napojit spominanu TV a hrat sa prilezitostne na nej.
- bude to žrát, počítej klidně 100W ILDE, PM v těchto konfuguracích není nic moc
Toto som pravdupovediac nikdy nepochopil podla coho sa to da vyratat (ak sa vobec da). Cital som niekde ze AM4 ma max 142W limit, PCIe 75w, plus nejake disky doska atd to mi vychadza max na 300W ale nikto neodporuca na takuto zostavu 300W zdroj ale to je asi tema na ine vlakno.
- serverový HW je na to lepší, ale žere a je hlučný....
Stretol som sa sa uz s tymto nazorom. No nikdy som nepochopil ze preco konkretne je lepsi server hardware? Ma to byt home server takze mi netreba nejaky hot(swap|plug|spare) a prezijem aj downtime. Zato vsak hlucnost, sporeba a to ze to nemam kam ulozit ked nemam rack je dost problem.
-ad pokud budeš mít nVidia, je problém odlišit, zda GPU nefunguje kuli problému s pcie pass a nebo detekci VM v nVidia driverech (ale to se dá v proxmoxu obejít. Doporučuji ale nejpve otestovat pass na nějakém bezproblémovějším hw)
Tusim z ohoto dovodu sa robia tie dumpy vBIOSu o ktorych som pisal v otazke resp v Proxmoxe som tusim videl ze to ide obist cez nejake parametre virtualky (ak hovorime o tom istom?)
Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.
FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.
Ako som spominal najradsej by som BTRFS koli mensim narokom na HW voci ZFS + passthrough disky, neviem ci je to to iste ako tebou zmienena virtualizacia ZFS? Vies prosim o nejakom zdroji kde sa pojednava o takomto "narocnom" HW setupe - 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM) - celkom ma to zaujima.
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
Tusim som kdesi cital ze v pripade ze je USB v IOMMU v skupine spolu s inymi zariadeniami pre ktore nechcem robit passtrought tak je moznost nejakeho virtualneho USB a tam to potom ide? Ak taram oprav ma prosim, resp tebou spominane riesenie cez evdev dovoluje aj nieco taketo?
Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.
Kontainerom sa vobec nebranim
PS: opat velka vdaka vytrvalcom co to docitali :)
-
Tady se musím připojit k názoru. ZFS ve virtualizaci nemá moc smysl, resp. jedině tam, kde se hodí jeho snapshoty výměnou za pokles výkonu. ZFS má smysl na bare metal, kde se o disky nedělí s ničím jiným, jinak to nejde vyladit a výsledek je katastrofa. Obecně lze říct, že aby se výhody ZFS projevily, je potřeba mít 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM). V případě FreeNAS je ještě potřeba další disk na samotný systém.
FreeNAS je navíc potřeba velmi pracně naladit, přes parametry v loader.conf, rc.conf a sysctl.conf. Jakkoliv je to prakticky stejný systém, co používá iXsystems v komerčních produktech, jejich know how tkví v tom, že to mají sladěné, aby to fungovalo správně. Ve free verzi na tom zabijete dlouhé večery a ve virtualizaci je to nesmysl na druhou.
Ako som spominal najradsej by som BTRFS koli mensim narokom na HW voci ZFS + passthrough disky, neviem ci je to to iste ako tebou zmienena virtualizacia ZFS? Vies prosim o nejakom zdroji kde sa pojednava o takomto "narocnom" HW setupe - 4 rotační disky + 2 SSD + hafo RAM (pokud potřebujete deduplikaci, tak desetkrát hafo RAM) - celkom ma to zaujima.
S btrfs nemám prakticky žádné zkušenosti, protože mu chybějí (nebo jsou nespolehlivé) právě ty funkčnosti, které já hledám.
Co se týče ZFS, materiálů je hodně - jak kolem OpenZFS, tak kolem BSD+ZFS, tak i kolem FreeNAS, i na Oraclu k původnímu ZFS. Bohužel, nikde nejsou moc "hotové" rady, spíš informace, co jak funguje, co jaký parametr ovlivňuje. Z toho si to musí každý složit sám. Co jsem pochopil, tak ZFS nikdy nepoužívala laická veřejnost (kanón na vrabce), takže v diskusích jsou informace kusé a někdy i špatné. Ti, co to nasazují do enterprise, se zase neexhibují v diskusích. Oracle dřív i iXsystems dnes nemají důvod pouštět svoje know how :(.
-
Na to aby som ale mohol spravit passtrought 2 kariet do nezavislych VM treba mat vhodnu zakladnu dosku ktora ma dve PCIe v roznych IOMMU skupinach, ak som to zle pochopil tak ma prosim opravte.
O PCIe (po příkazu lspcie se vypisuje jako "PCI bridge") ani tak nejde. Pokud bys měl základovku bez GPU karty, tak nepoznáš jestli bude případná zapojená GPU v samostatné skupině. Proto je potřeba hledat na netu success stories. Pokud není GPU+Audio v samostatné skupině, tak se to dá často obejít ACS patchem.
6. V pripade ze chem pouzit aj mysku a klavesnicu v danej VM potrebujem spravit aj USB passtrought?
A: USB pass je jedna varianta, asi nejjednodušší a zároveň nevytváří latenci což je u her důležité. Někdo požitá Synergy, tam bych se latence ve hrách už trošku obával. Mně vyhovuje další způsob a to pomocí evdev: https://www.reddit.com/r/VFIO/comments/7hjhsj/evdev_passthrough_mouse_not_reacting_to_hotkey/
Tusim som kdesi cital ze v pripade ze je USB v IOMMU v skupine spolu s inymi zariadeniami pre ktore nechcem robit passtrought tak je moznost nejakeho virtualneho USB a tam to potom ide? Ak taram oprav ma prosim, resp tebou spominane riesenie cez evdev dovoluje aj nieco taketo?
USB pass a VGA/PCI pass nemá spolu nic společného. U USB pass se neřeší žádné IOMMU Groups. Pouze pokud bys do VM chtěl předat celý USB řadič, tak to je PCI pass, ale to asi dělat nebudeš. S USB pass klávesnice a myši problém není. Nevím co myslíš virtuálním USB. VM je složená z virtuálních zařízení a jeden z nich je "virtuální USB řadič" na který se následně připojí passthrougnuté (fyzické) USB zařízení. Moje řešení pomocí evdev má tu výhodu, že si klávesnici a myš přehazuji klávesovou zkratkou mezi hostem a hostitelem. U USB pass je přehazování mezi hostem a hostitelem zdlouhavější (musíš nějakou tu sekundu čekat než se objeví v hostu nebo hostiteli).
Nic moc. Záleží kolik chceš mít zároveň spuštěných jiných VM, každá VM ubírá CPU, takže kdybys měl dobrou GPU pro VGA pass, tak by se ti mohlo stát, že CPU bude úzké hrdlo. Navíc každá VM si ukousne pevně danou RAM, takže jak ti už někdo radil je na zváženou jestli raději nepoužít kontejnery.
Kontainerom sa vobec nebranim
Tak pokud budeš hlavním uživatelem toho celého serveru a budeš mít zapínání a vypínání VM pod kontrolou, tak to by mělo být celkem v pohodě i s tím Ryzenem. Myslel jsem na začátku, že to bude vytížený stroj na který se bude připojovat více klientů. Pokud budeš hlavní uživatel, tak bych se v této fázi ani netrápil "gaming módem". V rámci tunningu výkonu můžeš později použít třeba CPU pinning, kdy dané VM "připneš" konkrétní jádra v CPU, nebo HugePages, ale to si nech až nakonec, to jsou až třešničky na dortu :)
-
PS: nejedu proxmox, ale obycejne qemu/kvm, a do VM koukam skrze RDP, pripadne spicy klienta - kdyz vm nebootuje dobre. FS/raid/lvm resim uz v hypervisoru.
SPICY umoznuje remote management este pred startom VM (teda vidim tam post, grub atd) a teda je to riesene nejak tak ze ani nepotrebujem mat vo VM nejaku dedikovanu aplikaciu? Je to nejako vyrazne pomalsie napr oproti sominanemu RDP?
Tak ono to funguje podobne jako hw IP KVM (napr. ASPEED BMC) reseni - mas pristup k UI od VM (klavesnice/video), takze se to hodi napr. na instalaci OS. Mozna nekdy i pro pouzivani, ale k tomu me prijde uz lepsi to RDP (jedu tam stary office napr.). Mozna to ale souvisi s tim, ze VM mi bezi na jinem zeleze (serveru), nez moje uzivatelske rozhrani odkud to spravuji, takze to SPICY me prislo jako nejsnazsi cesta, jak to ovladat se vsim vsudy. Vetsinou tim resim ruzne - proc to nebootuje - stavy a pak kdyz uz je VM up, tak skrze ssh to neni problem ovladat, ze jo.
Ohledne ECC a server hw - myslim ze pocituji za ta leta znatelnou vyssi stabilitu u serveroveho zeleza, a vlastne samovolne restarty se tam nekonaji, na rozdil od desktopovych/consumer reseni. Kdyz mas jedno PC, a takovy incident se stane jednou za rok, tak to ignorujes, ale pokud jedes rekneme 12 systemu a restart se pak kona s cetnosti jednou za mesic.. te to zacne samozrejme stvat. Nemam jasny dukaz ze za to muze ECC nebo Xeon - je to porad jenom subjektivni pocit.
Osobne jsem na ECC systemy presel postupne.. stejne tak jak se zelezo zmigrovalo do 19" rack systemu, casem poresila UPS, PDU, backup, VLANy a jine "vyssi divci". Postune k tomu mozna dospejes, nebo budes mit stesti ze te nestesti nepotka.
-
Všechno co chceš v Proxmoxu jde. Sam ho používám podobně.
Chcel som sa este opytat co je potrebne pre to aby mohli ostatne PC na lokalne sieti komunikovat s pfSense resp Pi-hole? Predpokladam ze exisuje nejaka moznost ako je tomu napr pri VirtualBoxe ze ma bridge mode, alebo nejaky virtualny interface s viacerymi IP alebo dake reverse proxy a pod? Pytam sa to koli tomu ci nieje nahoodu nutne robit nejake passtrought sialenosti so sietovou kartou a tym padom je clovek opat limitovany tym co mu IOMMU skupiny dovolia - ale pevne verim ze nie, len si to chcem potvrdit.
Pokud použiješ ZFS, tak pozor na paměť 1TB disku potřebuje 1GB RAM, já mám vše na ext4. Na doma mi to stačí.
Toto mas na host/hypervisor alebo je na to startnuta dedikovana CT/VM ktora to spravuje?
A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.
Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.
A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28
Co som zatial cital tak viem ze s passtrought 1 GPU prakticky niesu problemy, tak ako popisujes. Uvazujem vsak este o jednej karte ktora by bola len pre host/hypervisor a nerobil by som passtrought. Na zaciatok ozaj len nieco co ma HDMI aby to pomohlo pri nastavovani, neskor mozno nieco co zvladne NVENC a NVDEC, takto by mohol na hoste/hypervisore bezat v kontajnery jellyfin ktory vyuzije HW.
Neviem vsak ci je takyto setup (dGPU kde jedna je passtrought do VM a druha je urcena pre host/hypervisor) tiez vo vacsine pripadov bez problemov alebo tam plati to iste co pri dGPU kde pre obe VGA robim passtrought?
Tiez by som zobral este aspon 1 sietovu kartu (ak mi tam ma bezat pfSense nech ma tato masina WAN a LAN) prip tiez SATA kartu pre viac diskov. A neviem ci aj toto ma dosah na IOMMU a s tym spojene problemy a ci si v pripade dosky ktora tento setup neumoznuje nezarubem cestu?
Dakujem
-
Chcel som sa este opytat co je potrebne pre to aby mohli ostatne PC na lokalne sieti komunikovat s pfSense resp Pi-hole? Predpokladam ze exisuje nejaka moznost ako je tomu napr pri VirtualBoxe ze ma bridge mode, alebo nejaky virtualny interface s viacerymi IP alebo dake reverse proxy a pod? Pytam sa to koli tomu ci nieje nahoodu nutne robit nejake passtrought sialenosti so sietovou kartou a tym padom je clovek opat limitovany tym co mu IOMMU skupiny dovolia - ale pevne verim ze nie, len si to chcem potvrdit.
Proxmox by default vyrobí bridge (vmbr), nastaví fyzické sieťové rozhranie ako jeho slave a na tento bridge potom vešia jednotlivé virtuálky. Tento bridge môžeš urobiť aj VLAN-aware, ak to potrebuješ (napr. ak by si chcel mať router on a stick ;) ). Pokiaľ sa chceš pohrať ešte viac, Proxmox podporuje openvswitch.
V skratke: áno, virtuálky sú v rovnakej sieti, ako beží host s proxmoxom.
Toto mas na host/hypervisor alebo je na to startnuta dedikovana CT/VM ktora to spravuje?
To je v tom systéme, ktorý má pripojený ZFS pool. Ono tu RAM ani nepotrebuješ, pokiaľ nezapneš deduplication. Dedup totiž funguje tak, že si pamätá checksumy zapísaných blokov a pokiaľ pri zápise zistí, že taký už niekde na disku má, tak iba urobí reflink.
No a tie checksumy niečo zaberajú.
Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.
Môže, ale...
Pokiaľ je backing store virtuálneho disku blokové zariadenie (logical volume pri LVM, zvol (bez kompresie!) pri ZFS, alebo raw partition), tak výkon je v poriadku. Pokiaľ je to qcow2 súbor vo filesystéme, tak ten výkon už nemusí byť, pretože ideš cez jednu extra vrstvu.
Raw disky s radičom je treba len pre virtuálky, ktoré chceš použiť ako NAS. Ide o to, aby software v NAS VM mal presný prehľad, v akom stave sa nachádza fyzicky hw, od TRIM a SMART reporting po presné chybové hlášky v prípade vadných sektorov, výpadku disku z poľa alebo inej udalosti, od ktorej virtuálny hardware abstrahuje.
-
A: Rozdíl mezi virtuálním a passthroughnutým diskem při gamingu nepoznáš. Akorát pozor při kombinaci FS, který je copy-on-write a virtuálního disku. Při každé změně souboru (ve kterém je image disku) dokází k velké fragmentaci: https://www.reddit.com/r/btrfs/comments/5p3p5d/why_isnt_btrfs_recommended_for_kvm/ . Řešením je vypnutí COW pro adresář ve kterém se nacházi image disku.
Toto ma celkom prekvapilo lebo je do podla mna v kontraste s tym co hovoria ostatni diskutujuci ohladom virtualizacie diskov. Mam tomu chapat tak ze aj ked Windows bude bezat z obrazu disku tak bude bezat plus minus rovnako ako keby bol nainstalovany priamo na SSD? Samozrejme za predpokladu ze bezi len ten Windows a nie dalsich X virtualov co citaju/zapisuju na ten disk kde ma Windows obraz.
Jsem přesvědčený, že v reálu nepoznáš rozdíl mezi tím když jsou data nainstalována v obrazu disku na SSD nebo přímo na SSD. Takové věci má smysl řešit pokud bys provozoval databázovou VM, kde je důležité každé vytunění výkonu při čtení/zápisu na disk, ale u VM s Windowsem užívaný jako desktop na práci nebo pro gaming není důvod se tím zatěžovat. Když máš celé SSD vyhrazené jen pro Windows, tak je to zbytečné plýtvání volným místem. Naopak když necháš SSD hostiteli (Proxmoxu), tak může volné místo využít Proxmox a celá VM je uložená jen jako jeden soubor (qcow2 nebo raw) a je to i jednodušší na migraci.
A: Asi tady není prostor to všechno rozebrat, ale řeknu to jednoduše. Na desktopu není problém (kromě výjímečných případů) pokud máš GPU v samostatné IOMMU skupině. V případně, že je ve skupině navíc jen PCI bridge, tak i tak by to mělo bez problémů fungovat (což je i můj případ). Problémy jsou hlavně u notebooků - https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28
Neviem vsak ci je takyto setup (dGPU kde jedna je passtrought do VM a druha je urcena pre host/hypervisor) tiez vo vacsine pripadov bez problemov alebo tam plati to iste co pri dGPU kde pre obe VGA robim passtrought?
Tiez by som zobral este aspon 1 sietovu kartu (ak mi tam ma bezat pfSense nech ma tato masina WAN a LAN) prip tiez SATA kartu pre viac diskov. A neviem ci aj toto ma dosah na IOMMU a s tym spojene problemy a ci si v pripade dosky ktora tento setup neumoznuje nezarubem cestu?
U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.
-
U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.
Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:
IOMMU Group 0:
00:01.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 1:
00:01.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 10:
00:08.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 11:
00:08.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 12:
00:08.2 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 13:
00:08.3 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 14:
00:14.0 SMBus [0c05]: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller [1022:790b] (rev 61)
00:14.3 ISA bridge [0601]: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge [1022:790e] (rev 51)
IOMMU Group 15:
00:18.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 0 [1022:1440]
00:18.1 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 1 [1022:1441]
00:18.2 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 2 [1022:1442]
00:18.3 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 3 [1022:1443]
00:18.4 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 4 [1022:1444]
00:18.5 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 5 [1022:1445]
00:18.6 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 6 [1022:1446]
00:18.7 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 7 [1022:1447]
IOMMU Group 16:
01:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961 [144d:a804]
IOMMU Group 17:
02:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57ad]
IOMMU Group 18:
03:01.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 19:
03:02.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 2:
00:01.2 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 20:
03:04.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 21:
03:08.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
07:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP [1022:1485]
07:00.1 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
07:00.3 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
IOMMU Group 22:
03:09.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
08:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 23:
03:0a.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
09:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 24:
04:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM951/PM951 [144d:a802] (rev 01)
IOMMU Group 25:
05:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Baffin [Radeon RX 460/560D / Pro 450/455/460/555/555X/560/560X] [1002:67ef] (rev cf)
05:00.1 Audio device [0403]: Advanced Micro Devices, Inc. [AMD/ATI] Baffin HDMI/DP Audio [Radeon RX 550 640SP / RX 560/560X] [1002:aae0]
IOMMU Group 26:
06:00.0 Ethernet controller [0200]: Intel Corporation I211 Gigabit Network Connection [8086:1539] (rev 03)
IOMMU Group 27:
0a:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD/ATI] Device [1002:1478] (rev c1)
IOMMU Group 28:
0b:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD/ATI] Device [1002:1479]
IOMMU Group 29:
0c:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 [Radeon RX 5700 / 5700 XT] [1002:731f] (rev c1)
IOMMU Group 3:
00:02.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 30:
0c:00.1 Audio device [0403]: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 HDMI Audio [1002:ab38]
IOMMU Group 31:
0d:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Function [1022:148a]
IOMMU Group 32:
0e:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP [1022:1485]
IOMMU Group 33:
0e:00.1 Encryption controller [1080]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Cryptographic Coprocessor PSPCPP [1022:1486]
IOMMU Group 34:
0e:00.3 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
IOMMU Group 35:
0e:00.4 Audio device [0403]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse HD Audio Controller [1022:1487]
IOMMU Group 36:
0f:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 37:
10:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 4:
00:03.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 5:
00:03.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 6:
00:04.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 7:
00:05.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 8:
00:07.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 9:
00:07.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
chapem tomu tak ze tam ma skupiny 25 a 29 a kazda tato skupina obsahuje len jednu kartu a nic ine. Teda passtrought by podla mna mal byt mozny bez akychkolvek problemov. Zaroven tam ale pise ze ma v BIOSe zapnute (okrem ineho) ACS. Znamena to teda ze aj Linux jadro musi ACS podporovat?
Cital som este ze tato doska ma na CPU priamo pripojeny len 1 PCIe slot (zvysne ma teda cez chipset, dobre tomu chapem?) a ze toto tiez moze byt z nejakeho dovodu problem, len mi nejako nedochadza ze preco (napr koli tomu ze to vychadza nejako z architektury ryzenov kde na chipset zostave menej lanes na PCI a teda moze byt mensia rychlost?).
-
Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:
Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png (https://pasteboard.co/JHerTVJ.png)
(https://pasteboard.co/7bd67026-2d30-45e3-8b52-80f14035d407)
GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?
-
U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.
chapem tomu tak ze tam ma skupiny 25 a 29 a kazda tato skupina obsahuje len jednu kartu a nic ine. Teda passtrought by podla mna mal byt mozny bez akychkolvek problemov. Zaroven tam ale pise ze ma v BIOSe zapnute (okrem ineho) ACS. Znamena to teda ze aj Linux jadro musi ACS podporovat?
Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu (https://aur.archlinux.org/pkgbase/linux-vfio/) je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.
Cital som este ze tato doska ma na CPU priamo pripojeny len 1 PCIe slot (zvysne ma teda cez chipset, dobre tomu chapem?) a ze toto tiez moze byt z nejakeho dovodu problem, len mi nejako nedochadza ze preco (napr koli tomu ze to vychadza nejako z architektury ryzenov kde na chipset zostave menej lanes na PCI a teda moze byt mensia rychlost?).
Tak v tom případě to bude stejné jako jsem popisoval u Intelu: do CPU je napojena PCIe x16 a když použiješ 2 GPU x8+x8, tak obě GPU budou ve stejné skupině. U obyčejných desktopových CPU je omezený počet linek, proto jsou s tím takové problémy. Např. u Xeonů E5 kde je dostatek linek do CPU problém není, ale to je také dost dražší řešení.
-
Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:
Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png (https://pasteboard.co/JHerTVJ.png)
(https://pasteboard.co/7bd67026-2d30-45e3-8b52-80f14035d407)
GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?
Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.
-
... podle tohoto (https://www.reddit.com/r/VFIO/comments/e97wl2/full_iommu_groups_for_aorus_x570_i_aorus_pro_wifi/) se zdá, že 2 GPU opravdu budou ve dvou skupinách.
-
Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?
ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza
-
Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?
ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza
a zaroven to znamena ze tam uz nic ine nepripojim?
resp obe karty su PCI Express 3.0 x16 doska je pcie 4.0 tak neviem ci aj toto ma na to vplyv
-
Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:
Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png (https://pasteboard.co/JHerTVJ.png)
(https://pasteboard.co/7bd67026-2d30-45e3-8b52-80f14035d407)
GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?
Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.
NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).
Toto je zcela normalni reseni, ktere uz existuje snad deset let, ze ma cpu 16 PEG linek, ktere lze rozdelit na 8+8, a deska tu pulku jenom pasivnim prepinacem (muxem) predratuje do druheho slotu (tomu nekdo rika "sdileni linek mezi sloty"). Pozdejsi cpu meli jeste moznost 8+4+4, pro trislotove workstation desky (tedy slotu tam bylo vice, pac neco jede z chipsetu, typicky treti/ctvrte x4)
-
Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?
ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza
a zaroven to znamena ze tam uz nic ine nepripojim?
resp obe karty su PCI Express 3.0 x16 doska je pcie 4.0 tak neviem ci aj toto ma na to vplyv
24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.
PCIe se ti automaticky "prizpusobi" - tj. kdyz jedna strana umi jen 3.0, tak to pojede nanejvys v te rychlosti. A sirkou to bude taky automagicke - kdyz obe karty osadis, kazde deska posle pulku (8+8) linek. Ta "dvojslotova" deska totiz umi jen rezimy 16+0 a 8+8, mezi kteryma prepina podle existence karty ve slotu oznacenem PCIEX8.
Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).
-
Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:
Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png (https://pasteboard.co/JHerTVJ.png)
(https://pasteboard.co/7bd67026-2d30-45e3-8b52-80f14035d407)
GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?
Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.
NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).
Máš pravdu. Nevšiml jsem si, že ta hvězdička se vztahuje i na 3rd Ryzeny.
Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware (https://www.svethardware.cz/rtx-3080-a-skalovani-vykonu-s-propustnosti-pcie/53096), tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).
-
Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware (https://www.svethardware.cz/rtx-3080-a-skalovani-vykonu-s-propustnosti-pcie/53096), tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný.
Tak u AMD CPU + NV3000 je sance to rozjet v Gen4, takze kazda karta ma pasmo jako Gen3x16 - coz je rozhodne lepsi nez Intel (vcetne entry level 2011/2066 s 28 pcie, snad az drazsi 40 linkove kousky jsou k tomuto obstojnym ekvivalentem, pak muze mit deska dva plne x16 sloty).
Nevim ale zda to Gen4 budou umoznovat ty muxovane sloty - zda to pak neskonci na tom, ze primo pripojena bude Gen4 (prvni grafika a NVMe) a ta sekundarni jen Gen3, kvuli muxum... stejne jak to bylo v dobe prechodu Gen2/Gen3, kdy se pak vyrobci chlubili i osazenim schopnejsich prepinacu :)
-
Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware (https://www.svethardware.cz/rtx-3080-a-skalovani-vykonu-s-propustnosti-pcie/53096), tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný.
Tak u AMD CPU + NV3000 je sance to rozjet v Gen4, takze kazda karta ma pasmo jako Gen3x16 - coz je rozhodne lepsi nez Intel (vcetne entry level 2011/2066 s 28 pcie, snad az drazsi 40 linkove kousky jsou k tomuto obstojnym ekvivalentem, pak muze mit deska dva plne x16 sloty).
Nevim ale zda to Gen4 budou umoznovat ty muxovane sloty - zda to pak neskonci na tom, ze primo pripojena bude Gen4 (prvni grafika a NVMe) a ta sekundarni jen Gen3, kvuli muxum... stejne jak to bylo v dobe prechodu Gen2/Gen3, kdy se pak vyrobci chlubili i osazenim schopnejsich prepinacu :)
Vlastně jo, pořád zapomínám, že tu máme už PCIe Gen4 :). To by stálo za to prozkoumat jak je to s přepínáním Gen3/Gen4 u sekundárního slotu, další námět pro Wakatana na co se při výběru desky zaměřit :), ale jelikož se v manuálu X570 AORUS PRO píše:
3rd Generation AMD Ryzen™ processors:
-1 x PCI Express x16 slot, supporting PCIe 4.0 and running at x16 (PCIEX16)
-1 x PCI Express x16 slot, supporting PCIe 4.0 and running at x8 (PCIEX8
Tak by i sekundární měla jet jako Gen4
-
... podle tohoto (https://www.reddit.com/r/VFIO/comments/e97wl2/full_iommu_groups_for_aorus_x570_i_aorus_pro_wifi/) se zdá, že 2 GPU opravdu budou ve dvou skupinách.
To je vpodstate to iste co som poslal, alebo je tam nejaka nova informacia?
Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu (https://aur.archlinux.org/pkgbase/linux-vfio/) je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.
A aky je rozdiel medzi pouzitim ACS v BIOSe a pouzitim ACS patch? Chapem to tak ze ak mam moznost zapnut ACS v BIOSe tak potom nepotrebujem ACS patch, a dokonca by to malo byt aj bezpecne, alebo sa mylim?
Aky je vlastne problem s pouzitim ACS (okrem potencionalny VS escape security problemov ktore to prinasa vid https://www.reddit.com/r/VFIO/comments/bvif8d/official_reason_why_acs_override_patch_is_not_in/ resp https://www.reddit.com/r/VFIO/comments/9jer5r/acs_patch_risk/) Chapal som to povodne tak ze ked vsetko ostatne zlyha tak ACS by malo fungovat v 99% pripadov, avsak v druhom odkaze sa pise ze ani ACS nieje uplne idealna izolacia a je tam aj problem so stabilitou. Takze na ACS (ci uz je v BIOSe alebo patch) sa neoplati spoliehat?
Taktiez mi to vychadza tak ze nestaci ze BIOS ma moznost zapnut ACS, je k tomu treba mat aj spravnu verziu BIOSu aby vznikli "spravne" IOMMU skupiny (vid predosle posty kde bolo skusanych niekolko verzii BIOSu).
Podla tohoto by Proxmox mal mat uz ACS
https://www.reddit.com/r/Proxmox/comments/cagusq/current_state_of_pci_passthrough_acs_patch/
NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).
Toto je zcela normalni reseni, ktere uz existuje snad deset let, ze ma cpu 16 PEG linek, ktere lze rozdelit na 8+8, a deska tu pulku jenom pasivnim prepinacem (muxem) predratuje do druheho slotu (tomu nekdo rika "sdileni linek mezi sloty"). Pozdejsi cpu meli jeste moznost 8+4+4, pro trislotove workstation desky (tedy slotu tam bylo vice, pac neco jede z chipsetu, typicky treti/ctvrte x4)
Toto sa ale bavime o X570 AORUS PRO kde sa pise ze: The PCIEX8 slot shares bandwidth with the PCIEX16 slot. When using the 3rd Generation AMD Ryzen™ processors/2nd Generation AMD Ryzen™ processors and PCIEX8 slot is populated, the PCIEX16 slot operates at up to x8 mode.
nie o X570 AORUS ELITE?
24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.
PCIe se ti automaticky "prizpusobi" - tj. kdyz jedna strana umi jen 3.0, tak to pojede nanejvys v te rychlosti. A sirkou to bude taky automagicke - kdyz obe karty osadis, kazde deska posle pulku (8+8) linek. Ta "dvojslotova" deska totiz umi jen rezimy 16+0 a 8+8, mezi kteryma prepina podle existence karty ve slotu oznacenem PCIEX8.
Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).
Toto sa ale stale bavime o X570 AORUS PRO (vpravo) nie o X570 AORUS ELITE (vlavo) tam nevieme ako to je?
Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware (https://www.svethardware.cz/rtx-3080-a-skalovani-vykonu-s-propustnosti-pcie/53096), tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).
Rozdiel medzi 16x a 8x je zanedbatelny, vid https://www.gamersnexus.net/guides/2488-pci-e-3-x8-vs-x16-performance-impact-on-gpus
GPU ktoru mam je PCIe x16 gen3 takze si myslim ze 8x by jej malo stacit
Neplanujem APU (resp iGPU) riesim otazku aku dosku vziat aby som mohol v pripade potreby zapojit 2xGPU tak ze jedna ostane pre OS/hypervisor + HW akceleraciu videa a druha bude passtrought do VM. Kartu pre OS/hypervisor mozno ani potrebovat nebudem (ale chcel by som mat takuto moznost) v pripade ze video potiahne aj CPU a kldune by som si vystacil aj s jednou kartou na passtrought do VM.
Takze neviem ze ci X570 AORUS ELITE ja na toto dostatocna? Resp najeka ina doska ktora ma okrem PCIe16x aspon PCIe4x ze sa tam da pouzit este aspon sietova karta resp dalsi SATA radic. Neviem vsak ci je to mozne koli tomu co tu uz bolo spomenute
24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.
Lebo ak Ryzen 5 3600 ma pozitelnych 20 lanes tak:
8+8 pouziju 2 GPU
4 pouzije chipset
4 M.2
a skoncil som lebo neni co pouzit na PCIe kam by isla sietova resp SATA karta
Mam z toho hlavu ako tekvica a zacinam uz pomaly chapat preco je serverovy hardware lepsi na taketo veci.
-
24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.
Lebo ak Ryzen 5 3600 ma pozitelnych 20 lanes tak:
8+8 pouziju 2 GPU
4 pouzije chipset
4 M.2
a skoncil som lebo neni co pouzit na PCIe kam by isla sietova resp SATA karta
Mam z toho hlavu ako tekvica a zacinam uz pomaly chapat preco je serverovy hardware lepsi na taketo veci.
Probuh, nekomplikuj to. Chipset ma typicky dalsich 12 az 24 PCIe linek, ktere vedou na ruzne dalsi x1/x2/x4 porty (druha sitovka, wifi, usb3.x radice, firewire, a samozrejme PCIe sloty - typicky tam byva jeden v X4 rezimu a pak jeden nebo vice v x1 rezimu). Pokud se nekde pise "pouzitelnych 20", to znamena ze uz 4 odecetli kvuli chipsetu.
Vzdy se divej na blokovy diagram konkretni desky - co kam vede. Pokud to vyrobce neukazuje, vem jineho vyrobce - zde opravdu neni rozdil, zda budes mit Gigabyte nebo ASUS.
Ohledne rozdilu tabulky vlevo/vpravo, toto ode me jsi prehlednul:
Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).
Pokud na obou doskach je dalsi slot, oznacen napr. PCIEX4 - tak ten vede nejcasteji skrze chipset. Jako neni to uplne idealni, sdilet pasmo skrze chipset, takze AMD odstehovalo alespon jedno x4 NVMe na CPU o par let driv, nez to udelal intel v poslednich/pristich modelech.
Osobne bych sel do vetsi desky, ktera ma ten mux - je to pak univerzalnejsi, kdybys to rozsiroval a nemusis to pak prodavat pod cenu.
Napr. ja mam ASUS P10S-M (kvuli ECC) - https://www.asus.com/Commercial-Servers-Workstations/P10S-M/ - a ta podporuje vsechny kombinace 16/0/0, 8/8/0, 8/4/4 a plus ctvrtej slot je x4 pres chipset. Karty tam jsou osazeny takto: x8:sas-raid/hba, x8:40ge, x0:sas-expander, x4:10ge (je to spis jako NAS, s par VM)
-
... podle tohoto (https://www.reddit.com/r/VFIO/comments/e97wl2/full_iommu_groups_for_aorus_x570_i_aorus_pro_wifi/) se zdá, že 2 GPU opravdu budou ve dvou skupinách.
To je vpodstate to iste co som poslal, alebo je tam nejaka nova informacia?
Aorus X570 I AORUS PRO se zdá pro použítí se 2mi GPU dobrá a mělo by to fungovat i bez ACS, ale bude potřeba šáhnout hlouběji do peněženky - cca 6000 Kč. Pouze se jim v tom odkazu nedařilo předat USB řadič.
Aorus X570 I AORUS ELITE - v ukázce co jsi posílal s biosem f10 (https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37), se zdá, že obě GPU jsou v samostatných skupinách, ale stežuje si tam na dlouhé bootování - 23s (https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/12) než se dostane do Grubu. U ELITE ti pojede druhá GPU přes chipset (viz manuál):
Integrated in the Chipset (PCIEX4/PCIEX1):
- 1 x PCI Express x16 slot, supporting PCIe 4.0/3.0 and running at x4 (PCIEX4)
- 2 x PCI Express x1 slots, supporting PCIe 4.0/3.0
Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu (https://aur.archlinux.org/pkgbase/linux-vfio/) je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.
A aky je rozdiel medzi pouzitim ACS v BIOSe a pouzitim ACS patch? Chapem to tak ze ak mam moznost zapnut ACS v BIOSe tak potom nepotrebujem ACS patch, a dokonca by to malo byt aj bezpecne, alebo sa mylim?
Až teď když jsem se začetl do tvého odkazu jsem zjistil, že AMD má v biosu funkci na zapnutí ACS. To jsem před tím nevěděl. Zřejmě bude mít stejnou funci jako ACS patch kernelu. Takže když zapneš ACS v biosu, tak ACS patch kernelu už potřebovat nebudeš. Jestli je ACS v biosu bezpečnější říct nedokážu, každopádně je to pohodlnější než patchovat jádro (i když v proxmoxu už je asi přednachystané, jak jsi psal níže).
Aky je vlastne problem s pouzitim ACS (okrem potencionalny VS escape security problemov ktore to prinasa vid https://www.reddit.com/r/VFIO/comments/bvif8d/official_reason_why_acs_override_patch_is_not_in/ resp https://www.reddit.com/r/VFIO/comments/9jer5r/acs_patch_risk/) Chapal som to povodne tak ze ked vsetko ostatne zlyha tak ACS by malo fungovat v 99% pripadov, avsak v druhom odkaze sa pise ze ani ACS nieje uplne idealna izolacia a je tam aj problem so stabilitou. Takze na ACS (ci uz je v BIOSe alebo patch) sa neoplati spoliehat?
Musíš to brát tak, že ACS je ohejbák. Řeší nějakou nedokonalou HW konfiguraci, protože se snažíme ušetřit prachy a používáme desktopový levný HW místo abychom si koupili profesionální serverový HW :)
Kdysi jsem četl o případu, že ACS poškodilo data, ale myslím, že to byl velmi ojedinělý případ asi když se pomocí ACS rozdělila skupina ve které byl SATA řadič? Už si nevzpomínám, ale je to už hodně let zpátky, od té doby jsem o takovém případu nečetl.
Taktiez mi to vychadza tak ze nestaci ze BIOS ma moznost zapnut ACS, je k tomu treba mat aj spravnu verziu BIOSu aby vznikli "spravne" IOMMU skupiny (vid predosle posty kde bolo skusanych niekolko verzii BIOSu).
Ano, u AMD se zdá, že to je hodně divoké - různé verze Biosů = různé IOMMU skupiny, ale zase Bios neaktualizuješ každý den, takže u té f10/f11 můžeš zůstat třeba napořád.
Podla tohoto by Proxmox mal mat uz ACS
https://www.reddit.com/r/Proxmox/comments/cagusq/current_state_of_pci_passthrough_acs_patch/
Tak to je dobré, ale pokud máš tu možnost v biosu, tak to stejně nevyužiješ.
Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware (https://www.svethardware.cz/rtx-3080-a-skalovani-vykonu-s-propustnosti-pcie/53096), tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).
Rozdiel medzi 16x a 8x je zanedbatelny, vid https://www.gamersnexus.net/guides/2488-pci-e-3-x8-vs-x16-performance-impact-on-gpus
GPU ktoru mam je PCIe x16 gen3 takze si myslim ze 8x by jej malo stacit
Tak pak asi nebudeš kupovat ELITE. Protože kdybys ji dal do druhého slotu, tak by ti to jelo na x4 gen3 a kdybys ji dal do primárního slotu a jelo by to na x16, tak jakou GPU bys dal do sekundárního slotu? Ještě nějakou starší GPU nebo jen SATA řadič? To si holt musíš rozhodnout sám. Já mám iGPU pro hostitele a Nvidii pro hosta (windows) s možností si ji přehodit do hostitele. Tak jsem to plánoval, tak mi to vyhovuje. Jak to chceš mít ty, musíš rozhodnout ty.
-
Probuh, nekomplikuj to. Chipset ma typicky dalsich 12 az 24 PCIe linek, ktere vedou na ruzne dalsi x1/x2/x4 porty (druha sitovka, wifi, usb3.x radice, firewire, a samozrejme PCIe sloty - typicky tam byva jeden v X4 rezimu a pak jeden nebo vice v x1 rezimu). Pokud se nekde pise "pouzitelnych 20", to znamena ze uz 4 odecetli kvuli chipsetu.
Vzdy se divej na blokovy diagram konkretni desky - co kam vede. Pokud to vyrobce neukazuje, vem jineho vyrobce - zde opravdu neni rozdil, zda budes mit Gigabyte nebo ASUS.
Pardon dobre som myslel ale zle som napisal, zabudol som odcitat 4. Jediny blokovy diagram co som nasiel je ku chipsetu nie ku doske https://www.techpowerup.com/255729/amd-x570-unofficial-platform-diagram-revealed-chipset-puts-out-pcie-gen-4 resp toto https://www.gamersnexus.net/guides/3482-amd-x570-vs-x470-x370-chipset-comparison (tazko povedat co je oficialnejsia verzia)
Na tom prvom je ku chipsetu pripojene toto:
1x PCIex4 4.0
3x PCIEx1 4.0
Ku CPU toto:
PCIe 1x PCIeX16 4.0 (resp 2x PCIeX8 4.0)
Opytam sa teda velmi konkretne, ak by som mal takuto konfiguraciu bude to fungovat aj napriek tomu ze Ryzen 5 3600 ma 20 PCIelanes?
CPU: Ryzen 5 3600
MTB: GIGABYTE X570 AORUS PRO
PCIEX16: GPU urcena pre PCIeX16 3.0
PCIEX8: GPU urcena pre PCIeX16 3.0
PCIEX4: SATA radic urceny pre PCIeX4
PCIEX1_1: Sietova karta urcena do PCIeX1
PCIEX1_2: Sietova karta urcena do PCIeX1
Ako uz bolo spomenute PCIEX16 a PCIEX8 by mali fungovat v rezime x8:
For optimum performance, if only one PCI Express graphics card is to be installed,
be sure to install it in the PCIEX16 slot.
* The PCIEX8 slot shares bandwidth with the PCIEX16 slot. When using the 3rd
Generation AMD Ryzen ™ processors/2nd Generation AMD Ryzen ™ processors, the
PCIEX16 slot operates at up to x8 mode.
To je dokopy 16 lanes (typu PEG) ale ja potrebujem este dalsich 6 (typu GPP) na NIC a SATA (a mam len 4 ked spravne chapem). Je to problem alebo si s tym chipset poradi?
V pripade ze tato doska ma PCIEX16 a PCIEX8 priamo pripojene na CPU tak predpokladam ze nieje mozne usetrit PCIe lanes (pre NIC a SATA) tak ze pouzijem len jednu GPU ale nie v PCIEX16 ale v PCIEX8?
Ak tejto konfiguracii brani pocet PCIe lanes je mozne toto nejako zrealizovat len s pouzitim 1 GPU alebo je nutne mat CPU co ma viac lanes?
Kolko SATA viem k takejto zostave pripojit (v pripade ze doska ma 6x SATA), pytam sa preto lebo vo vyssie spomenutom diagrame je znazorenene ze SATA je prepinanacom spojena s m.2 a ta je spojena s PCIex4 4.0
Alebo to je proste tak ze ku chipsetu mozem priojit prakticky cokolvek na co ma doska konektory a co nieje na priamo spojene s CPU (teda vsetko okrem PCIEX16 a PCIEX8) a chipset to vsetko prepoji s CPU po PCIeX4 4.0?
Jednoducho sa z toho neviem vysomarit lebo niekde sa udava ze AMD Ryzen 5 3600 ma 20 lanes ale tu sa napr udava ze AMD Ryzen 5 3600X ma 16+4+4
https://www.kitguru.net/components/cpu/luke-hill/amd-ryzen-5-3600x-6c12t-cpu-review/
je to sice pre AMD Ryzen 5 3600X a nie pre AMD Ryzen 5 3600 ale ta by sa zasa mala lisit len taktom
https://www.techspot.com/article/1880-ryzen-3600x-vs-3600/
Dakujem velmi pekne
-
Kolko SATA viem k takejto zostave pripojit (v pripade ze doska ma 6x SATA), pytam sa preto lebo vo vyssie spomenutom diagrame je znazorenene ze SATA je prepinanacom spojena s m.2 a ta je spojena s PCIex4 4.0
Alebo to je proste tak ze ku chipsetu mozem priojit prakticky cokolvek na co ma doska konektory a co nieje na priamo spojene s CPU (teda vsetko okrem PCIEX16 a PCIEX8) a chipset to vsetko prepoji s CPU po PCIeX4 4.0?
Radeji cti specifikaci konkretni desky:
https://www.gigabyte.com/Motherboard/X570-AORUS-PRO-rev-10/sp#sp
(pripadne manual), kde se o zadnem omezovani SATA portu nebo X4 slotu nepise v souvislosti s druhym M2. Ono totiz X570 ma 8 sata portu, takze zbyde dost pro 6 klasickych a 1 pro sekundarni M2.
A ano - chipset ma hromadu dalsich PCIe portu (casto jsou to jen vysokorychlostni linky a vyrobce desky tomu prirazuje funkci PCIe, USB3 nebo SATA), takze se nemusis obavat ze bys tam to drobne prislusenstvi nepripojil - kor u techto high-end chipsetech. Ty jednodussi/levnejsi nemaj tolik linek a jsou urceny na mensi desky, jinak by se museli konektory vuci sobe omezovat.
Co se tyce rozdilu 20 a 24 - tak v dokumentaci CPU jsou uvadeny vyslovne 16 PEG + 4 GPP + 4 GPP. To, ze tam kazdy pripojuje klasicky chipset dela ten rozdil - nekdo rika kolik toho umi cpu (24) a nekdo kolik toho zbyte pro uzivatele (20). U tech AMD desek je vetsinou u dvou M2 pripojeno jedno M2 na CPU primo, takze muze jet v Gen4, i kdyz chipset je tam starsi, co gen4 neumi.
Navrzene zapojeni v tabulce mas OK, to pujde. Na co si dej pozor, je, ze ty SATA s X4 konektorem, byvaj typicky jen Gen3x2 zapojeny, kdyz se jedna o nejaky asmedia chipset. Nektere multi-sata karty jsou pak s PCIe switchem, a ten umi jen Gen2x1 smerem od desky, takze je to dost napic.. pokud trvas na maximalnim vykonu toho radice, tak te ceka dalsi kolo vyberoveho rizeni - a to jeste divocejsi nez u desky :))
-
CPU ma 20 liniek PCIe 4.0 na pripojenie priamo periferii (GPU, SSD) a dalsie 4 sa vyuzivaju na prepojenie s chipsetom (v tomto pripade s X570). X570 vie poskytnut dalsich 16 liniek, takze vsetky tvoje periferie dostanu potrebny pocet liniek len zariadenia zavesene na chipsete mozu sumarne s CPU komunikovat maximalne len tymi 4 linkami, takze v urcitych scenaroch to bude brzdit zariadenia zavesene na chipsete.
Ci ako to vsetko dokopy bude fungovat ale zalezi od konkretneho vyrobcu, lebo moznosti ako zapojit rozne periferie je viacero. Napriklad, ci vyrobca pouzije 2 SATA porty z CPU, ktore su zdielane s NVMe alebo len tie z chipsetu. Pri tvojej doske vyzera, ze len z chipsetu, co je dobre.
Takze tvoj scenar zapojenia bude fungovat, s tym, ze ak by vsetky zariadenia zavesene na chipsete chceli naraz komunikovat s CPU plnou rychlostou, tak to bude trochu drhnut :). V reale to vidim za malo pravdepdobne.
Ak by ta to predsalen limitovalo, tak s tym nic neurobis, jedine prejst na Threadripper.
-
Před pár hodinami se objevila otázka na AMD desky na Redditu/VFIO (https://www.reddit.com/r/VFIO/comments/kof2wg/what_are_good_amd_motherboard_bios_version_for/?sort=confidence). Třeba se ti z návrhů bude nějaká líbit víc.
-
Dakujem pekne vsetkym, nakoniec som siel do GIGABYTE X570 AORUS PRO. Cakam este na dodanie. Urcite tu dam este nejden post kym to vsetko vyladim tak ako chcem ;)
PS: vsetko dobre v novom roku