Domácí virtuální server postavený na Proxmoxu

[wakatana]

U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.

Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:

Kód: [Vybrat]

IOMMU Group 0:
	00:01.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 1:
	00:01.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 10:
	00:08.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 11:
	00:08.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 12:
	00:08.2 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 13:
	00:08.3 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]
IOMMU Group 14:
	00:14.0 SMBus [0c05]: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller [1022:790b] (rev 61)
	00:14.3 ISA bridge [0601]: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge [1022:790e] (rev 51)
IOMMU Group 15:
	00:18.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 0 [1022:1440]
	00:18.1 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 1 [1022:1441]
	00:18.2 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 2 [1022:1442]
	00:18.3 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 3 [1022:1443]
	00:18.4 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 4 [1022:1444]
	00:18.5 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 5 [1022:1445]
	00:18.6 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 6 [1022:1446]
	00:18.7 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 7 [1022:1447]
IOMMU Group 16:
	01:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961 [144d:a804]
IOMMU Group 17:
	02:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57ad]
IOMMU Group 18:
	03:01.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 19:
	03:02.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 2:
	00:01.2 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 20:
	03:04.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a3]
IOMMU Group 21:
	03:08.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
	07:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP [1022:1485]
	07:00.1 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
	07:00.3 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
IOMMU Group 22:
	03:09.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
	08:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 23:
	03:0a.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Device [1022:57a4]
	09:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 24:
	04:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM951/PM951 [144d:a802] (rev 01)
IOMMU Group 25:
	05:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Baffin [Radeon RX 460/560D / Pro 450/455/460/555/555X/560/560X] [1002:67ef] (rev cf)
	05:00.1 Audio device [0403]: Advanced Micro Devices, Inc. [AMD/ATI] Baffin HDMI/DP Audio [Radeon RX 550 640SP / RX 560/560X] [1002:aae0]
IOMMU Group 26:
	06:00.0 Ethernet controller [0200]: Intel Corporation I211 Gigabit Network Connection [8086:1539] (rev 03)
IOMMU Group 27:
	0a:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD/ATI] Device [1002:1478] (rev c1)
IOMMU Group 28:
	0b:00.0 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD/ATI] Device [1002:1479]
IOMMU Group 29:
	0c:00.0 VGA compatible controller [0300]: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 [Radeon RX 5700 / 5700 XT] [1002:731f] (rev c1)
IOMMU Group 3:
	00:02.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 30:
	0c:00.1 Audio device [0403]: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 HDMI Audio [1002:ab38]
IOMMU Group 31:
	0d:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Function [1022:148a]
IOMMU Group 32:
	0e:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP [1022:1485]
IOMMU Group 33:
	0e:00.1 Encryption controller [1080]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Cryptographic Coprocessor PSPCPP [1022:1486]
IOMMU Group 34:
	0e:00.3 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
IOMMU Group 35:
	0e:00.4 Audio device [0403]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse HD Audio Controller [1022:1487]
IOMMU Group 36:
	0f:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 37:
	10:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 51)
IOMMU Group 4:
	00:03.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 5:
	00:03.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 6:
	00:04.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 7:
	00:05.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 8:
	00:07.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 9:
	00:07.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B] [1022:1484]

chapem tomu tak ze tam ma skupiny 25 a 29 a kazda tato skupina obsahuje len jednu kartu a nic ine. Teda passtrought by podla mna mal byt mozny bez akychkolvek problemov. Zaroven tam ale pise ze ma v BIOSe zapnute (okrem ineho) ACS. Znamena to teda ze aj Linux jadro musi ACS podporovat?

Cital som este ze tato doska ma na CPU priamo pripojeny len 1 PCIe slot (zvysne ma teda cez chipset, dobre tomu chapem?) a ze toto tiez moze byt z nejakeho dovodu problem, len mi nejako nedochadza ze preco (napr koli tomu ze to vychadza nejako z architektury ryzenov kde na chipset zostave menej lanes na PCI a teda moze byt mensia rychlost?).

[Reklama]

[wakatana]

Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:

Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs  GIGABYTE X570 AORUS PRO podla oficialnej stranky:

https://pasteboard.co/JHerTVJ.png


GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?

[LarryLin]

U Intelu (v mém případě), který má 16 linek by se dalo říct, že pokud 2 GPU se přepnou do řežimu x8-x8, tak s největší pravděpodobností budou ve stejné skupině a bude potřeba použít ACS patch, abych mohl jednu GPU předat do VM a druhou nechat Proxmoxu. Možná kdyby základovka nabízela režim x16-x4-x1 nebo x8-x4-x4, tak je šance, že obě GPU budou v samostané skupině. Ale provozovat GPU na x4 už může být omezující. Nejsem si jistý jak to má AMD Ryzen. Budeš muset hledat na netu info o IOMMU Groups pro konkrétní desku.
Pokud by síťová a SATA karta byly určeny pro hostitele (proxmox) a byly by ve společné skupině, tak by to nevadilo. Začalo by to vadit kdybys síťovku chtěl předat do VM a SATA kartu ponechat v proxmoxu - zase bys musel použít ACS patch.

chapem tomu tak ze tam ma skupiny 25 a 29 a kazda tato skupina obsahuje len jednu kartu a nic ine. Teda passtrought by podla mna mal byt mozny bez akychkolvek problemov. Zaroven tam ale pise ze ma v BIOSe zapnute (okrem ineho) ACS. Znamena to teda ze aj Linux jadro musi ACS podporovat?

Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.

Cital som este ze tato doska ma na CPU priamo pripojeny len 1 PCIe slot (zvysne ma teda cez chipset, dobre tomu chapem?) a ze toto tiez moze byt z nejakeho dovodu problem, len mi nejako nedochadza ze preco (napr koli tomu ze to vychadza nejako z architektury ryzenov kde na chipset zostave menej lanes na PCI a teda moze byt mensia rychlost?).

Tak v tom případě to bude stejné jako jsem popisoval u Intelu: do CPU je napojena PCIe x16 a když použiješ 2 GPU x8+x8, tak obě GPU budou ve stejné skupině. U obyčejných desktopových CPU je omezený počet linek, proto jsou s tím takové problémy. Např. u Xeonů E5 kde je dostatek linek do CPU problém není, ale to je také dost dražší řešení.

[LarryLin]

Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:

Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs  GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png

GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?

Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.

[LarryLin]

... podle tohoto se zdá, že 2 GPU opravdu budou ve dvou skupinách.

[Reklama]

[wakatana]

Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?

ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza

[wakatana]

Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?

ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza

a zaroven to znamena ze tam uz nic ine nepripojim?
resp obe karty su PCI Express 3.0 x16 doska je pcie 4.0 tak neviem ci aj toto ma na to vplyv

[RDa]

Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:

Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs  GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png

GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?

Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.

NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).

Toto je zcela normalni reseni, ktere uz existuje snad deset let, ze ma cpu 16 PEG linek, ktere lze rozdelit na 8+8, a deska tu pulku jenom pasivnim prepinacem (muxem) predratuje do druheho slotu (tomu nekdo rika "sdileni linek mezi sloty"). Pozdejsi cpu meli jeste moznost 8+4+4, pro trislotove workstation desky (tedy slotu tam bylo vice, pac neco jede z chipsetu, typicky treti/ctvrte x4)

[RDa]

Este som sa chel opytat ze ak Ryzen 5 3600 podporuje 24 pcie lanes z toho je pouzitelnych 20 lebo 4 su komunikacia s chipsetom a jedna GPU zozerie 16 lanes druha GPU zozerie tiez 16 to je ked spravne ratam 32. Nieje to trosku problem? Niekde som cital ze vraj karty mozu chodit aj v rezime 8x len neviem ci to treba nastavovat v BIOSe alebo sa to prepne samo? Ak to pojde 2x8 znamena to ze este mi ostane dalsich 8?

ale posledne si napisal ze by to malo ist ako 16x + 8x co celkom dava zmysel lebo neviem naco mat dosku so Zen2 compatible ktora ma 2xPCIe16x - to mi dajak nevychadza

a zaroven to znamena ze tam uz nic ine nepripojim?
resp obe karty su PCI Express 3.0 x16 doska je pcie 4.0 tak neviem ci aj toto ma na to vplyv

24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.

PCIe se ti automaticky "prizpusobi" - tj. kdyz jedna strana umi jen 3.0, tak to pojede nanejvys v te rychlosti. A sirkou to bude taky automagicke - kdyz obe karty osadis, kazde deska posle pulku (8+8) linek. Ta "dvojslotova" deska totiz umi jen rezimy 16+0 a 8+8, mezi kteryma prepina podle existence karty ve slotu oznacenem PCIEX8.

Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).

[LarryLin]

Nasiel som napr toto https://forum.level1techs.com/t/gigabyte-x570-aorus-elite-iommu-groups/144937/37 ale neviem ci spravne chapem tomu co sa tam pise, chlapik proste skusal niekolko biosov az nasiel f10a a snim IOMMU vyzera takto:

Toto je porovnanie dosiek GIGABYTE X570 AORUS ELITE vs  GIGABYTE X570 AORUS PRO podla oficialnej stranky:
https://pasteboard.co/JHerTVJ.png

GIGABYTE X570 AORUS PRO by vraj mala vediet GPU passtrought dvoch GPU do dvoch VM. Je tam vidiet to co som spominal a teda ze ELITE verzia ma 1xPCIe pripojenu priamo ku CPU a PRO verzia ma 2xPCIe pripojenu priamo ku CPU. Ja si myslim ze pre moj use case kde chem 1 GPU chcem ponechat hypervisory a druhu GPU spravit passtrought to problem nieje alebo sa mylim?

Jen v rychlosti jsem na to nahlídnul. Takže když jsou tam 2 GPU, tak to funguje:
- u Ryzenu 3rd generace v konfiguraci x16-x8
- u Ryzenu 2rd generace v konfiguraci x8-x8
Je to tak?
Pokud ano, tak ani u té 3rd gen nejde takto odhadnout zda budou 2 GPU ve dvou různých IOMMU skupinách. Chtělo by to vygooglit více info.

NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).

Máš pravdu. Nevšiml jsem si, že ta hvězdička se vztahuje i na 3rd Ryzeny.

Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware, tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).

[RDa]

Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware, tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný.

Tak u AMD CPU + NV3000 je sance to rozjet v Gen4, takze kazda karta ma pasmo jako Gen3x16 - coz je rozhodne lepsi nez Intel (vcetne entry level 2011/2066 s 28 pcie, snad az drazsi 40 linkove kousky jsou k tomuto obstojnym ekvivalentem, pak muze mit deska dva plne x16 sloty).

Nevim ale zda to Gen4 budou umoznovat ty muxovane sloty - zda to pak neskonci na tom, ze primo pripojena bude Gen4 (prvni grafika a NVMe) a ta sekundarni jen Gen3, kvuli muxum... stejne jak to bylo v dobe prechodu Gen2/Gen3, kdy se pak vyrobci chlubili i osazenim schopnejsich prepinacu

[LarryLin]

Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware, tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný.

Tak u AMD CPU + NV3000 je sance to rozjet v Gen4, takze kazda karta ma pasmo jako Gen3x16 - coz je rozhodne lepsi nez Intel (vcetne entry level 2011/2066 s 28 pcie, snad az drazsi 40 linkove kousky jsou k tomuto obstojnym ekvivalentem, pak muze mit deska dva plne x16 sloty).

Nevim ale zda to Gen4 budou umoznovat ty muxovane sloty - zda to pak neskonci na tom, ze primo pripojena bude Gen4 (prvni grafika a NVMe) a ta sekundarni jen Gen3, kvuli muxum... stejne jak to bylo v dobe prechodu Gen2/Gen3, kdy se pak vyrobci chlubili i osazenim schopnejsich prepinacu

Vlastně jo, pořád zapomínám, že tu máme už PCIe Gen4 . To by stálo za to prozkoumat jak je to s přepínáním Gen3/Gen4 u sekundárního slotu, další námět pro Wakatana na co se při výběru desky zaměřit , ale jelikož se v manuálu X570 AORUS PRO píše:

3rd Generation AMD Ryzen™ processors:
-1 x PCI Express x16 slot, supporting PCIe 4.0 and running at x16 (PCIEX16)
-1 x PCI Express x16 slot, supporting PCIe 4.0 and running at x8 (PCIEX8

Tak by i sekundární měla jet jako Gen4

[wakatana]

... podle tohoto se zdá, že 2 GPU opravdu budou ve dvou skupinách.

To je vpodstate to iste co som poslal, alebo je tam nejaka nova informacia?

Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.

A aky je rozdiel medzi pouzitim ACS v BIOSe a pouzitim ACS patch? Chapem to tak ze ak mam moznost zapnut ACS v BIOSe tak potom nepotrebujem ACS patch, a dokonca by to malo byt aj bezpecne, alebo sa mylim?

Aky je vlastne problem s pouzitim ACS (okrem potencionalny VS escape security problemov ktore to prinasa vid https://www.reddit.com/r/VFIO/comments/bvif8d/official_reason_why_acs_override_patch_is_not_in/ resp https://www.reddit.com/r/VFIO/comments/9jer5r/acs_patch_risk/) Chapal som to povodne tak ze ked vsetko ostatne zlyha tak ACS by malo fungovat v 99% pripadov, avsak v druhom odkaze sa pise ze ani ACS nieje uplne idealna izolacia a je tam aj problem so stabilitou. Takze na ACS (ci uz je v BIOSe alebo patch) sa neoplati spoliehat?

Taktiez mi to vychadza tak ze nestaci ze BIOS ma moznost zapnut ACS, je k tomu treba mat aj spravnu verziu BIOSu aby vznikli "spravne" IOMMU skupiny (vid predosle posty kde bolo skusanych niekolko verzii BIOSu).

Podla tohoto by Proxmox mal mat uz ACS
https://www.reddit.com/r/Proxmox/comments/cagusq/current_state_of_pci_passthrough_acs_patch/

NENI. Primo tam pisou, ze kdyz pouzijes PCIEX8 slot, tak ten, co je oznacen jako PCIEX16 bezi v x8, plati to pro 2nd i 3rd gen Ryzen. (a v pripade APU s grafikou tam je jenom 8 linek takze pojede jenom jeden z tech slotu - PCIEX16, v x8 modu).

Toto je zcela normalni reseni, ktere uz existuje snad deset let, ze ma cpu 16 PEG linek, ktere lze rozdelit na 8+8, a deska tu pulku jenom pasivnim prepinacem (muxem) predratuje do druheho slotu (tomu nekdo rika "sdileni linek mezi sloty"). Pozdejsi cpu meli jeste moznost 8+4+4, pro trislotove workstation desky (tedy slotu tam bylo vice, pac neco jede z chipsetu, typicky treti/ctvrte x4)

Toto sa ale bavime o X570 AORUS PRO kde sa pise ze:

The PCIEX8 slot shares bandwidth with the PCIEX16 slot. When using the 3rd Generation AMD Ryzen™ processors/2nd Generation AMD Ryzen™ processors and PCIEX8 slot is populated, the PCIEX16 slot operates at up to x8 mode.

nie o X570 AORUS ELITE?

24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.

PCIe se ti automaticky "prizpusobi" - tj. kdyz jedna strana umi jen 3.0, tak to pojede nanejvys v te rychlosti. A sirkou to bude taky automagicke - kdyz obe karty osadis, kazde deska posle pulku (8+8) linek. Ta "dvojslotova" deska totiz umi jen rezimy 16+0 a 8+8, mezi kteryma prepina podle existence karty ve slotu oznacenem PCIEX8.

Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).

Toto sa ale stale bavime o X570 AORUS PRO (vpravo) nie o X570 AORUS ELITE (vlavo) tam nevieme ako to je?

Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware, tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).

Rozdiel medzi 16x a 8x je zanedbatelny, vid https://www.gamersnexus.net/guides/2488-pci-e-3-x8-vs-x16-performance-impact-on-gpus
GPU ktoru mam je PCIe x16 gen3 takze si myslim ze 8x by jej malo stacit

Neplanujem APU (resp iGPU) riesim otazku aku dosku vziat aby som mohol v pripade potreby zapojit 2xGPU tak ze jedna ostane pre OS/hypervisor + HW akceleraciu videa a druha bude passtrought do VM. Kartu pre OS/hypervisor mozno ani potrebovat nebudem (ale chcel by som mat takuto moznost) v pripade ze video potiahne aj CPU a kldune by som si vystacil aj s jednou kartou na passtrought do VM.

Takze neviem ze ci X570 AORUS ELITE ja na toto dostatocna? Resp najeka ina doska ktora ma okrem PCIe16x aspon PCIe4x ze sa tam da pouzit este aspon sietova karta resp dalsi SATA radic. Neviem vsak ci je to mozne koli tomu co tu uz bolo spomenute

24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.

Lebo ak Ryzen 5 3600 ma pozitelnych 20 lanes tak:
8+8 pouziju 2 GPU
4 pouzije chipset
4 M.2
a skoncil som lebo neni co pouzit na PCIe kam by isla sietova resp SATA karta

Mam z toho hlavu ako tekvica a zacinam uz pomaly chapat preco je serverovy hardware lepsi na taketo veci.

[RDa]

24 linek je rozdeleno jako 16 PEG (pcie graphic) (16/8+8/8+4+4) a 4+4 GPP (general purpose), tyto jsou typicky x4 pro chipset a x4 pro NVMe (M.2), aby to nemuselo chodit skrz chipset a zabirat pasmo/piny/tdp.

Lebo ak Ryzen 5 3600 ma pozitelnych 20 lanes tak:
8+8 pouziju 2 GPU
4 pouzije chipset
4 M.2
a skoncil som lebo neni co pouzit na PCIe kam by isla sietova resp SATA karta

Mam z toho hlavu ako tekvica a zacinam uz pomaly chapat preco je serverovy hardware lepsi na taketo veci.

Probuh, nekomplikuj to. Chipset ma typicky dalsich 12 az 24 PCIe linek, ktere vedou na ruzne dalsi x1/x2/x4 porty (druha sitovka, wifi, usb3.x radice, firewire, a samozrejme PCIe sloty - typicky tam byva jeden v X4 rezimu a pak jeden nebo vice v x1 rezimu). Pokud se nekde pise "pouzitelnych 20", to znamena ze uz 4 odecetli kvuli chipsetu.

Vzdy se divej na blokovy diagram konkretni desky - co kam vede. Pokud to vyrobce neukazuje, vem jineho vyrobce - zde opravdu neni rozdil, zda budes mit Gigabyte nebo ASUS.

Ohledne rozdilu tabulky vlevo/vpravo, toto ode me jsi prehlednul:
Ad porovnani desek: ta vlevo je "jednoslotova" (vsechno PEG na 1 slot), a ta v pravo "dvojslotova" (s muxem).

Pokud na obou doskach je dalsi slot, oznacen napr. PCIEX4 - tak ten vede nejcasteji skrze chipset. Jako neni to uplne idealni, sdilet pasmo skrze chipset, takze AMD odstehovalo alespon jedno x4 NVMe na CPU o par let driv, nez to udelal intel v poslednich/pristich modelech.

Osobne bych sel do vetsi desky, ktera ma ten mux - je to pak univerzalnejsi, kdybys to rozsiroval a nemusis to pak prodavat pod cenu.

Napr. ja mam ASUS P10S-M (kvuli ECC) - https://www.asus.com/Commercial-Servers-Workstations/P10S-M/ - a ta podporuje vsechny kombinace 16/0/0, 8/8/0, 8/4/4 a plus ctvrtej slot je x4 pres chipset. Karty tam jsou osazeny takto: x8:sas-raid/hba, x8:40ge, x0:sas-expander, x4:10ge (je to spis jako NAS, s par VM)

[LarryLin]

... podle tohoto se zdá, že 2 GPU opravdu budou ve dvou skupinách.

To je vpodstate to iste co som poslal, alebo je tam nejaka nova informacia?

Aorus X570 I AORUS PRO se zdá pro použítí se 2mi GPU dobrá a mělo by to fungovat i bez ACS, ale bude potřeba šáhnout hlouběji do peněženky - cca 6000 Kč. Pouze se jim v tom odkazu nedařilo předat USB řadič.
Aorus X570 I AORUS ELITE - v ukázce co jsi posílal s biosem f10, se zdá, že obě GPU jsou v samostatných skupinách, ale stežuje si tam na dlouhé bootování - 23s než se dostane do Grubu. U ELITE ti pojede druhá GPU přes chipset (viz manuál):

Integrated in the Chipset (PCIEX4/PCIEX1):
- 1 x PCI Express x16 slot, supporting PCIe 4.0/3.0 and running at x4 (PCIEX4)
- 2 x PCI Express x1 slots, supporting PCIe 4.0/3.0

Už je pozdě, takže jen stručně, když tak zítra bych doplnil.
Hned když jsem viděl tak dlouhý výpis mě napdalo, že byl aplikován ACS patch. U prvních Ryzenů jsem četl, že měly špatně rozdělené IOMMU Groups pro GPU, ale po aktualizaci biosu se to spravilo, tak možná proto zkoušel více verzí biosu. ACS není nějaká funkce kernelu, která je/není podporována. ACS patch se aplikuje na zdrojáky kernelu a následně se kernel zkompiluje. Např. na Archu je možno použít tento kernel s ACS patchem. U Proxmoxu by snad také mělo být nějaké repo ve kterém bude kernel s ACS patchem.

A aky je rozdiel medzi pouzitim ACS v BIOSe a pouzitim ACS patch? Chapem to tak ze ak mam moznost zapnut ACS v BIOSe tak potom nepotrebujem ACS patch, a dokonca by to malo byt aj bezpecne, alebo sa mylim?

Až teď když jsem se začetl do tvého odkazu jsem zjistil, že AMD má v biosu funkci na zapnutí ACS. To jsem před tím nevěděl. Zřejmě bude mít stejnou funci jako ACS patch kernelu. Takže když zapneš ACS v biosu, tak ACS patch kernelu už potřebovat nebudeš. Jestli je ACS v biosu bezpečnější říct nedokážu, každopádně je to pohodlnější než patchovat jádro (i když v proxmoxu už je asi přednachystané, jak jsi psal níže).

Aky je vlastne problem s pouzitim ACS (okrem potencionalny VS escape security problemov ktore to prinasa vid https://www.reddit.com/r/VFIO/comments/bvif8d/official_reason_why_acs_override_patch_is_not_in/ resp https://www.reddit.com/r/VFIO/comments/9jer5r/acs_patch_risk/) Chapal som to povodne tak ze ked vsetko ostatne zlyha tak ACS by malo fungovat v 99% pripadov, avsak v druhom odkaze sa pise ze ani ACS nieje uplne idealna izolacia a je tam aj problem so stabilitou. Takze na ACS (ci uz je v BIOSe alebo patch) sa neoplati spoliehat?

Musíš to brát tak, že ACS je ohejbák. Řeší nějakou nedokonalou HW konfiguraci, protože se snažíme ušetřit prachy a používáme desktopový levný HW místo abychom si koupili profesionální serverový HW
Kdysi jsem četl o případu, že ACS poškodilo data, ale myslím, že to byl velmi ojedinělý případ asi když se pomocí ACS rozdělila skupina ve které byl SATA řadič? Už si nevzpomínám, ale je to už hodně let zpátky, od té doby jsem o takovém případu nečetl.

Taktiez mi to vychadza tak ze nestaci ze BIOS ma moznost zapnut ACS, je k tomu treba mat aj spravnu verziu BIOSu aby vznikli "spravne" IOMMU skupiny (vid predosle posty kde bolo skusanych niekolko verzii BIOSu).

Ano, u AMD se zdá, že to je hodně divoké - různé verze Biosů = různé IOMMU skupiny, ale zase Bios neaktualizuješ každý den, takže u té f10/f11 můžeš zůstat třeba napořád.

Podla tohoto by Proxmox mal mat uz ACS
https://www.reddit.com/r/Proxmox/comments/cagusq/current_state_of_pci_passthrough_acs_patch/

Tak to je dobré, ale pokud máš tu možnost v biosu, tak to stejně nevyužiješ.

Kdysi jsem si dělal testy s Nvidií řady 900 zda dochází k propadu výkonu u GPU, která pracuje v řežimu x8 vs. x16. Výkon u x8 byl stejný jako u x16, ale když jsem mrkl na světhardware, tak to vypadá, že s posledními Nvidiemi řady 3000 už je ten propad výkonu (u hry Civilization VI) v módu x8 znatelný. Pokud při použití APU bude k dispozici pro PCIe jen mód x8, tak to je pěkně naprd. U iGPU Intelu je k dipozici pořád x16 (nevím teda jak to bude u nejnovějších grafik Xe od Intelu).

Rozdiel medzi 16x a 8x je zanedbatelny, vid https://www.gamersnexus.net/guides/2488-pci-e-3-x8-vs-x16-performance-impact-on-gpus
GPU ktoru mam je PCIe x16 gen3 takze si myslim ze 8x by jej malo stacit

Tak pak asi nebudeš kupovat ELITE. Protože kdybys ji dal do druhého slotu, tak by ti to jelo na x4 gen3 a kdybys ji dal do primárního slotu a jelo by to na x16, tak jakou GPU bys dal do sekundárního slotu? Ještě nějakou starší GPU nebo jen SATA řadič? To si holt musíš rozhodnout sám. Já mám iGPU pro hostitele a Nvidii pro hosta (windows) s možností si ji přehodit do hostitele. Tak jsem to plánoval, tak mi to vyhovuje. Jak to chceš mít ty, musíš rozhodnout ty.