Mohu sekundární GPU vypnout napájení?

[LarryLin]

Mám:
0000:00:01.0 - pcie root port, ve které je karta zasunuta
0000:01:00.0 - nvidia gpu
0000:01:00.1 - nvidia audio

"nvidia gpu" a "nvidia audio" jsou jedna fyzická GPU karta GeForce.

Mohu softwarově GPU/PCIE kartě vypnout napájení?

Ve výchozím stavu nvidia používá vfio-pci ovladače a v idle se na gpu točí jeden ventilátor ze dvou.

Zkoušel jsem:

Kód: [Vybrat]

echo 1 | sudo tee /sys/bus/pci/devices/0000:01:00.0/remove
echo 1 | sudo tee /sys/bus/pci/devices/0000:01:00.1/remove

V tu chvíli se roztočil i druhý ventilátor a "pcie root port" se přepnul ze stavu D0 do stavu D3.

Kód: [Vybrat]

echo 1 | sudo tee /sys/bus/pci/devices/0000:00:01.0/remove

Ventilátory na GPU se točí vesele dál

Výňatek výpisu pro "pcie root port" lspci -vv (samozřejmě před tím než jsem použil příkaz .../remove):

Kód: [Vybrat]

Capabilities: [80] Power Management version 3
		Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
		Status: D3 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-

A ještě výpis pro nvidia gpu (taktéž před tím než jsem na ni aplikoval .../remove):

Kód: [Vybrat]

Capabilities: [60] Power Management version 3
		Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
		Status: D3 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-

V Cčku by to mělo jít provést příkazem:

Kód: [Vybrat]

pci_set_power_state(port_dev, PCI_D3cold);

což by mělo GPU zasunutou v daném portu úplně vypnout z napájení. Jaký je ale ekvivalent pomocí příkazů v linuxu?

[Reklama]

[František Ryšánek]

Moc nevěřím, že je běžné, aby šel VRM pro GPU vypnout fidláním s power states v PCI zařízení. Čekal bych že se tím třeba odstaví/deaktivují nějaké interní bloky, hluboce se uspí, ale šváb zůstane pod napětím.

Jinak doporučuji dotaz do Googlu "lspci setpci power state" a přečíst prvních pár odpovědí. Nakonec tam tuším není konkrétní návrh s použitím setpci, ale i tak je to zajímavé čtení.

Pokud byste dokázal té kartě třeba nějakým FETem vypnout vnější přívod 12V, tak by to mohlo mít nějaký vliv. Pokud by se nesnažila přežít ze 12V z PCI slotu (v tom případě by patrně lehnul celý systém, protože by to motherboard neutáhl.)

Samotná PCI sběrnice by měla podporovat hot swap. Uhh... a nejsem si jist, jestli prostě vypnutím napájení dosáhnete stavu "proběhlo odpojení od sběrnice". V PCI-e slotu jsou piny PRSNT#1 a PRSNT#2 (PRSNT#2 je několik, podle šířky sběrnice) - pokud je karta na plošáku navzájem propojí, tak při zasunutí karty dojde k "detekci zasunutí" motherboardem (upstream bridgem). Nejsem si jist, že je ten popis správný - protože se tam taky píše, že PRSNT#1 je na motherboardu uzemněný. Možná jsou plošky na kartě ještě navíc kratší. Jestli jde toto nějak nafintit u onboard naletovaného PCI-e zařízení (uzemněním PRSNT#2), na to není obecná odpověď :-) Pravděpodobně nikoli. Viz též.

[ByCzech]

Nevím jak by dopadlo hraní si pci_set_power_state, osobně si myslím, že to nebude to pravé ořechové, ale možná (nevím s jakou možností úspěchu) by šel použít Fake PCI Hotplug Driver... Natáhne se přes modprobe fakephp modul a pak by mělo/mohlo jít ovládat odpojení a připojení PCI(e) zařízení přes zápis 0 nebo 1 do /sys/bus/pci/slots/.../power. Jak moc je to (ne)funkční nemám odzkoušeno - jestli se vůbec něco stane s napájením a není to celé jen softwarová záležitost) - třeba to pak půjde zkombinovat s tvým nápadem, když tak dej vědět jak dopadly pokusy...

[dustin]

Viz též.

Díky za link, moc zajímavé

[LarryLin]

Já jsem přečetl zatím jen pár diskuzí někdo tvrdil, že by to mělo jít a někdo, že to zřejmě nepůjde. Byl jsem k tomu skeptický dokud jsem nenarazil na tento commit https://github.com/Bumblebee-Project/bbswitch/pull/130/files , který používá v C příkaz:

Kód: [Vybrat]

pci_set_power_state(port_dev, PCI_D3hot);

V pozdějších verzích toho souboru začali používat PCI_D3cold.

Co jsem vyčetl, tak když zařízení odeberete ovladač (třeba tím /sys/bus/pci/.../remove) tak dojde automaticky k přepnutí z D0 do D3. Ovšem kromě základního D3 jsou pak ještě D3hot a D3cold a to by mělo být podle mě právě to úplné odpojení od napájení (řežim spánku nebo jak to nazvat).

Když zadám:

Kód: [Vybrat]

cat /sys/bus/pci/devices/0000:00:01.0/d3cold_allowed

tak to vypisuje "1", takže slot by měl jít do stavu D3cold přepnout. Je moje úvaha, že ten D3cold odstaví kartu od napájení správná?

Třeba pro AMD existuje utilita ZeroCore která prý dokáže snížit spotřebu na <3W, takže se zdá, že nějaké techniky pro to existují.

@ByCzech: Ano, v diskuzích jsem zahlídl echo 0 > /sys/bus/pci/slots/$NUMBER/power , ale já mám adresář slots prázdný, zkusím teda ty tvoje odkazy prozkoumat.

[Reklama]

[LarryLin]

Nevím jak by dopadlo hraní si pci_set_power_state, osobně si myslím, že to nebude to pravé ořechové, ale možná (nevím s jakou možností úspěchu) by šel použít Fake PCI Hotplug Driver... Natáhne se přes modprobe fakephp modul a pak by mělo/mohlo jít ovládat odpojení a připojení PCI(e) zařízení přes zápis 0 nebo 1 do /sys/bus/pci/slots/.../power. Jak moc je to (ne)funkční nemám odzkoušeno - jestli se vůbec něco stane s napájením a není to celé jen softwarová záležitost) - třeba to pak půjde zkombinovat s tvým nápadem, když tak dej vědět jak dopadly pokusy...

K tomu Fake PCI Hotplug Driver jsem skeptický. Vypadá to, že to jen odpojuje zařízení z kernelu a je to zřejmě jen předchůdce dnešního /sys/bus/pci/.../remove

Podle tohoto https://github.com/spotify/linux/blob/master/Documentation/power/pci.txt to vypadá, že s

Kód: [Vybrat]

pci_set_power_state(port_dev, PCI_D3cold);

to bude fungovat. Cituji:

There are actually two D3 states.  When someone talks about D3, they usually
mean D3hot, which corresponds to an ACPI D2 state (power is reduced, the
device may lose some context).  But they may also mean D3cold, which is an
ACPI D3 state (power is fully off, all state was discarded); or both.

[LarryLin]

Takže po nějakém testování se mi podařilo pomocí setpci přepínat GPU i PCIe slot ze stavu D0 do úsporného stavu D3 (asi D3hot). Kdyby to chtěl někdo zkoušet může se inspirovat třeba tímto komentem https://github.com/Bumblebee-Project/bbswitch/issues/107#issuecomment-289259858 (bbswitch k tomu potřeba není).

Zkoušel jsem zapisovat do registru daného zařízení všechny hodnoty od 00 do ff, ale bralo to pouze hodnoty 08 (stav D0) a 0b (stav D3) podobně jako v tom odkazu. Takže možná pro přepnutí do stavu D3cold je nutné zapsat ještě nějakou hotnotu do jiného umístění. Bohužel nevím jakou. Dokumentaci jsem na netu žádnou nenašel. Pokud by existoval způsob jak PC uvést do stavu spánku a ve chvíli kdy je GPU a slot ve stavu spánku, ale cpu a kernel ještě funguje, tak bych si ty hodnoty dokázal z registru vytáhnout. Bohužel neznám žádný takový způsob jak spustit nějaký příkaz ve chvíli kdy se počítač uspává.

Druhá varianta, která by měla fungovat je pomocí pci_set_power_state(), kterou jsem ale netestoval, protože by to obnášelo napsání vlastního jednoduchého ovladače GPU v Cčku. Možná, že by to ve finále bylo na pár řádku, protože by ten ovladač sloužil pouze pro přepínání do stavu D3cold, ale nechce se mi do toho pouštět. Tady https://patchwork.kernel.org/patch/5940031/ Alex píše o stavu D3cold:

It's tempting to try to use D3cold, but we have no reason to inhibit
hotplug of idle devices and we might get into a loop of having the
device disappear before we have a chance to try to use it.

Nevím přesně co myslí tou smyčkou, ale i z toho ostatního co jsem přečetl to ve mně vyvolává dojem, že je možné jednotlivá zařízení uvést do stavu D3cold a tím je defakto zcela vypnout.

[dustin]

Paráda, díky, že se dělíš o poznatky, tohle se může hodit.

[RDa]

Vypnout napajeni karty skrze jeji PCIe nejde, mohl by to umozovat bridge do ktereho je pripojena (typicky pro hotplug sloty je mozne zrusit napajeni pro bezpecne odebrani).

V pripade Applu se napajeni GPU ridi a sekvencuje skrze SMC (je tam 5 vetvi), takze by mohla existovat jeho sluzba na odpojeni GPU (a predpokladam ze to OSX i dela).

[LarryLin]

skrze jeji PCIe nejde, mohl by to umozovat bridge do ktereho je pripojena

Tím myšlíš jako že se nedá vypnout samotná GPU, ale musí se vypnout jeji slot (bridge) ve kterém je zapojená? Já jsem zkoušel několik variant a ta nejvíce čistá (při které jsem i testoval ten rozsah 00-ff) mně přišla právě přes vypnutí slotu ve kterém je GPU zasunutá:

Kód: [Vybrat]

# Unload driverů GPU + audio co k ní náleží
echo '0000:01:00.0' | sudo tee /sys/bus/pci/devices/0000:01:00.0/driver/unbind
echo '0000:01:00.1' | sudo tee /sys/bus/pci/devices/0000:01:00.1/driver/unbind

# Odstranění GPU z kernelu
echo 1 | sudo tee /sys/bus/pci/devices/0000:01:00.0/remove
echo 1 | sudo tee /sys/bus/pci/devices/0000:01:00.1/remove

# Zjištění současného stavu slotu (bridge)
sudo setpci -s 00:01.0 CAP_PM+4.b
08

# Přepnutí slotu (bridge) do stavu D3
sudo setpci -s 00:01.0 CAP_PM+4.b=0b

# Zjištění současného stavu slotu (bridge)
sudo setpci -s 00:01.0 CAP_PM+4.b
0b

Jak jsem psal v úvodním příspěvku tak u slotu je uvedeno "PME(D0+,D1-,D2-,D3hot+,D3cold+)". Z toho usuji, že by to do stavu D3cold mělo jít přepnout.

[Ladislav Jech]

Tak porad muzes napajet gpu ze sekundarniho zdroje a ten vypnout muzes.... ale chtelo by to nejak nastavit PCI, aby to bylo bezpecne.

[LarryLin]

Tak porad muzes napajet gpu ze sekundarniho zdroje a ten vypnout muzes.... ale chtelo by to nejak nastavit PCI, aby to bylo bezpecne.

Šlo mně o softwarové vypnutí napájení. Možná jsem mohl napsat přepnutí do režimu spánku.

[kraxna]

Šlo mně o softwarové vypnutí napájení. Možná jsem mohl napsat přepnutí do režimu spánku.

Plne vypnout (uspat) ta karta nejde, pokud na to neni specialni podpora (coz pokud je to desktop, tak neni a pokud je, tak se na to da pouzit bbswitch).

bbswitch vypina kartu pomoci _DSM volani do firmwaru (ACPI), pak uz to prevezme HW. Desktopovy HW to neumi, je mozne kartu prepnout do nektereho z uspornych rezimu (D3 typicky), ale tim se uplne nevypne, je porad pripojena na externi napajeni atd. Ale uspora tam bude urcite, pokud ti jde o vetraky, tak by to mohlo fungovat docela dobre.

Ten PM techto zarizeni je extremne komplikovany, rozhodne to neni o zapsani hodnoty do jednoho registru (zvlast pokud chces, aby se ta karta mohla jeste nekdy probudit). Vyzaduje to podporu v firmwaru desky, aby to mohlo fungovat spolehlive. Vem v uvahu, ze PCI-E PM je jen malou soucasti celeho procesu, ta karta ma vlastni PM integrovany v sobe a pomerne slozity inicializacni cyklus :-)

[LarryLin]

Šlo mně o softwarové vypnutí napájení. Možná jsem mohl napsat přepnutí do režimu spánku.

Plne vypnout (uspat) ta karta nejde, pokud na to neni specialni podpora (coz pokud je to desktop, tak neni a pokud je, tak se na to da pouzit bbswitch).

bbswitch vypina kartu pomoci _DSM volani do firmwaru (ACPI), pak uz to prevezme HW. Desktopovy HW to neumi, je mozne kartu prepnout do nektereho z uspornych rezimu (D3 typicky), ale tim se uplne nevypne, je porad pripojena na externi napajeni atd. Ale uspora tam bude urcite, pokud ti jde o vetraky, tak by to mohlo fungovat docela dobre.

Ten PM techto zarizeni je extremne komplikovany, rozhodne to neni o zapsani hodnoty do jednoho registru (zvlast pokud chces, aby se ta karta mohla jeste nekdy probudit). Vyzaduje to podporu v firmwaru desky, aby to mohlo fungovat spolehlive. Vem v uvahu, ze PCI-E PM je jen malou soucasti celeho procesu, ta karta ma vlastni PM integrovany v sobe a pomerne slozity inicializacni cyklus :-)

Ten bbswitch jsem zkoušel jelikož mám nainstalovaný Bumblebee, ale v dmesg jsou hlášky:
- AE_NOT_FOUND
- No suitable _DSM call found.
a když jsem se dočetl, že bbswitch na desktopech prý nefunguje, tak jsem to již nezkoušel.

Také jsem zkoušel acpi_call, ale píše podobnou chybu:
- Cannot get handle: Error: AE_NOT_FOUND

Pomocí zápisu do registru se mi povedlo kartu i slot přepnout do D3, alespoň lspci ukazoval Status: D3, ale větřáky se nezastavily. Je mi to ale houby platné, protože vfio-pci ovladač, který používám také přepíná kartu do D3. Při vfio-pci se ale minimálně jeden větřák stejně točí, když je teplo tak jednou oba dva větřáky. Logika mi říkala, že když kartě nenačtu žádný ovladač nebo kartu odstraním z kernelu použítím /remove (viz výše v diskuzi), tak se větřáky zastaví. Takhle logická uvaha, ale nebyla správná, protože ani tak se větřáky nezastavily

[kraxna]

Ten bbswitch jsem zkoušel jelikož mám nainstalovaný Bumblebee, ale v dmesg jsou hlášky:
- AE_NOT_FOUND
- No suitable _DSM call found.
a když jsem se dočetl, že bbswitch na desktopech prý nefunguje, tak jsem to již nezkoušel.

Také jsem zkoušel acpi_call, ale píše podobnou chybu:
- Cannot get handle: Error: AE_NOT_FOUND

Pomocí zápisu do registru se mi povedlo kartu i slot přepnout do D3, alespoň lspci ukazoval Status: D3, ale větřáky se nezastavily. Je mi to ale houby platné, protože vfio-pci ovladač, který používám také přepíná kartu do D3. Při vfio-pci se ale minimálně jeden větřák stejně točí, když je teplo tak jednou oba dva větřáky. Logika mi říkala, že když kartě nenačtu žádný ovladač nebo kartu odstraním z kernelu použítím /remove (viz výše v diskuzi), tak se větřáky zastaví. Takhle logická uvaha, ale nebyla správná, protože ani tak se větřáky nezastavily

No, to je to, co jsem ti tu psal - tohle musi umet firmware (prip i HW), sam to rozhodne neudelas.
Mozna radeji zkus tu kartu nechat zapnutou a zvolit nejaky power usporny rezim v NVIDIA blobu (pokud je to novejsi karta, tak potrebuje specialni PM firmare, ktery umi nahrat / ridit jen blob).

Ja se NVIDIA kartam na desktopu vyhybam jako cert krizi diky ovladacum, takze mam zkusenost jen z laptopu, ale prijde mi divne, ze by ten vetrak mel jet porad.

A jinak bohuzel tvoje logika byla chybna - bez ovladace ta karta zustane v PM stavu, kam ji dostal BIOS, coz je vetsinou hodne neusporny rezim.