Ubuntu nestartuje na renderovací farmě

[panRajce]

Ahoj,
jsem tu s novým oříškem, který mi snad zdejší komunita pomůže rozlousknout.
Mám za úkol postavit GPU Renderfarmu pro Otoy Octane 4 na desce ASUS B250 MINING EXPERT. Při volbě systému jsme se rozhodli právě pro Linux (resp. Ubuntu 18.04), jelikož Widla mají velmi omezený počet připojení množství GPU.
Provedl jsem
- instalace Ubuntu 18.04 LTS
- instalace ovladačů nVidia  430 přes terminál, ale zobrazování ponecháno přes interní grafiku Intel
- instalace Cuda-repo-ubuntu1804-10-1-local-10.1.105-418.39_1.0-1_amd64
- instalace Octane 4.04 Slave Daemon
- po restartu odmítá přihlášení do čistého Ubuntu ani GNOME, nutné nastavit na Ubuntu + Wayland, pak se přihlásí na plochu (nefunkční VNC :/)

První pokus bohužel selhal - ostatní počítače Daemon vidí a mohou připojit, při pokusu o rendering PC s Ubuntu zamrzne. Po restartu odmítl nabootovat a selhaly i pokusy o opravu přes Boot Repair, takže formát a nová instalace Ubuntu.
Teď stojí před otázkou kde jsem mohl udělat chybu? Půjde to vůbec rozběhnout (neshoda interní grafiky a nVidia karet)?
Třeba by tu mohl poradit někdo se zkušeností s miningem nebo přímo některým GPU Renderem (např. Blender)

[Reklama]

[alex6bbc]

Pro plnohodnotne cuda a renderovani neni potreba plnohodnotne pripojeni grafaren? Ne to co maji mining desky, peipojeni pres risery.

Najdi si na youtube video od x computers jak stavi server s 10 gpu nvidia pro renderovani.

[PCnity]

Ja som svojho casu riesil mining aj s ASUS B250 mining, ale viem na 100%, ze niektore moje rigy skoncili v jednej render farme. PCIe riser (cize vlastne PCIe 2.0 x1) nie je problem, pokial data (asi scena) s ktorou ides pracovat nemusi opustit GPU/VRAM... Samotne risery len hodne obmedzuju BW medzi CPU/RAM a GPU/VRAM. Na funkcne limity by si IMO moc narazat nemal.

[_Jenda]

/var/log/Xorg.0.log

[panRajce]

Díky za jednoduché vysvětlení.
Pokud mám tedy správný pocit, tak není nutné instalovat ovladače nVidia, ale pouze CUDA Tool kit .... tím pádem by ani nemělo docházet ke kolizi interní grafiky a nVidia karet.
Původně jsme vycházel z návodu od Otoy Octane - https://docs.otoy.com/StandaloneH_STA/StandaloneManual.htm#StandaloneSTA/GNULinuxInstallation.htm
Tam zmiňují instalaci ovladačů. Víc ani ťuk.

Karty (zatím dvě testovací 780TI na rozjezd, později až to rozhýbu šéf zainvestuje do novějších) jsou připojené přes PCIe riser. Rychlost moc neřešíme. Respketive rychlost nás omezuje prakticky jen v odeslání vstupních dat do GPU. Ale nato už jsme celkem zvyklí, protože na Widlích 7 máme Amfeltec Multi GPU Cluster a je to obdobné připojení.

Ještě mne napadlo si zkusil na Ubuntu přidat Blender a otestovat GPU Render i na něm, jestli ten "zámrz" nebyl způsoben něčím jiným.

[Reklama]

[panRajce]

Pro plnohodnotne cuda a renderovani neni potreba plnohodnotne pripojeni grafaren? Ne to co maji mining desky, peipojeni pres risery.

Najdi si na youtube video od x computers jak stavi server s 10 gpu nvidia pro renderovani.

Tak jsme si to video našel.
Ale ty máš spíše dotaz. Tak se pokusím na něj snad smysluplně odpovědět.
Máme comply s Amfeltc Multi GPU Cluster a Widlema 7. Karty jako takové jsou osazené do desky s PCI-e 16x
https://amfeltec.com/wp-content/uploads/2014/07/SITE_2.jpg
Ale v PC je celá sestava zapojena do x1 PCIe přes Host Board
https://amfeltec.com/wp-content/uploads/2014/07/11.jpg

A funguje to .... tutíž z toho plyne, pro GPU renderin NENÍ nutné mít grafiky zapojené do plného PCI-e.
Samozřejmě to má omezení, hlavně v rychlosti komunikace, tedy naládovat data do grafáren  chvíli trvá. Přijmout výsledný výpočet už není tak náročné na komunikaci.
V tomto případě ale rychlost odesílání vstupních dat bude předpokládaně přeci jen o něco vyšší. Jelikož zde je vždy 1 PCI pro jednu kartu na riseru. Amfeltec přes jeden PCI Host Board obsluhuje až 4 GPU.

Z této zkušenosti jsme i vyšli při pořízení "mining" desky.
A proč stavět jeden PC s 12GPU na místo třeba 4x PC s 4GPU .. odpověď je jednoduchá .... licence na Octane Render.
Ano, má to také své omezení. Např. to 1x PC s 12GPU (1 Daemeon) může najednou využít jeden uživatel. V případě využití 4x PC s 4GPU se můžeme domlouvat, kdo si jaký stroj na práci převezme. Ale to už máme  Teď chceme postavit právě jeden brutal force PC pro GPU rendering hlavně animací.

[_Jenda]

Pokud mám tedy správný pocit, tak není nutné instalovat ovladače nVidia, ale pouze CUDA Tool kit ....

Já to teda znám jenom z pohledu admina stroje na kterém se smaží TensorFlow a hashcat, ale tipl bych si že CUDA jako CUDA. A na to driver samozřejmě potřeba je. Viz též https://en.wikipedia.org/wiki/Nouveau_(software)#OpenCL

Furt jsi neposlal ten log na čem Xka zhebnou.

A jinak my na tom stroji na TensorFlow vůbec Xka nespouštíme, podle mě jsou potřeba maximálně pro nastavení větráků. Ale pokud ten renderovací soft Xka potřebuje (a potřebuje je na té stejné grafice na které běží!), tak je samozřejmě mít musíš.

[k3dAR]

- po restartu odmítá přihlášení do čistého Ubuntu ani GNOME, nutné nastavit na Ubuntu + Wayland, pak se přihlásí na plochu (nefunkční VNC :/)

zkus to z Xubuntu, nebo do stavajici instalace nainstalovat prostredi Xfce(resp. xubuntu-desktop metabalik) a/nebo misto DM GDM pouzit LightDM

Kód: [Vybrat]

sudo apt install xubuntu-desktop lightdm
dalsi moznost je (pokud nepozadujes pristup k Desktop i u fyzickeho stroje na fyzickem monitoru, ale stacilo by jen to VNC, priinstallovat xorg dummy ovladac, kterej udela "imaginarni grafiku + imaginarni monitor" a vnc server (v mem pripade x11vnc) tuto nabehlou imaginarni plochu zpristupni pres vnc, podrobnosti sem psal tady: https://forum.root.cz/index.php?topic=21075.msg310045#msg310045

jeste me napadlo zda by nepomohlo jen pridat nomodeset kernel parametr, ale to by asi resilo jen pripad ze se ti ani nezobrazi login manager, coz tobe zobrazi jen nejde prihlasnei do desktopu nad X11...

[panRajce]

zkus to z Xubuntu, nebo do stavajici instalace nainstalovat prostredi Xfce(resp. xubuntu-desktop metabalik) a/nebo misto DM GDM pouzit LightDM

Kód: [Vybrat]

sudo apt install xubuntu-desktop lightdm
dalsi moznost je (pokud nepozadujes pristup k Desktop i u fyzickeho stroje na fyzickem monitoru, ale stacilo by jen to VNC, priinstallovat xorg dummy ovladac, kterej udela "imaginarni grafiku + imaginarni monitor" a vnc server (v mem pripade x11vnc) tuto nabehlou imaginarni plochu zpristupni pres vnc, podrobnosti sem psal tady: https://forum.root.cz/index.php?topic=21075.msg310045#msg310045

jeste me napadlo zda by nepomohlo jen pridat nomodeset kernel parametr, ale to by asi resilo jen pripad ze se ti ani nezobrazi login manager, coz tobe zobrazi jen nejde prihlasnei do desktopu nad X11...

Uf ....  už to začíná být na mne složitý. Ale když si to ještě pětkrát přečtu a vygůglím některé pojmy, tak to možná dám.
Něco z toho co zmiňuješ, tak jsem v některých návodech i postřehl. Jako třeba místo GDM pouzit LightDM.
Jinak tenhle PC monitor fyzicky připojen má v HDMI v integrované desce. Zatím. Ale je možné, že nastane chvíle, kdy opět využiji tvojí rady z mého vlákna s VNC a připojením bez monitoru 

Furt jsi neposlal ten log na čem Xka zhebnou.

bohužel log není, jak jsem psal na začátku, došlo k totální reinstalaci včetně formátu SSD. Jedině až tedy znovu nainstaluji ovladač a CUDA a opět to zhebne 

[Jan Fikar]

Já to teda znám jenom z pohledu admina stroje na kterém se smaží TensorFlow a hashcat, ale tipl bych si že CUDA jako CUDA. A na to driver samozřejmě potřeba je.

Předseda má pravdu, na CUDA je binární ovladač nvidia potřeba, dokonce ne libovolná verze, ale taková, co se CUDA bude líbit. T.j. ne moc stará třeba.

Ale na CUDA není potřeba Xorg, nejde pouštět ten program jen v konzoli třeba?

[k3dAR]

Uf ....  už to začíná být na mne složitý.

je to jednoduche, bud doinstalujes ty 2 "balicky" co jsem psal, nebo nainstalujes na cisto Xubuntu z Xubuntu ISO :-)
jo to VNC bylo tvoje, takze s dummy+x11vnc uz ses kamos :-)

[panRajce]

Předseda má pravdu, na CUDA je binární ovladač nvidia potřeba, dokonce ne libovolná verze, ale taková, co se CUDA bude líbit. T.j. ne moc stará třeba.

To je pro mě důležité sdělení, že musím instalovat jak ovladač, tak CUDA.

Ještě otázka, jestli je nezbytné i "přepnout" primárně na nvidia nebo nechat na Intelu
sudo prime-select nvidia

Ale na CUDA není potřeba Xorg, nejde pouštět ten program jen v konzoli třeba?

V konzoli, resp. přes terminál Octane Daemona spouštím. Dokonce se mi podařilo aby byl spuštěn při startu. Jelikož Pc nebude mít jiné využití.
Jinak CUDA právě pro Octane Render je podstatná. Při svém prvotním pokusi jsem nejprve instaloval samotný ovladač nVidia - DTTO https://www.linuxbabe.com/ubuntu/install-nvidia-driver-ubuntu-18-04 - druhý způsob terminálem. Bohužel po intalaci Octane Slave Daemon a jeho spuštění dojde k chybovému hlášení že není nalezena CUDA. Tu jsem tedy dodal přímo podle pokynů na nVidia CUDA Toolkit - https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1804&target_type=deblocal
Pak už mi Daemon naběhl. Viděl jsem jej pro připojením v okolních PC pro Octane Network Rendering. Při spuštění renderingu přes něj ale došlo totálnímu zámrzu PC s Ubuntu.

osobně vidím tři možné chyby
1) nejpravděpodobnější = tzv "chyba mezi klávesnicí a židlí" = špatný postup instalace
2) konflikt mezi integrovanou grafikou Intel na které běží "plocha" a kartami nVidia
3) po vyloučení těchto dvou zbývá HW problém, tedy že jedna z těch dvou GTX 780 Ti je K.O., ale momentálně tu nemám k dispozici volné jiné GPU jednotky, takže pracuji s tím je dostupné.

Jinak ještě připomenu -  jsem uživatel postižený Widlema a ikonkama a tak k tomu i víceméně přistupuji. A snažím se také aby to bylo user-friendly pro ne-Linux kolegy. A pro mě také  Peru se s tím jak můžu. UBUNTU poznávám asi 3 týdny ... relativně ve volném čase, nebo v meziprostorech při práci.

[Jan Fikar]

problém patrně bude s tím prime, pokusně bych to vyhodil a tím pádem pojede X na nvidia

[_Jenda]

Ještě otázka, jestli je nezbytné i "přepnout" primárně na nvidia nebo nechat na Intelu
sudo prime-select nvidia

O prime-select slyším poprvé a to ten zmiňovaný počítač Intel s integrovanou GPU má. Prostě jsem to vůbec neřešil, nainstaloval jsem uvedené (driver + CUDA + tensorflow-gpu + hashcat), spustil jsem to a ono to jelo. Správnou grafickou kartu si ty programy samy detekují při spuštění. Podle toho co jsem teď vygooglil je prime-select věc pro notebooky s Optimus, které mají sdílený video výstup, což není tvůj případ.

Takže ještě jednou, vykašli se na grafické přihlašování, ale nainstaluj uvedené a spusť třeba "hashcat -b".

[AsciiWolf]

Uf ....  už to začíná být na mne složitý.

je to jednoduche, bud doinstalujes ty 2 "balicky" co jsem psal, nebo nainstalujes na cisto Xubuntu z Xubuntu ISO :-)
jo to VNC bylo tvoje, takze s dummy+x11vnc uz ses kamos :-)

Neraď mu komplikované blbosti. GNOME ani GDM za jeho problémy nejspíš nemůže, navíc je GNOME standardní (na rozdíl od Xfce) podporované enterprise prostředí.