Zatím jsem to řešil tak, že jsem spouštěl celé GUI.
Ano, ale spouštěl jsi ho tak, že se kreslilo do hardwarové grafiky (jejíž ovladač evidentně nefunguje a kterou nepotřebuješ, akorát tě to stojí výkon). Pokud použiješ nějaký nested X server (vncserver, xnest, xephyr), tak to s HW grafikou nebude mít nic společného.