Tak to opravdu vypadá, že zmiňované nastavení atributů okna nebylo v Qt5 implementováno a musí se udělat pomocí Xlib, nebo XCB:
from Xlib import display, Xatom
...
disp = display.Display()
_NET_WM_WINDOW_TYPE = disp.intern_atom("_NET_WM_WINDOW_TYPE")
_NET_WM_WINDOW_TYPE_DESKTOP = disp.intern_atom("_NET_WM_WINDOW_TYPE_DESKTOP")
_NET_WM_WINDOW_TYPE_DOCK = disp.intern_atom("_NET_WM_WINDOW_TYPE_DOCK")
win = disp.create_resource_object("window", int(window.winId()))
win.change_property(_NET_WM_WINDOW_TYPE, Xatom.ATOM, 32, [_NET_WM_WINDOW_TYPE_DOCK])
...