Pokud si přidáš repozitář ze sida, budou se ti chtít aktualizovat všechny balíčky a skončíš s unstable. Je potřeba udělat
echo 'APT::Default-Release "bookworm";' > /etc/apt/apt.conf.d/01
pak se budou balíčky ze sida instalovat jen když to vyžádáš (apt-get -t unstable install) nebo je to nutné kvůli závislostem.
Osobně bych možná šel opačnou cestou a nejdřív zkusil balíček z bullseye. Respektive se během upgradu dívat, jestli ho něco nechce odstranit, a po dokončení upgradu bych ho ručně neodstraňoval. Otázka je jestli balíček ze sida nemá nějaké patche aby fungoval s novějšími kernely, ale to zjistíš když nepůjde zkompilovat modul…