Obávám se, že si to budeš muset napsat, když to chceš ,,bez GUI". Proč? Omezený hardware to asi nebude, když to umí v reálném čase ukládat mp4.
Kdyby to po mě někdo chtěl a nechtěl zaplatit vývoj ,,hezkého" řešení, tak bych spustil Xka (bez grafiky, tak jako to dělá třeba program "vncserver"), v nich ten xtightvncviewer a jeho okno zachytával ffmpegem pomocí x11grab. To je skript na pár řádků.