Elektr. stabilizace obrazu u GoPro z hlediska časového zpoždění

[ludmil]

Věděli byste, jak funguje elektronická stabilizace obrazu u kamer (například gopro) z hlediska nějakého stavového diagramu, flow a časového zpoždění?

Teoreticky by otázka seděla i na optickou stabilizaci i stabilizaci čipu....

Například kamera s 12 MP čipem, ze kterého dělá video 1920x1080 crop (a zvládá to se stabilizací i v 60fps), tudíž políčko má dostatečný prostor kolem (nicméně asi to ve skutečnosti funguje tak, že snímá v 2700x1520@60 a pak ořezává, 4K(8MP)@60 natož 12MP@60 nezvládá)

Stabilizace umí:
-korekci rotace
-korekci posunu (yaw / pitch na velkých vzdálenostech)
- zoom patrně ne


Jádro pudla je v tom, že stabilizace má nějaké výstupy:
- Provést rotaci obrazu o A stupňů
- zvětšit/zmenšit obrazem faktorem Z
- provést ořez na cílové políčko se středm X0,Y0
= to vše pro konkrétní snímek zvlášť

Stabilizace má i nějaké vstupy:
-(1)vstupy z gyroskopu (to by asi teoreticky stačilo, jde o "derivaci" náklonu získanou z čidla náklonu, které se získává měřičem zrychlení, otázka co je přesnější), údajně snímají na frekvenci kolem 100Hz-kHz
-(2)teoreticky samotný obraz může být vstupem, ze kterého se můžou získávat ůdaje pro stabilizaci (ovšem na mnohem nižší frekvenci rovné framerate, ale ve vysokém rozlišení asi patrně) --- takto pracují i efekty POST-stabilizace v střihových programech.


Mě by zajímalo, jak je to celé řetězeno, z hlediska toho, jestli použití stabilizace vnáší to zpracování videa nějaké zpoždění, zároveň, jestli tam to má nějaké frekvenční anomálie (že třesení v určitém rozsahu frekvencí to stabilizuje dobře a v jiném vůbec)

Případně zda stabilizace pracuje realtime a zda se pro stabilizaci používají jako vstup samotná obrazová data(2) nebo jen ty senzory(1).

[Reklama]

[RDa]

1. Jednoduchy pristup:
 - korigujes jen x/y offset, takze se posouva crop. Vycitana data ze snimace jsou vzdy vetsi nez vystupni rozliseni

1A) - crop po vycteni, v radu desitek px
1B) - zmeni se offset na snimaci, pozice kdekoliv

2. Slozity pristup:
 - modifikujes nastaveni ISP? no spis ne, protoze zvlaste u gopro se nedela normalizace obrazu a zustava tak divne zkresleny - nekoriguje se fisheye look

Korekci provadi v postprodukci (ale realtime) system od Sony, kde se cele hriste snima dvouma statickymi 4K kamerama a v tom se pohybuje virtualni kamera - kvuli zkresleni obrazu to vychazi na takovej kosouhelnik se soudkovitymi hranami.

[m]

Stabilizace má i nějaké vstupy:
-(1)vstupy z gyroskopu (to by asi teoreticky stačilo, jde o "derivaci" náklonu získanou z čidla náklonu, které se získává měřičem zrychlení, otázka co je přesnější), údajně snímají na frekvenci kolem 100Hz-kHz

Pokud se má korigovat posunutí i rotace, tak bude použit nejspíš akcelerometr i gyroskop. Odhad rotace pouze  pomocí akcelerometru by v různých situacích selhával.

-(2)teoreticky samotný obraz může být vstupem, ze kterého se můžou získávat ůdaje pro stabilizaci (ovšem na mnohem nižší frekvenci rovné framerate, ale ve vysokém rozlišení asi patrně) --- takto pracují i efekty POST-stabilizace v střihových programech.

Detekovat posun a rotaci ze samotného obrazu bude dost výpočetně náročné ... zda na to mají dost výkonu je otázka. Asi záleží, jak kvalitně to má funtgovat.

Mě by zajímalo, jak je to celé řetězeno, z hlediska toho, jestli použití stabilizace vnáší to zpracování videa nějaké zpoždění,
........
Případně zda stabilizace pracuje realtime

Určitě, každá operace/výpočet nějak dlouho trvá. Otázka zní, zda tato informace k něčemu je. Data se ukádají na kartu a jestli tam jsou za 1us nebo 10ms od pořízení snímku je asi jedno. Realtime to pracovat musí, jinak by nešlo nahrávat nekonečně dlouho (přetekla by vyrovnávací paměť).

zároveň, jestli tam to má nějaké frekvenční anomálie (že třesení v určitém rozsahu frekvencí to stabilizuje dobře a v jiném vůbec)

Určitě ano. Už jen to, že pomalý pohyb to musí zachovat, aby šlo pohled zamířit někam jinam. Primárně stabilizace obrazu má potlačit vysoké frekvence - tj. nějaká forma low pass filtru. Nicméně od určité frekvence výše zase začnou "selhávat" snímače, protože mají také omezený frekvenční rozsah.