Jak je udělán tracking ve videu?

[Prizma Kazma]

Mám dotaz na "kreativce":
Ukázka je zde: https://www.youtube.com/watch?v=DKGJovs9aGQ#t=1m01s
V jakém střihovém programu a s jakými vstupními daty , s jakým hardwarem a jakým způsobem se dalo udělat podobná kompozice (údajně v přímém přenosu, říkal u krause Kraus) , že do obrazu přidají letadlo jiného protihráče "jako referenci). Vím, že tam asi mají drahé programy, drahé kamery, gps atd.

Mě by jen zajímal způsob, jak toto bylo uděláno. Napadá mě jedna možnost, že kamera zabírá všechny letce s identickou drahou a v známém čase. Poněkud možná staromódní způsob, ale i tak by tam bylo nutné vyřešit otázk maskování (aby se blendovalo jen letadlo).

Jenže oni tam za ním dali i vlajku, takže buď její polohu museli určit ze snímků letadla (např primitivní zpoždění o pár snímků, opět staromodní, ale i tak by museli určit střed a orientaci vlajky) a nebo fakt nějak museli mít záznam gps polohy. Jak potém promítli na dané souřadnice letadlo (je to jen model nebo skutečný záznam soupeře?) a vlajku s danou orientací?

[Reklama]

[Alex]

Neberou to z ADS B transponders? Přijímač je hodně levný. Aktualizace dat po půl sekundě a tu dráhu aproximuji.

[RDa]

Tento ukol se da rozdelit na dve casti
1) zajisteni polohy letadla v case
2) renderovani

K 1) lze pouzit
a) live broadcast: ADS
b) custom reseni pro tyto soutezny eventy (a la G senzor pro formule)
c) offline zaznam tehoz
d) fotogrametricke rozpoznavani ze zeme

Podle me je to B - kdyz na ty letadla uz dali ten HD prenos z kokpitu, tak nejake metadata z GPS a gyra tam soupnete take.

Pak nastava bod 2 - rendering. Na to muzou mit specialni sw, obdoba zas toho co kresli ilustrace nad hrace fotbalu. Zde je potreba znat smer kterym se kamera kouka a jak moc ma nazoomovano Pak se tam narenderuje 3D scena s urcitou pruhlednosti. Ten viewport muze byt urcen rozpoznavamim featur v obraze (v podstate ty branky), nebo prostym meridlem na kamere.

Apropo Google is your friend:
https://www.redbull.com/int-en/tv/video/AP-1V2N93BY11W11/behind-the-air-race-the-ghost-plane

[Jenda]

Kdyby to po mně někdo chtěl vyrobit, tak bych vzal kameru, která pomocí gyroskopu, akcelerometru a/nebo optických enkodérů na všech osách (https://en.wikipedia.org/wiki/Cinetheodolite, pro tuhle přesnost to může být klidně malá levná krabička na stativu s kamerou, i s historickou Dahltou 020 jsem po krátkém zaškolení neměl problém měřit s přesností 1 úhlová minuta) k videu přidává tagy kam se dívá + s jakou ohniskovou vzdáleností. Následně se v obrazu rozpozná letadlo (proti obloze je docela kontrastní, vsadil bych se, že to dá nějaký defaultní algoritmus na trackování/segmentaci z OpenCV) a tím víš neúplné souřadnice (vzdálenost od kamery musíš odhadovat velikostí, ale pokud se kamera nepřesouvá, ale jenom otáčí, je to jedno). Následně to letadlo nakreslíš (netransplantuješ, ale vyrenderuješ) na správné souřadnice do videa druhého letadla (kam se kamera kouká víš, takže to můžeš přepočítat), orientaci získáš ze segmentace. Viděl bych tam vhodný lag pár framů u zdrojového videa, jak letí mezi těmi kužely, tak chviličku není vidět celé a tracking ho může ztratit - díky tomu bys mohl při ztrátě na pár framů pohyb interpolovat, ne jenom extrapolovat, což by mohlo být vidět nějakým cukáním. Samotný inpainting by pak podle mě měl jít bez problémů realtime.

[Jenda]

Btw. frajeřina by byla nemít na kameře teodolit, ale potřebná data o poloze počítat z tribun a dalších nehybných věcí v pozadí (kdyby zabírala jenom oblohu, tak mraků, což funguje jenom krátkodobě než je vítr odfoukne).

[Reklama]

[andy]

Asi ide o pocitacom riadenu kameru. Nasledne to moze byt renderovany 3d model a kompozicia. Ale moze tam byt kludne aj nejaka pokrocila technologia. Pokrocilou myslim napr https://www.youtube.com/watch?v=J7xIBoPr83A.

[Uuuu]

Ja bych rekl ze i z 2D fotografii jde zjistit opticky tok, podle tech vektoru lze v kazdem momente najit zda mam kapotu ke kamere nebo od kamery, podle toho z vektoroveho toku najdu ohnuty obdelnik a do nej vlozim vlajku.