Myslíte vyfotit si obrazovku, pomocí OCR z ní něco vyčíst a na tom základě pak něco udělat? Pokud je to ve windowsech, a používají normální heavy weight widgety, tak se dá vytáhnout struktura, vyčíst z patřičných oken, a naopak zase do patřičných oken sáhnout, poslat jim klávesy, kliknutí na tlačítka a podobně. Je to vojeb ale dělal jsem to např. pro BAAN. Jsou na to nějaké nástroje.