Program, script, macro recunoastere simboluri

Sa vedem daca reusesc sa explic. Am nevoie de un program/script care sa faca urmatoarele:

Varianta 1:
(In primul rand, nimic din ce apare pe ferastra aplicatiei nu are o clasa/variabila/element
de identificare. Cel putin aplicatia nu il afiseaza. Deci cred ca trebuie recunoscute ca imagine)

-Sa recunoasca simbolurile din fereastra aplicatiei si sa le noteze ca text in programul
de calcul. Textul va fi predefinit inainte pentru fiecare simbol din cele 30.
-Sa recunoasca fiecare numar din cele 3 si sa le noteze ca text in program.
-Sa recunoasca fiecare litera si sa apese butonul corespunzator acesteia in program.
-Sa apese butonul de calcul
-Sa recunoasca rezultatul din program si in functie de el sa apese unul din cele 3 butoane ale
aplicatiei. (Sunt 3 rezultate posibile, fiecaruia ii va fi atribuit un buton din aplicatie)

Toate astea in 10 secunde. (programul de calcul afiseaza rezultatul in cateva milisecunde)

Varianta 2:

Sa copieze din desfasuratorul de text (nu apar toate liniile o data ci una la 1-2 secunde)
doar cuvintele care intereseaza (triunghi, cerc, 15 etc) si sa le introduca in campurile de
text ale programului.
Liniile au optiunea de copy to clipboard. Desigur, ramane problema cu butoanele 1/2/3 dar
ma gandesc ca la alea li se poate lua pozitia si facut un macro care sa dea click in functie
de rezultatul afisat in program.

Deci...e posibil asta? Daca da, la ce pret ajunge?

Multumesc!

Edited by baliosss, 26 November 2016 - 08:59.

baliosss, on 26 noiembrie 2016 - 08:58, said:

Nici lista/desfasuratorul? Te-ai uitat cu un programel gen spy++ si n-ai o lista WinAPI acolo? Daca da, e usor sa extragi textul din ea.

M-am uitat cu Active Window Info. Incerc acum si cu Spy++.

Nu am reusit cu winspy++. In schimb am reusit sa vad ceva cu Autolt. Insa nu imi da clasa pentru fiecare linie, ci pentru intreaga casuta.

Pai asa e controlul. Dar cu SendMessage() sau alte functii poti sa-i ceri ce vrei. Vezi in MSDN lucrul cu WinAPI.

Ok, ms frumos! Acum caut sa vad ce si cum.

Mda! Cade varianta 2 deoarece in desfasurator nu imi scrie si simbolurile din al doilea grup.

Se obtine imaginea cu pixelii din fereasta cu figurile geometrice si spor la joaca cu matricile, ca asta inseamna detectia. Insa cum stii figurile, stii si locatiile, faci un sablon de detectie.

Stii cumva aproximativ la ce pret ar putea ajunge asta?
As vrea sa vad daca e mai rentabil sa il cumpar decat (sa incerc) sa il fac. Nu e chiar domeniul meu de activitate.

Edited by baliosss, 26 November 2016 - 14:05.

Probabil iesi mai ieftin daca ceri o solutie-cap coada pentru o anume problema, decat sa se chinuie cineva sa interpreteze ce deseneaza un program pe ecran.

Pai problema e ca programul ala nu poate suferi modificari. Si am nevoie de el, nu imi foloseste nimic altceva.
Programul care face calculele se poate modifica. Adica nici ala nu e open source dar se poate face altul care sa foloseasca aceeasi baza de date, dat fiind ca e in cloud si pot avea API de la ea contra cost. Insa celui care afiseaza imaginile nu i se poate face nimic.

Edited by baliosss, 26 November 2016 - 15:16.

OpenCV?

Multumesc! O sa il descarc sa ma uit prin el. Am google-it toata ziua dar nu am dat de el.
Am gasit in schimb unul care se numeste WinAutomation Console. Chestia e ca trebuie sa incarc imaginile manual iar "se uita" daca respectiva imagine apare in acea ferastra. (if image triunghi click on...else if image patrat...etc).

Chestia e ca nu stiu cat dureaza pana o gaseste. Trebuie sa imi gaseasca vreo 5 imagini in 10 secunde, fiecare imagine avand o pozitie fixa in fereastra.

Vezi ca e framework (necesita programare), nu software per-se. E nativ C++, dar gasesti wrappere si pentru .NET. Gasesti destule exemple/tutoriale, dar ar fi bine sa citesti si ceva documentatie/teorie de analiza. Se mai gasesc si vreo 2-3-4 carti destul de bine scrise.

Multumesc!