Motor cautare imagine-ideograme

Pentru cei care sunt softisti de meserie.
In topicul "Originea românilor, Istoria României,românilor: anii500-1200" , post 10344, am ajuns cu discutiile intr-o situatie in care se afirma ca turcii au pus fotocopii ale documenteleor istorice la dispozitia publicului. Documentele sunt foarte multe si sunt scrise-n turca veche. Trebuie facuta selectie!
Ce solutie ne dati pentru selectia documentelor dupa anumite simboluri, ideograme, grafica?

Advanced Image Search si "cuvinte potrivite".

Krumel, on Oct 2 2007, 09:23, said:

Da o cautare pe pictograme sau ideograme?
Adica sa zicem ca selectez "peninsula iberica" ca imagine sau o imagine a unei scrieri si vreau sa vad in care din documente o gasesc?

Nu o sa mai ai nevoie de Image Search , ci doar de "cuvinte potrivite".

Krumel, on Oct 2 2007, 18:08, said:

uite aici, sa zicem ca scrie in turca medievala " vlah"
 scris_turca.jpg   2.16K   11 downloads
nu cred ca-i chiar asa simplu, poate fi scris mai gros, mai subtire, mai lung, mai scurt,etc... deci tre sa faca o selectie de potrivire peste 70% sa zicem.

daca am o biblioteca de 1 milion de pagini, cum caut aceasta imagine in ea?

Mergi pe Google si scrii: "vlah in medieval turk dialect/language" si iei paginile la frunzarit.

Momentan nu prea exista criterii de cautare imagini de felul celor date de tine.
Exista doar modalitati de identificare font dupa anumite criterii.

Ptr. imagini, formulezi cat mai concret cautarea.

As sugera sa cauti pe Web si nu pe Imagini. In primul rand gasesti dupa diferite formulari si abia apoi, daca site-ul are imagini, dupa imagini.

Krumel, on Oct 3 2007, 10:57, said:

Nu e vorba strict de web. Eu vad ca un soft de identificare imagine, ceva in genul celui de la criminalistica pentru amprente. Cred ca niste meseriasi ar putea face asta .
Ca trebuie sa lucrezi cu o baza de date si multe variabile.
Odata am vazut prezentat un soft ce-ti gasea locul din care era rupta o mica bucatica de harta. Dar nu-mi amintesc unde anume, ca e posibil sa fi vazut pe net sau pe la vre-o expo.

astea deja sunt alte chestii. aplicatiile de genul se bazeaza in primul rand pe niste "stereotipuri".  adica o aplicatie de genul poate face exclusiv un anume task: sa compare amprente; sa construiasca un puzzle; sa gaseasca locul unei sub-imagini intr-o imagine; sa aproximeze un text scris de mana intr-o anumita limba; etc etc etc.
eu ma uit la poza postat de tine si vad niste linii curbe si niste puncte. atat vede si programul. acuma daca te gandesti de ex la japoneza, anumite silabe sunt scrise intr-un anume mod. ba chiar exista doua silabe care arata aproape exact la fel, doar ca la una pensula merge de jos in sus si la ailanta de sus in jos. asta e toata diferenta. programul va trebui cumva sa detecteze aceasta miscare ca sa stie despre care silaba e vorba.
acuma daca vorbim de turca medievala, se aplica aceleasi reguli: trebuie ca programul sa detecteze corect tot ce e acolo, ori pentru asta ai nevoie de cel putin un lingvist si un X (cum s-o fi numind ala de se ocupa cu scrieri) experti in turca medievala care sa asiste programatorul. ori un astfel de task necesita o tona de bani si timp.

Dar exista un soft care sa poata fi adaptat sau trebuie realizat integral?
Ca trebuie nu numai sa citeasca si sa identifice ci sa faca operatii de rotire, marire micsorare, aproximari, etc...
Daca nu exista ,inseamna ca niste programatori buni de-aici si unu-doi cunoscaturi de arhaisme turcesti pot face un business pe cinste si le-ar lua banii turcilor si nu numai. Iar castigul pentru istorie ar fi deosebit.

daca exista soft ada[tabil depinde de programatorii care l-au scris. daca au facut un design solid si s-au tinut de el, atunci raspunsul este afirmativ. dar cum marea majoritate a softurilor in general nici macar nu au un design oarecare, iar dintre cele care au, foarte putin au unul facut cu cap, avand in vedere si generalizarea, sansele sa gasesti un soft adaptabil pentru cerintele tale sunt aproape nule.
ai putea gasi bucatele de soft-uri care sa le re-folosesti (si nu ma refer la mariri, rotiri, etc, care sunt ofeirte de librarii), dar chiar si asa vei avea nevoie de o tona de munca.
practic, pentru ca asa ceva sa iasa bine, ai nevoie de un buget urias, un arhitect soft cu experienta generala mare sau cu experienta putina dar in aplicatii de genu, experti in domeniile conexe (istoric, lingvistic,e tc) si o trupa de programatori al caror numar este invers proportional cu timpul alocat terminarii proiectului. o estimare cate de cat corecta si reala iti poate face cineva cu experienta in asa ceva (nu eu).
in functie de numarul de programatori, iti poate lua oriunde undeva intre 6 si 12 luni pina sa ai ceva utilizabil, si cel putin inca 3 luni de teste si bugfixing (care teste va trebui sa fie facute ce acei experti folositi la inceput), si apoi vei avea nevoie de 2-3 oameni care sa fie disponibil pentru bug-fixing si imbunatatiri cel putin pentru inca 6 luni. si abia atunci o sa ajungi la nivelul la care sa spui ca poti aplica softul pe bune cu rezultate corecte. moment in care va trebui sa il omologhezi cumva. pentru ca altfel, rezultatele scoase de el nu vor avea suficienta greutate pentru a fi important. eventual daca expertii aia au dreptul sa garanteze ca softul face ce trebuie si o face bine atunci e si mai bine.
si apoi, trebuie sa tii cont de faptul ca un numar foarte mare de proiecte nu ajung niciodata la finalizare (procentul e undeva mult peste 50%, dar mi lene sa caut acuma valoarea corecta). deci trebuie sa fi pregatiti sa pierzi banii investiti pina la momentul in care proiectul moare. motive sunt destule: ramai fara bani (dai faliment, ti se aplica o amenda uriasa, irelevant de ce), ramai fara (unii) oameni (cheie), apare ceva mai interesant/profitabil si pui acest proiect pe hold sau il anulezi cu totul, se hotaraste guvernul turc ca informatiile alea defapt nu sunt publice free ca tre sa platesti x care adunandu-se, iese o suma ca nu se merita sa mai faci programul, sau pur si simplu o bomba nucleara rade turcia :D, ma rog, lasand gluma la o parte, orice motiv poate exista care sa stinga din viata proiectul in curs si banii aia nu-i mai vezi.
acuma gandeste-te ca in chestia asta trebuie cineva sa bage bani: unul sau mai multi investitori.
mai intai, cineva va trebui sa bage destul de multi bani pentru a face o estimare. care estimare nu se paote face din cap. cel care face estimarea trebuie sa vorbeasca cu expertii aia, sa inteleaga exact ce anume trebuie facut si ce presupune toata treaba asta. apoi el iti va estima pentru termenul limita stabilit de tine cati oameni trebuie sa iti lucreze, din ce domenii, cu ce cunostiinte si experiente. si apoi iti va face un total. acest total tu o sa il inmultesti cu 1.4 (cam 40% marja de eroare pentru 1 an de dezvoltare (chestii pe care omul de dinainte nu le-a luat in calcul). si procentul asta variaza, atat in functie de timp cat si de oameni si resurse folosite) si in final ai gasit suma finala.
dupa ce ai suma, va trebui sa te gandesti in cat timp se amortizeaza suma aia si apoi sa gasesti investitori care vor fi dispusi sa iti finanteze proiectul.

asta asa .. ca o idee de ansamblu si de suprafata a ce te asteapta pe tine sau pe cine vrea sa se ocupe de un proiect de calibrul asta 9care intre noi fie vorba, intra la categoria proiecte mici.)

alternativa este sa contractezi o firma de soft, dar in acest caz, desi scapi de tot tambalaul si stresul mentionat mai sus, vei plati inca un 20-30% (cel putin) in plus - profitul firmei respective. iar eu am auzit si de procente din 3 cifre, mai ales la proiectele care sunt cumparate doar de catre 1 client.

si daca mai adaugi ca un astfel de proiect nu prea are cumparatori ... eu sa am banii necesari si nu m-as baga in asa ceva decat daca vreau sa arunc banii pe fereastra. SAU, am primit un pont puternic si sigur ca cineva mare (gogu, ministeru x turc, etc) e interesat si sigur va pune banii jos si in cel mai rau caz imi amortizez investitia si nu fac profit.
asta e genul de proiect pentru care ca sa gasesti investitori trebuie sa ai deja clienti siguri.

Eu vad lucrurile mai simplu si nu mi-e greu sa fac o tema de proiectare.
Voi vedea unde gasesc amatori sa se ocupe de asta. Prin extinderea unui motor din word cred.

bafta :)

nu cred ca e nevoie de asa mare buget. Gaseste doar un om care sa inteleaga ce scrie si un student la calculatoare in an terminal care nu si-a gasit inca lucrare de licenta. E vorba de un soft de recunoastere a formelor dintr-o imagine. Eu am facut asa ceva dar era ceva simplist si recunostea litere romane. Oricum, nu e asa complicat pe cat pare

aici nu e vorba de recunoastere caractere, e vorba de recunoastere scris. e o cu totul alta mancare de peste. acelasi caracter are x zeci/sute/mii de forme. ma rog.

ciuly, on Oct 3 2007, 07:21, said:

Cred ca biz_ro se gindea la ceva in genul Linux, o colectie de entuziasti care colaboreaza in timpul liber.

Exista ceva aproximativ similar, unde poti sa upload un crimpei de imagine .jpg, .gif etcetera si care recunoaste automat fontul folosit in textul din interiorul imaginii.

http://www.myfonts.com/WhatTheFont/

Ma indoiesc ca turca medievala e dintre fonturile recunoscute. De fapt poate ar fi mai usor de pornit de la limba latina si recunoscut fonturile sau literele scrise de mina in epoca medievala timpurie.

Un program ar trebui sa fie destul de eficient pentru a recunoaste literele si a le combina in cuvinte. Odata recunoscuta o litera, trebuie controlat cu literele imediat precedente, pentru a evita trei consoane una dupa alta sau alte asemenea nonsensuri.
Ar trebui folosita frecventa de alaturare a literelor in limba latina, asta e cunoscuta. Fiecare crimpei de imagine ar fi asociat cu toate literele din alfabet, in oridinea probabilitatii de identificare. Adica portiunea de imagine  D
ar avea probabilitate .7 sa fie litera D si probabilitatea .2 sa fie litera P si probabilitatea .1 sa fie litera B. Aceste probabilitati ar trebui sa fie inmultite cu probabilitatea cu care acea litera  D urmeaza litera imediat precedenta, masurata in dictionarul latin.
Se selecteaza litere tot asa pina la sfirsitul cuvintului. Daca cuvintul rezultant nu exista in limba latina, procesul se ia de la capat, folosind alternativele probabilistice imediat succesive.

Edited by OvidiuD, 04 October 2007 - 19:37.

biz_ro, on Oct 2 2007, 14:59, said:

ceea ce vrei tu se cheama ocr
din pacate pt scrisul de mina (nemaivorbind de ideograme ciudate) sansele de recunoastere scad considerabil
cauta abbyy pe google

scrisul de mana nu se poate incadra intr-un font. deci tehnica fonturilor cade. la fonturi ai caracteristici fixe pe care te poti baza pentru a le recunoaste. nici macar nu trebuie sa cunosti limba. dar la scrisul de mana deja lucrurile se imput. Chiar daca pe vremuri scribii aveau o caligrafie buna spre foarte buna, nu se compara cu caligrafia unui font care mimeaza scrisul de mana. acelasi om putea sa scrie azi intr-un fel, maine, fiind stresat/grabit/whatever, altfel.
gata, nu va mai combat. cine intelege problema, stie ca nu e o chestie atat de simpla pe cat pare unora.

ma gandesc ca threadul asta sta totusi mai bine la programare :) dark?

ciuly, on Oct 5 2007, 11:01, said:

Uite cum vad eu problema si de ce consider ca e abordabila de un specialist.
Eu numesc specialist pe cel care poate aplica intr-un domeniu cunostintele sale si care poate gasi solutii in acel domeniu. Eu nu sunt specialist in asa ceva dar bunul simt ma ghideaza sa stiu ce vreau.
Exista motoare de cautare dupa cuvinte si litere? Da. Voi stiti bine aplicatiile.
Literele inseamna simboluri. Gresesc cu ceva?
Largesc baza de date cu cateva simboluri care le produc eu.
Apoi formez in turca cuvantul "vlah" si dau sa caute nene in toate documentele acest cuvant. Asta imi ajuta sa fac o prima selectie de documente.
Nu am nevoie de traducere. Dupa cateva selectii raman documente pe care noi, ca niste baieti destepti, le ducem celor ce cunosc turca sa le traduca, ca ei sunt specialisti acolo!
E corect?
Cine intra-n jocul asta?