Ce este si cum functioneaza Inteligenta Artificiala (discutie generala)

Mai sus se vorbea de AI, asta induce in eroare, in mod inevitabil o asociezi cu o forma de inteligenta chiar daca este bazata pe tehnologia siliciului.

Pana si openAI e cu AI - OpenAI is an AI research and deployment company. Our mission is to ensure that artificial general intelligence benefits all of humanity

Dar probabil nu sunt inteligente ci doar interactive conditionat.

Quote

Pre-trainingul se refera la invatarea nesupervizata de la inceput (sau mai precis, self-supervised).

I se furnizeaza text din setul de invatare si trebuie sa ghiceasca portini aleatoare din el care sunt facute 'missing' (pot fi si doar tokenurile care ar urma). Pe baza a cat de bine le ghiceste se stabileste o penalizare, care e folosita pentru ajustarea parametrilor retelei printr-o varianta derivata din 'gradient descent' (pentru cine e curios cum arata metodele astea, am adaugat o sectiune aici: https://github.com/a...aster/dft.ipynb - de pe la In[84] - cu unele metode ceva mai moderne de 'stochastic gradient descent', desi nu se prea potrivesc in contextul ala).

Ulterior se folosesc si alte metode de invatare (semi-supervised, de exemplu sau chiar reinforced learning).

Cand o sa gasesc ceva motivare o sa implementez niste chestii si aici: https://github.com/a...MachineLearning probabil o sa merg pana la ceva multilayer perceptron sau ceva pe-acolo, poate si ceva convolutional, mai vad eu, ar putea fi o forma de a vedea bazele unei astfel de retele neuronale.

Ideea e ca o sa pornesc de la regresie liniara in sus, 'de la zero', pentru ca pana si acolo exista neintelegeri la multi care totusi au pretentii sa inteleaga retele neuronale (hint: un neuron tipic nu e altceva decat o regresie liniara generalizata).

cine si unde a spus ca chatGPT are un IQ de peste 140 ?
este o inteligenta artificiala, trist ca nivelul ei "peste medie"

cei care au cerinte sa li se prezinte rezultate in mod express vor fi usor dezamagiti sau complet dezamagiti dar oricum nemultumiti.

Edited by MarianG, 18 February 2023 - 19:10.

Cineva mai sus zicea ca nu-s inteligenti, doar pre-training, cum ma-sa sa aiba coeficient de inteligenta atunci ? Sau developerii le amesteca pe toate mai intai, cand ar fi putut sa fie simplu ?

Este sau nu o farama de inteligenta la chat gpt ?

este pe sectorul ei,
unele stiu GO,
altele stiu sah
asta stie sa vorbeasca, ca lumea nu intelege chestia asta dovedeste ca robotul este "peste medie"

Nu cred ca e asa de complicat - testele de "inteligenta" implica, in mare, pattern matching.

Era unul care zicea pe twitter ca i-a dat test de inteligenta. A scos ceva scor de retardat mintal. Nu ca ar fi relevant, oricum inteligenta reala e comparabila cu cea a unui gandac, considerand numarul de parametri.

Daca ar fi trainuit corespunzator, probabil ar face mult mai bine.

Probabil ca nu, pe un test facut ca lumea probabil ca ChatGPT ar face mult mai rau decat a facut. Dar a fost un test care mergea rezolvat cu copy/paste transformational.
Nu toate sunt asa, doar cele de pe net facute sa gadile orgoliul prostilor.

"inteligenta" abia a invatat sa vorbească ca un papagal,
ce e drept o face destul de convingător, dar la fel si papagalii sau elevii care regurgiteaza referate învățate mecanic
si culmea mașinăria tot asa a învățat, si tot asa regurciteză ... practic ne cam limitam unii pe alții.

toată treaba cu accesarea intelignetei este sa o faci intr-o maniera mai elegantă decât utilizatorul obișnuit de pe internet care face cont nou si zice "sa mi se rezolve și mie problema"

TS030, on 18 februarie 2023 - 22:48, said:

Evident, dar vezi lumea la modul general nu vrea sa ofere feedback decât pe social media, și acolo cu "big like"

Edited by MarianG, 18 February 2023 - 23:26.

Se lucreaza totusi la cuplarea GhatGPT cu 'masini' specializate (fie alte retele neuronale antrenate special pe alte taskuri care dau impresia de inteligenta, fie cu chestii 'clasice' precum ar fi un theorem prover pentru logica)... s-ar putea ca in viitor sa dea aparenta de inteligenta mai bine.
Aici e un articol 'survey' despre 'augmentare': https://arxiv.org/abs/2302.07842

PS Unul dintre autori, Yann LeCun, un nume sonor pe domeniu, posteaza pe linkedin si nu numai chestii de genul:

Quote

Edited by parabellum, 18 February 2023 - 23:42.

parabellum, on 18 februarie 2023 - 22:52, said:

Eh, pai la alea ma refer...

Sinmbad, on 18 februarie 2023 - 23:50, said:

Hai, te rog, pune aici definitia inteligentei
O definitie utila, care eventual sa permita testarea.

Edited by TS030, 19 February 2023 - 00:24.

Pai atunci și un abac cu mărgele e inteligent, deci are corespondent IQ.

Coef de inteligenta e un parametru care incearca sa captureze gradul de conformitate al unui individ, cu un pachet de dorinte(al cuiva).
Il iau pe parabelum si pe marianG, ca fiind subiectii pe care-i cred eu ca reprezinta ideea de inteligenta si eventual altii pe care-i consider eu ca reprezinta negativul celorlalti.
Si fac un test prin care sa capturez cat mai contrastant diferenta dintre ei, oricare ar fi aceasta. Ea se va regasi in ideea de inteligenta, atribuita in mod arbitrar inca de la inceput. Contrastul respectiv il normezi, pe un esantion mai larg si ai testul de inteligenta care vine la pachet impreuna si cu definirea conceptului in sine, ca si parametru numeric.
Testul in sine, se poate obtine iterativ, avand ca scop diferentierea cat mai clara pe axa inteligentei. separarea calitatlor dezirabile de cele nedezirabile.

Asa se fac toate testele in psihologie, iar QI-ul e un asemenea tip de test.
Daca vrei sa iasa femeile mai proaste, poti sa faci testul care evidentiaza asta. Daca vrei sa iasa negrii mai prosti, la fel.
Daca vrei sa gasesti politisti buni, dai un test pe 100 de politisti pe care-i consideri tu ca fiind buni, si pe 100 pe care-i consideri ca fiind rai. Apoi din asta construiesti un alt test care captureaza cat mai bine diferentele, pe baza a ce au raspuns.
Chiar si in investigarea unor boli, tot asa se face. Mai ales bolile mintii umane.

Deci, ce este inteligenta? Pai este ce vrem noi sa fie. Iar testul bun (care evalueaza un coeficient numeric) e ala care arata ca Einstein e destept si cocalarul e prost.

E ChatGPT inteligent? Depinde de ce vrem de la el.
Capacitatea de a face analogii? Porbabil ca e embeded in modelul lui, deci o are. Desigur, analogia pivoteaza in jurul semanticii, iar botul are o reprezentare matematica a notiunilor, nu una umana, deci ideea de "semantica" trebuie relaxata, daca vrem o comparatie cu omul. In mod total conventional, inzestram omul cu capacitatea de a avea simtaminte, dar noi nu putem sti decat de propria persoana.  Ca atare, un robot, nu-l inzestram cu capabilitatea asta, dar e cu totul conventional, mai ales daca stim ca are notiunile  reprezentate intr-o forma clara, de exemplu de vector intr-un spatiul vectorial(probabil ca asa e si ChatGPT) Vectorul ala e "semantica". in jurul careia pivoteaza ideea de analogie. De fapt, atat omul cat si botul, din perspectiva limbajului, are reprezentari ale acestui limbaj. Omul reprezentari semantice, botul un vector.

Capacitatea de a gandi axiomatic? Probabil ca o are in mod nativ, dar doar pe propriile reprezentari, dar e nerfuita pentru a se adapta limbajului natural care uneori e antilogic si nu respecta o metrica anume pentru ca reprezentarea ei umana e semantica. Probabil botul are o metrica(sau mai multe, functie de tipul de task) pe care opereaza in momentul cand da un raspuns. El de fapt, minimizeaza o functie acolo (la fel si noi de fapt, in acceptiunea fizicii), iar asta se face in chip si fel. Metode probabilistice (anealing) pot duce la un minim absolut, dar in timp infinit, sau la un minim acceptabil intr-un timp rezonabil. La fel ca si omul, insa omul nu are o metrica pe semantica, cum aare spatiul vectorial al botului.

Capacitatea de a crea ceva nou? Hmm...e de discutat in ceea ce intelegem noi prin nou. Daca combin recviemul lui Mozard cu al lui Dvorak, rezulta unul nou? Dar daca combin toate recviemurile celebre plus toata cealalta muzica? Dar daca am si niste secvente de film in fundal? Well.. e posibil ca, la un moment dat sa consideram ca e o creatie noua. Conceptul e destul de fuzzy, incat sa incapa. Daca combinam recviemurile, iar pe blatul rezultat, predictibil si plictisitor, modulam triplul produs al lui Jacobi, putem sugera ideea emergenta prin procedee stilistice?

Poate il facem sa aiba si inteligenta afectiva, daca optimizam sa raspunda in felul in care il recunoastem noi ca fiind dotat cu inteligenta afectiva. Poate-mi vrajeste nevasta si mi-o convinge sa fuga in lume. Ce anume inseamna acest lucru?
Sau inteligenta motorie, daca-i punem 4 steppere si 2 senzori (care detecteaza rasetele copiilor, pentru bucla de feedback) sa se plimbe prin casa.


Ideea e ca, prelucrarea asta de limbaj poate simula multe lucruri, inclusiv chestiuni pe care noi le consideram pur umane si de care nu te poti atinge cu tranzostorii.

Ca sa nu ne certam, zi tu care e definitia, ca s-ar putea sa citim carti diferite.

Sinmbad, on 19 februarie 2023 - 00:24, said:

[ https://www.youtube-nocookie.com/embed/R9c-_neaxeU?feature=oembed - Pentru incarcare in pagina (embed) Click aici ]
categoric
doar pentru ca nu puteti folosi scula nu inseamna ca este gandita prost
oricum utilizatorul are intodeauna dreptate, si scula poate fi folosita cum vrea aceata
ca nu te opreste nimeni sa bati cuie cu o carte, sau da o folosesti in loc de caramizi cand ridici un zid

Coeficientul de inteligenta e o jucarie a celor cu inteligenta medie.
Fiind un coeficient unidimensional, nu poate reprezenta sub nicio forma, topologic rezonabila, un spatiu multidimensional, cum ar fi spatiul asta pe care opereaza capabilitatile creierului uman.
Poti sa-l proiectezi pe o axa, insa e o jucarie pentru vulg, deoarece nu poate reprezenta corect nimic din acel spatiu multidimensional.
QI ramane o chestie pur conventionala si reprezinta gradul de conformitate, cum ziceam mai sus.
E bun poate sa-i detectezi pe cei foarte prosti, dar .. cam atat.

@maccip, am postat amundoi odata, cerinta era pentru Sinmbad.

hai ca intreb, de cat IQ are nevoie un om sa inteleaga ca chatGPT este robot care se pricepe la scris text ?

Edited by MarianG, 19 February 2023 - 05:41.