Programator clasic/veteran; sa invat data science?

E un fel de career advice, dar nu from zero to hero, ma rog...

Pun urmatoarea intrebare, pentru programatorii (in sens larg, aka arhitecti etc) veterani, batranei (), pe la 10-15-20 de ani de experienta, veniti de pe filiera stackurilor clasice (LAMP, sau MS/NET, sau java stack etc etc.), care s-a ocupat mult si de prelucrarea datelor /lucrul cu baze de date: sql developeri, BI/DW/ETL etc etc).

In ce masura va simititi (v-ati smitit, in ultimii ani) tentati /impinsi sa invatati data science si ecosistemele aferente (aka Python AI/ML)?

Cum se mai practica pe la voi? Simititi ca se amesteca rolurile, adica unui sql dev sau data architect i se dau sarcini ce tin clar de data science/ML/etc? Puteti sa spuneti: "pardon, asta e treaba de data scientist, nu, multumesc, apelati la altcineva", sau se considera ca strambati prea mult din nas?

Vorbesc mai ales de proiecte maricele, enterprise, de integrare, nu de cele mici, cu echipe mici, unde faci cam orice, la nevoie.

Sugerez, pentru cei care raspund, sa includa cateva date despre ei (cu intervale, pentru anonimitate etc.), de exemplu:
- nr. ani experienta
- background cunostinte (programare, altele: de exemplu: securitate, utilizabilitate etc) (punctele tari, nu puneti ca mai stiti si html/css etc.)
- experienta pe verticalele...
- tara unde ati lucrat /locatia beneficiarului /etc

Ati inclus deja in portofoliu asemenea lucrari? Cum ati facut tranzitia? Cursuri, "lucru in transee" etc... Nu simtiti ca e deja prea mult? Ce lasati in urma (abilitatile pe care nu le mai folosesti ruginesc), la ce renuntati?

Multumesc.

Edited by aaaa4567, 21 May 2021 - 20:38.

Tot programare e si ceea ce numesti tu data science.

Am facut experimente cu ML.NET, Azure ML Studio, TensorFlow, cursuri free pe MooCs
Python este o mizerie...poate sa se ia de mana cu PHP-ul

Domeniul Data Science mi se pare un fel de gunoier al datelor ptr ca in 80-90% din timp elimini probleme, outliers si alte dubiosenii.
Trebuie sa ai nervi ca sa faci atatea inutilitati si pana la urma rezultatul sa nu fie garantat din cauza calitatii si gradului de incertitudine al modelului rezultat
Intr-un fel faci pe mod backtrack-ing : curatenie, model, analiza backword/forward, repeat
Iti mor neuronii zilnic in cantitati industriale de ajungi sa vorbesti singur dupa 1an

Concluzia : ML no funking way !
Eu : Ro, corporatie, 15 ani exp, full-stack

Edited by radu103, 21 May 2021 - 21:04.

 aaaa4567, on 21 mai 2021 - 20:36, said:

As fi foarte tentat ... si pana acum am lucrat in peste 20 de ani pe foarte multe tehnologii, prea multe as zice (ca sa enumar doar cele mai cunoscute, ASP, ASP.NET, PHP, HTML/CSS, Javascript/JQuery/Angular, Actionscript, Delphi, C#/.NET, Java, SQL Server, MySQL, etc). Si chiar daca e aiurea sa nu ai timp sa aprofundezi ceva suficient, ma tenteaza Python AI/Machine Learning si data science/big data.

M-am mai apucat la un moment dat de Python, dar pana la urma nu l-am folosit la nimic si am renuntat sa-l mai invat. Si asta pentru ca am niste idei de aplicatii si parca nu mi-ar placea sa le fac in nici una din tehnologiile cu care am mai lucrat

Data Engineer: programator ce scrie soft pentru a colecta/curata/procesa date. Nu difera prea mult de programarea obisnuita mai putin Big Data ce are ceva particularitati (prin Big Data deobicei intelegi date ce nu incap pe un calculator dotat, nu un CSV de 100 MB).

Data Scientist in contextul AI/ML: matematician ce sta bine cu statistica. Intelege foarte bine si datele implicate si diversii parametrii (isi da seama cand ceva nu-i ok, stie in ce directie sa impinga pentru un model mai bun). Alta meserie.

Am inceput cateva cursuri video de gen, n-am terminat niciunul M-am plictisit repede
Exista o componenta de programare, dar doar in subsidiar
Cum se spunea mai sus, alta meserie

Mie imi plac lucrurile clare, care au inceput si sfirsit si chiar fac exact ce ar trebui sa faca, nu doar probabilistic. De-aia n-am fost si nu voi fi tentat vreodata de AI/ML/BLABLA.

O alta problema este ca in 99.99998% din cazurile in care vezi AI/ML undeva e pure shit, extra hype si publicity stunt. Sint din categoria de cuvinte cheie in 2021 pentru a atrage atentia. Alte cuvinte geniale: security, crypto, blockchain, shitfuck.

Sigur ca prima intrebare si cea mai importanta este daca ti-ar placea asa ceva. Problema este ca nu ai de unde sa stii vreodata, pentru ca termenii aia cuprind o vasta categorie de joburi. Probabil ca daca lucrezi la ceva inovator, pe la ceva firma de top mondiala, e un domeniu fascinant. Dar nu ajungi sa lucrezi acolo invatand data science si AI de unul singur de pe gugal dupa 20 de ani de programare clasica. In rest raman pseudo-joburile, la care doar denumirea ramane. Pina la urma totul este AI, sa faci un punct de pe ecran sa se miste dupa mouse e AI

aaaa4567, on 21 mai 2021 - 20:36, said:

Cu experiență 10-15-20+, ești undeva în Technical leadership.

Deci ce poți face e să găsești pe felia ta oportunități de ML. Chiar și la firme mai micuțe poți genera suficiente date.

Și apoi vii cu propunerea în backlog: ce problemă se poate rezolva și cum, câteva alternative. Apoi te pui pe muncă, mai întâi un model matematic mai simplu care produce ceva valoare, pe care îl îmbunătățești în următoarele iterații.

Printre rânduri, citești bibliografia de specialitate. Fă asta câțiva ani, și apoi pune-i capac și cu un curs de la o universitate mai cu capul pe umeri.

Apoi:

Din moment ce ești deja un techlead ceva, nu vei reuși niciodată să concurezi cu cei care fac asta ca hobby de la 16 ani, care au făcut în toată universitatea doar lucruri d-ăstea.

Dar nici nu trebuie, aduci alte competențe, și poți conduce o echipă de ML-iști. Trebuie doar să vorbiți aceeași limbă tehnică, ca să vă înțelegeți în scopul rezolvării problemei.

Știu de exemplu Technical leader care a condus una dintre locații ale unei companii cu 5k+ angajați. Din diferite motive, firma s-a dizolvat, și ca parte din strategia lui era să meargă spre ML. A făcut niște cursuri, nu chiar atât de hands-on cum am descris eu mai sus, și acum conduce echipe de programatori, în total peste 80 pe palierul său. Nu știe toate detaliile, toți parametrii de la toți algoritmii, dar nici nu are nevoie, tot e un lider de excepție.

Pentru cine vrea sa guste

https://www.udemy.co...ython-hands-on/
https://www.udemy.co...rning-bootcamp/

 coniac, on 23 mai 2021 - 16:52, said:

Asta este unu din cele mai bune cursuri de ml de pe net https://www.coursera...ourseraContent. Ai teme, quizuri și comunitate activa. Dar domeniul e foarte vast și fără cunoștințe solide de matematica nu ajungi foarte departe. Gen la firmele mari in afara multi pe ai au PhD în ceva ramura a matematicii.

Mie mi se pare boring zona de data science. Așa că hobby sa, nu știu, faci un recommendor system sau o rețea neuronala care joaca Mario poate e fun. Dar la job din ce am înțeles mare parte din timp pierzi cu prelucrarea datelor. Bine, bazele nu sunt mare smecherie daca prinzi repede. Dacă știi să faci o regresie liniara/logistica, înțelegi cum merge gradient descent (și variațiile lui) + partea de rețele neuronale, poți deja sa spui că ești la cel mai de baza working level pe ml.

Nu poți să lucrezi pe un proiect care are o componentă de ml și eventual un data scientist?

Edited by IonutYo, 23 May 2021 - 22:17.