GPU-accelerated analytics database

De curand am inceput sa folosim pentru proiectele de AI ,urmatoare solutie de baze date, enjoy:
https://www.kinetica.com/

Great, acuma pe linga timpitii cu bitcoin o sa creasca pretu si timpitii cu bazele de date. Ca sa te joci ceva in ziua de azi tre sa concurezi cu toti timpitii universului

 Mosotti, on 31 decembrie 2017 - 12:04, said:

Ai Xbox One/S/X , PS 4 /Pro ai de unde alege sa te joci

Edited by navistar_eagle, 31 December 2017 - 12:09.

 navistar_eagle, on 31 decembrie 2017 - 08:20, said:

Felicitari, dar ai si ceva de comentat asupra subiectului sau doar ne anunti cum stati la multinationala.

mi se pare mie sau site-ul ala se misca extrem de greu

 MarianG, on 31 decembrie 2017 - 12:42, said:

Da, am vrut sa impartasesc si cu altii,  cu ce se va lucra si in RO incepand din 2018. Deja avem clusterele de GPU configurate, urmeaza sa le folosim la capacitate maxima,
si apoi bineinteles  din vara vom pune si in  interviul de angajare , sectiune dedicata pentru GPU database.

acum daca tot discutam, intreb si eu, de ce?
mai ales cand cineva a prevazut, si tin sa ii dai dreptate, nu doar pentru ca il cheama Martin. Dar pentru ca modul in care a explicat pare destul de logic, chiar si din punct de vedere economic, si anume salvare directa in memorie (NVRAM).
ce inovatie aduce GPU database ?

 MarianG, on 31 decembrie 2017 - 13:46, said:

In Data Science, A.I, Data Mining, se lucreaza foarte mult, enorm de mult cu calcule matriciale.In general se foloseste din greu API-ul TensorFlow, iar procesoarele grafice sunt un engine computational
dedicat pentru calcule matriciale in paralel.Avand o baza de date a carei structura este aceiasi cu a obiectelor din API-ul de prelucrare a datelor, precum si a faptului ca pot stoca in paralel sute de milioane de date , fara deadlockuri, ca pot prelucra milioane de matrici in paralel fara deadlockuri pe acel engine computational, asta inseamna ca intr-o ora , un astel de sistem de calcul
poate prelucra si stoca , o cantitate de date care pentru sistemele clasice ar lua  6 ore.

Un astfel de sistem de calcul baza pe GPU , permite modelarea mai eftina a modelelor meteorologice, modelor tectonice, modelelor nucleare, modele de marketing, etc la jumate din cost, si cu viteza dubla de procesare, fata de sistemele clasice. Pret de 2X mai eftin, timp de 2X mai scurt, cine nu doreste asa ceva ?
Este precum saltul de la un HDD de 5400 rpm la un SSD pe NVMe.

Edited by navistar_eagle, 31 December 2017 - 14:01.

 navistar_eagle, on 31 decembrie 2017 - 13:30, said:

Cum ar suna intrebari din sectiunea asta?

 dani.user, on 31 decembrie 2017 - 14:37, said:

inca nu stim ,pt ca si noi suntem la inceput.

Probabil va fi ceva gen:ai lucrat cu baza de date pe gpu?

 romio79, on 31 decembrie 2017 - 15:13, said:

oricum vor fi, vor fi la sectiunea "nice to have" si nu "mandatory"

Edited by navistar_eagle, 31 December 2017 - 15:15.

Pai de aia si cred ca aia va fi singura intrebare legata de subiect

 romio79, on 31 decembrie 2017 - 15:16, said:

Da si nu , in sensul ca daca Da atunci se pun altele, daca nu se trece mai departe.

 navistar_eagle, on 31 decembrie 2017 - 15:21, said:

Cand recrutezi si ai CV-ul in fata te aflii in una din doua ipostaze in 95% din cazuri.
1)  Iei pe cineva cu experienta in ceea ce faci tu, adica interviul ar trebui sa fie targetat pe ce a facut, de ce a facut asa, cum putea sa faca, respectiv daca esti mai al dracu test cu raspunsuri si intrebari.
2)  Iei pe cineva fara experienta (student sau reconvertire profesionala) moment in care daca il intrebi asa ceva l-ai bagat sub masa.

In primul caz doar o intrebare este total irelevanta pentru ca trebuie atacat subiectul in detaliu
In al doilea caz o intrebare este total irelevanta pentru ca respectivul habar nu are ce sunt alea si cu ce se mananca.

PS: In cerinte postului poti sa treci ce vrei tu (la mandatory, nice-to-have, etc), dar de obicei acolo se trece orice de la gradinita grupa mica la fizica cuantica.

Concluzie: Comment-ul meu nu e menit sa iti dea in cap! Asa se intampla in orice domeniu de nisa.

Daca e ceva ce-am invatat in viata asta, apai ar fi asta: indiferent ce spun aia in demo-uri si tutoriale si exemple, cind te apuci sa faci pentru tine, nimic nu merge cum ar trebui, ceva de ce ai absoluta nevoie inca nu exista ca feature (dar o sa fie implementat "in curind") si evident ca requriement-urile de hardware sint cel putin de 5 ori mai mari daca nu vrei sa-ti rogi moartea asteptind si asteptind si... well, asteptind. Ah, si orice este "simplu de realizat" e de fapt foarte complicat de implementat si oricum n-o sa iasa cum ar trebui

 Mosotti, on 31 decembrie 2017 - 20:24, said:

Da, pt open-source, categoric DA
Insa pentru closed-source , nu.Ca de aia ii platesti ca sa ai totul out of the box.

Astea sunt mituri pornite de la companiile care nu sunt capabile sa faca un produs calumea...au pus o groaza de bloatware...scufundant in ele functia utila...devenind extrem de greoi de folosit...si aproape inutila.
Si asta o spun din propria experienta ca developer si administrator de retele.
Closed Source inseamna doar bani pt menetenanta...si update-uri pe bani.
Pe cand cele opensource...au urmatorul avantaj: nu trebuie sa vanda fraieriilor...prin urmare..isi indeplinesc scopul in mod direct si fara prea multe birz-brizuri inutile...ce sa le faca ineficiente.
Nu mai departe imi aduc aminte cand am incercat sa import un proiect in C# din VS 2005 parca...16Gb RAM n-au fost suficienti. Cu atat mai mult cu cat librariile de baze de date nu erau compatibile...(deh...facilitati noi...revolutii etc)...astfel ca pentru a face o aplicatie compatibila cu Windows 10 am muncit 6 luni si am rescris 80% din aplicatie...In visual studio 2016 aveam o tona de facilitati...o groaza de chestii noi...care mi-au fost utile doar ca sa imi pierd timpul cu managementul sa-mi mai cumpere RAM...doar ca sa pot face developement.
Sa-ti povestesc cum fac development pe Odroid+QTCreator (aka procesorul care-i pe Samsung S3 si 2Gb RAM)? La propiecte mult mai complexe si mai mari? Nep...n-am avut probleme de portanta intre ARM si x86 (ceva chestii nesemnificative rezolvate in 20 min). Vrei isa-ti povestesc cate probleme am cu MS SQL? Pe un sistem cu quad core si 8Gb RAM? Cam identice cu cele avute pe un Celeron single core cu 2Gb RAM si Postresql.
Closed Source este ok pt proiecte mici, proiecte extrem de specifice si unde nu gasesti aplicatii open source/GNU

Asa de curios,ce gpu-uri aveti in clustere?Nu de alta dar Nvidia acum isi unge avocatii.
https://wccftech.com...kchain-allowed/