Baza de date okazii.ro

Sper sa nu fie o intrebare prosteasca insa cati terabytes ar putea sa aiba continutul unui astfel de site?

Edited by DraculescuDraculescu, 01 September 2015 - 11:27.

Pentru ce te intereseaza acest detaliu?

Urmeaza sa creez un website pe care estimez ca voi avea foarte mult continut.

Probabil este destul de mare la capacitate.

In baza de date se pun doar informatiile text, deci nu e ceva impresionant.

Problema nu e la cantitate, ci la cat de repede si usor poate fi accesata acea abza de date, de un numar cat mai mare de utilziatori, fara a fi nevoie sa ai datacenter propriu.

Acest forum are peste 100 000 de vizitatori unici/zi si o baza de date MySQL maricica in spate, cred eu mai mica ca Okazii.

nu neaparat - solutia pentru o astfel de baza de date, daca tot o iei de la zero, ar fi nosql. si nu neaparat doar text in baza de date.

pe de alta parte, orice sistem ai folosi, storage-ul este relativ usor de extins. nu vad de ce te-ai bloca in chestia asta.

Adm, on 01 septembrie 2015 - 11:37, said:

Deci nu aveti datacenter propriu?

DraculescuDraculescu, on 01 septembrie 2015 - 11:30, said:

Pana ajungi tu la mult continut ca si Okazii mai trece o vreme. In ziua de azi nu prea ai cum sa estimezi progresul unui site daca nu ai in spate destule fonduri care sa il tina la partea de promovare si mentenanta. Important e sa il optimizezi de la bun inceput, sa se incarce cat mai rapid, sa nu ai conexiuni la baza de date care nu sunt necesare si ai grija la cod, sa nu lasi portite. Restul vezi pe parcurs.

born2lose, on 01 septembrie 2015 - 11:49, said:

Ai si ceva argumente de ce "solutia" e nosql?

Problema cu orice baza de date, indiferent de care-o fi ea, e ca trebuie sa poti face cautari rapide prin ea.
Deocamdata cea mai buna solutie pentru problema cautarii in timpi relativ constanti e aceeasi implementata de toate DBMS-urile.
Dimensiunea bazei de date nu ar trebui sa fie variabila cea mai importanta relativ la care se schimba timpul de cautare.
Adica, daca folosesti un DBMS destept, fisierul propriuzis in care se fac cautarile e decuplat oricum de cel in care se stocheaza restul informatiei.
E asa indiferent ca e MySQL, MSSQL, MongoDB sau ElasticSearch.

A doua problema e ca uneori ai nevoie sa procesezi datele alea. Sa faci o suma, niste prelucrari pe fiecare, etc.
Si pentru asta exista solutii moderne. Pattern-ul propriuzis se numeste map-reduce. Printre implementari se numara Hadoop de exemplu.

La intrebarea concreta pot sa-ti raspund oarecum. Nu stiu OLX ce si cat tine in spate dar iti pot spune ca unul din competitorii mai mici se descurca cu ~700MB pentru baza de date si ~15GB pentru imagini pentru aproximativ o luna de informatie (anunturile sunt valabile o luna dupa care daca nu sunt reinnoite se sterg automat). Sunt active in permanenta 30.000-40.000 de anunturi.
OLX se lauda cu 4 milioane de anunturi. Un calcul simplu ne spune ca ar avea deci nevoie de 16GB * 133.
Baza de date in sine e cam neglijabila (pana in cateva zeci de GB). Problema sunt imaginile.
Evident ca aia 15GB se pot reduce foarte mult daca aplica compresie ceva mai agresiva si din cate estimez aplica grad de compresie aproape dublu ~70KB vs ~38KB pentru versiunile cele mai mari ale imaginilor.
Adica se apropie de 1TB.

okazii.ro se lauda ca au 3 milioane de anunturi si din cate vad si imaginile lor tot pe la ~40KB se invart.

Edit: ca sa-ti faci o idee, baza de date a site-ului de care vorbesc e un MySQL pe o masina cu 4GB RAM, e up de 600 si ceva de zile, consuma spre 10% din resursele sistemului si raspunde la majoritatea query-urilor in maxim 10 milisecunde.
Cand sari de la zeci de mii la milioane de inregistrari in baza de date normal ca se schimba lucrurile, dar cu un design inteligent e posibil sa n-ai probleme mari.

La dimensiunile astea (1TB) si luand in calcul natura problemei aici nu vorbim in niciun caz de "big data"

Edited by sergiu_spooky, 01 September 2015 - 13:28.

sergiu_spooky, on 01 septembrie 2015 - 13:03, said:

Sergiu iti multumesc mult pentru raspuns.

Edited by DraculescuDraculescu, 01 September 2015 - 13:29.

sergiu_spooky, on 01 septembrie 2015 - 13:03, said:

daca estimeaza volume foarte mari de date si spune despre okazii, presupun ca este vorba si de acelasi tip de date. daca vorbim despre date nestructurate, nosql-ul este mai potrivit din punctul meu de vedere. in plus, fiind vorba de un proiect nou, l-ar avantaja hadoop pentru ca este mult mai scalabil. storage-ul este relativ usor de extins si pe un dbms clasic, dar daca o data cu volumul de date ii creste exponential si numarul de utilizatori, nosql-ul este mult mai prietenos la mentenanta.

bineinteles, astea sunt parerile mele relativ neavizate. nu sunt si nici nu vreau sa par un expert in domeniu, este foarte posibil sa ma insel

Oricum, daca vrei ceva foarte bun obligatoriu pe un SSD. Daca vei avea atat de multe anunturi 2 SSD-uri de la Intel de 1.2TB nu ar trebui sa fie nici o problema, in cazul in care iti ti tu datele la tine si nu le stochezi intr-un data center cu dedicate.

Problema cu SSD-urile intr-un context de high load e ca se strica des. Ai nevoie de RAID si echipament profesional.
Dar aici nu vorbim de high load ci doar de volum mare de date, asa ca merge bine si cu HDD-uri.