Servere dedicate găzduirii unui site

mufa, on 23 iunie 2017 - 23:57, said:

Unele chesiuni ma depasesc. Zici discutand strict de date "permanente" salvate/"scrise" pe disc[uri]?

Da' daca e vorba despre operatiuni/caching, cum se comporta?

lmk, on 23 iunie 2017 - 22:33, said:

Te-am intrebat clar, cati ai in momentul T in paralel sau cati ai dori sa poti procesa asemenea. Ai zis la un moment dat 10, ti-am dat un server pentru astia. Apoi o scalzi cu tot felul de valori ce nu ajuta in indicarea unui server, decat daca presupunem noi una-alta (cum am facut eu, intentionat, cu acea impartire liniara). In ecuatia asta conteaza si ce soft ai, cum e gandit etc. dar aici ai intrebat doar de hardware (presupunem ca ai softul pus la punct).

Daca vrei o alta cifra: pt. 88 clienti concurenti ai asta: http://www.pcgarage....gb-lff-35-inch/

Edited by neagu_laurentiu, 24 June 2017 - 06:15.

dexterash, on 23 iunie 2017 - 22:48, said:

la 50 mii de accesări zilnice am cam 2 mii de accesări pe oră, ceea ce înseamnă că în orele de vârf voi avea de 5 ori mai multe accesări decât media adică 10 mii (33 pe secundă - aceștia sunt concurenții mei, nu-i așa ?); cred că pe undeva am folosit cifrele aferente unui minut, referindu-mă la secundă.

neagu_laurentiu, on 24 iunie 2017 - 06:00, said:

V-am recomandat să mă tratați ca pe cineva care nu are habar de domeniu; pentru mine „concurent” este altă persoană care oferă servicii similare și ți-am răspuns în consecință .
Al doilea server pe care mi l-ai recomandat duce lejer un trafic dublu, deci aș irosi banii cu achiziția lui.

lmk, on 24 iunie 2017 - 08:12, said:

Pe aria hardware ceri un lucru cand stii limitele suficient de bine pentru scopul dorit. Tu spui aici ca vrei ceva la modul general, n-ai dat detalii despre ce se intampla in aplicatia ta, decat asa cateva principii, ori in cazul asta mergi cu problema la cei care ofera solutii la cheie (soft in primul rand si indirect iti vor oferi si hardware-ul adecvat). Degeaba ti-am dat serverul de mai sus, bun din perspectiva generala de prelucrare (cand nu stiu mai nimic din vrei tu), poate tu ai nevoie de o solutie cu totul alta ce ar pastra datele intr-un cache si toti acei clienti care cer date vor lua strict in acel bufffer, fara a fi nevoie de mare prelucrare si deci nu resurse dedicate fiecarui client.
Ecuatia pentru produsul finit nu se rezolva cerand unui vanzator de hard ceva la modul general, el iti va vinde ceva dar la fel de general.

Edited by neagu_laurentiu, 24 June 2017 - 08:51.

neagu_laurentiu, eu sunt cel care vrea să presteze unele servicii și am nevoie de instrumentele prin intermediul cărora să fac acest lucru; eu sunt cel care gândește funcționarea acelor servicii, cel care se ocupă de colaborări, cel care se ocupă să existe finanțare și cel care controlează toate aceste procese, nu mă pot ocupa (și nu este recomandabil să o fac) de aspecte tehnice, pentru că nu am expertiză (cunosc persoane suficient de tâmpite care au făcut asta și au ajuns să aibă camere pline de tehnică de calcul de care nu aveau nevoie).
Mă poți întreba absout tot ce dorești în privința softului atât timp cât are legătură cu impactul asupra hardului.

"concurenți" nu înseamnă pe secundă, ci maximul dintre "overlapping interval".

De exemplu, dacă ai aceste cereri albastre unde lungimea liniei reprezintă durata dintre inițializarea cererii de către browser până la livrarea completă a paginii de către server, atunci linia neagră reprezintă un moment în timp în care ai maximul de cereri concurente, în acest exemplu 4.

https://i.imgur.com/ffJPhY2.png

Întrebări sunt multe, de exemplu: care e lungimea maximă a liniei albastre, în milisecunde, câte cereri simultane vrei să poți susține, care e distribuția geografică a utilizatorilor.

Lungimea maximă a liniei albastre o știi măsurând aplicația, pe care n-o ai.

Vorbim ca să ne aflăm în treabă. Consilierea adevărată nu se face pe forumuri anonime.

Multe date tehnice vor avea legatura cu detaliile aplicatiei, cel care o administreaza ar trebui sa stie, noi ar trebui sa intram in detalii (de la cererea sosita de la utilizatorul site-ului pana la returnarea datelor ca sa putem spune cat de cat obiectiv despre ce volum de date vantura serverul) ori nu cred ca vrei sa ne impartasesti noua detaliile acestea. Asa la modul general, putem spune niste specificati hardware dupa cum ne imaginam fiecare un caz sau altu dar nimeni nu stie ca e cel real al tau.

lmk, on 23 iunie 2017 - 22:33, said:

Acei 5% care introduc date care se duc altundeva, trebuie să vadă rezultatele calculelor de la celălalt serviciu imediat, sau sunt mulțumiți dacă așteaptă un timp. Dacă e ok să aștepte, cât e ok să aștepte, câteva secunde, minute, ore, zile?

Întrebări similare pentru cei care uploadează imaginile: când și de către cine sunt vizualizate acele date, afișarea e asincronă, etc?

lmk, on 24 iunie 2017 - 08:12, said:

Am inteles,tu esti PO/PM(Product Owner/ProjectManager) iar Laurentiu te intreaba de jobul CTO-ului(Chief Tehnology Officer) pe care din pacate nu-l ai i firma.

Iti recomand sa te interesezi de urmatorul set de tehnologii: Hadoop-Spark Cluster,HortonWorks-Cloudera,Streamsets,Cassandra IN RAM database
Sunt tehnologii care scaleaza pe  ceulule de prelucrare de pana la 128 nuclee,64 TB de RAM, evident in Cloud pe un DataCenter.

Eu nu caut probleme la soluții.

Utilizatorii vor fi din toată țara, cei 60% vor fi și ei din toată țara până la finele primului an.
Cei 60% sunt utilizatori înregistrați și pot să le actualizez datele în momentul în care accesează site-ul (sau să o fac în momentele de trafic scăzut - noaptea).
În cazul celor 5% cam jumătate din datele pe care le procesez vor exista în bazele mele de date (date locale), iar jumătate vor fi introduse de utilizatori; din jumătatea care vor introduce date, cam 10-20% vor genera un trafic (umflat) de 1 MB, restul generând câțiva KB.
Restul de 35% vor genera și ei un trafic de 1 MB (umflat).
Plus traficul generat de funcționarea site-ului (butoane ș.a.).

OriginalCopy, on 24 iunie 2017 - 09:48, said:

OriginalCopy, ideal e ca orice operațiune să fie efectuată instantaneu, însă, dat fiind faptul că o parte din bazele de date și programele de calcul nu sunt ale mele, nu sunt nici măcar găzduite de mine, eu pot face doar ca solicitările să plece instantaneu; voi face cache din datele pe care le pot stoca (a se citi „am dreptul legal să le stochez”), însă îmi va lua ceva timp până ajung să fac asta.
O așteptare de ordinul secundelor este acceptabilă.

lightpoint, dacă aveam posibilitatea să folosesc o soluție de cloud și/sau să închiriez servere într-un datacenter, era altă discuție.

Plaja de solutii e extrem de mare. lightpoint ti-a recomandat ceva, eu poate iti recomand ceva ce costa de 100x mai putin. Pe care solutie o alegi, considerand ca n-ai buget nelimitat? N-ai de unde stii fara masuratori precise a softului folosit.

lmk, on 24 iunie 2017 - 10:40, said:

Deja avem alte informatii ce dau peste cap pe anterioarele. Tu esti doar un bridge, nu prelucrezi, deci n-ai nevoie de mare procesare paralela ci mai degraba o retea buna intre tine si acele entitati de prelucrare. Apropo, care-i traficul pe o cerere in KB/s?

Edited by neagu_laurentiu, 24 June 2017 - 10:50.

dani.user, on 24 iunie 2017 - 10:45, said:

Am evitat să aduc în discuție bugetul, pentru că multă lume ar fi gravitat în jurul cifrelor puse de mine, or pe mine mă interesează altceva; sigur că impun limite bugetului, pentru că nu am de gând să îngrop bani în bunuri care aduc prea puține beneficii; voi alege cea mai logică soluție (în momentul de față am respins 2 - una din ele similară unui echipament pus de laurențiu - în baza unor calcule confirmate din 3 surse).
Ca să răspund altfel: pot să acopăr financiar orice soluție se dovedește potrivită dacă - împreună cu persoane care îmi arată că știu ce spun - ajung la concluzia că aceea este cea mai potrivită.

neagu_laurentiu, on 24 iunie 2017 - 10:46, said:

Am explicat deja ca răspuns pentru o întrebare de-ale lui dexterash ce face site-ul meu.
Să luăm cazul în care 10 mii de utilizatori încarcă o fotografie de 1 MB (pe parcursul unui interval de 12 ore).

Nu ajuta cat trafic ai la final de zi, pentru ca nu te taxam noi pe acel volum de trafic. Tu ar trebui sa spui cati clienti ai dori sa poti deservi in paralel. Luam o retea de 1Gb/s, asta inseamna 100MB/s, cum imaginea ta are 1MB, inseamna ca poti, teoretic, servi odata 100 clienti, mai mult nu incape pe sarma si degeaba ar duce procesorul. Reteaua comuna are 100Mb/s adica 10MB/s ceeea ce inseamna 10 clienti maxim. Daca tu nu faci calcule si doar iei din cache datele, poti avea un server cu un IPC bun si mai putine core-uri/thread-uri active.

Edited by neagu_laurentiu, 24 June 2017 - 11:34.

lmk, on 24 iunie 2017 - 11:17, said:

Cea mai perfectă soluție e soluția care poate fi adaptată cel mai ușor.

În cazul tău, asta înseamnă cumpărarea unui singur server dintre cele potrivite, pe care le va face un sistem de staging/benchmarking.

Apoi programarea aplicației cu o arhitectură gândită de ca și cum ar fi distribuită, simulată de exemplu în mașini vagrant.

Din când în când, faci benchmarks fără vagrant și cu un singur nod, doar pe acel server.

În funcție de rezultate, te apuci și optimizezi acea aplicație până nu se mai poate.

Între timp, trece cam un an și ai un MVP. Acum faci un ultim benchmark.

În funcție de rezultate, stabilești câte 2k+1, k>1, sunt necesare.

E prea devreme să alegi hardware acum fără să știi pentru ce.



Alternativa care e, să cumperi serverele de acum? Ce vor face ele timp de un an, până ai MVP-ul, vor sta degeaba?

Bașca că majoritatea proiectelor software eșuează, dacă cumperi serverele dar aplicația nu va fi niciodată terminată?

Să iei hardware pentru o aplicație pe care încă nu o poți măsura mi se pare o prostie.