Procesul de testare software


khatya


Salut!
Stie cineva cum se conduce un proces de testare automat? Lucreaza cineva in acest domeniu? Si cam ce tipuri de tool-uri de testare automate folositi practic? M-ar interesa in special load/stress tools!
sqryn
1. depinde de tipul aplicatiei
2. depinde de suma pe care o dispui pentru achizitionarea licentei
3. depinde de cat de mult il vei folosi si pentru ce.
 
khatya
QUOTE(sqryn @ Aug 16 2006, 12:01) *
1. depinde de tipul aplicatiei
2. depinde de suma pe care o dispui pentru achizitionarea licentei
3. depinde de cat de mult il vei folosi si pentru ce.


Este o aplicatie web in .net de tip portal care foloseste webserviceuri Java, baze de date Oracle & SQL.
Trebuie sa realizez un System Integration Test.
Pentru aceasta am gasit urmatoarele solutii:
1) planul de testare sa se concentreze asupra functionalitatii interactiunii componentelor aplicatiei
2) executare de load/stress/performance testing.

Problemele mele ar fi urmatoarele:
1) ce tip de teste sunt executate in general in cadrul unui System Integration Test pt o asemenea aplicatie
2) ce fel de tool-uri sunt indicate pentru executarea de load/stress/performance testing pentru o aplicatie atat de diversa!
sqryn
Ar mai trebui sa ai in vedere si testele de securitate daca este o aplicatie ce este accesibila si din afara. Cauta si despre SQL injecton, vad ca folosesti.
Planul de testare trebuie sa se concentreze asupra functionalitatilor dar si asupra testelor cu valori limita, vide, foarte mari, valori incorecte/nepermise.
Ca tool de testare automata de performanta, stress sau altele incearca cu Jmeter, OpenSTA, Microsoft webapplication stress tool. Astea sunt free si poti sa vezi cu care te descurci mai bine. De asemenea poti sa mai incerci cu ACT de la Microsoft din pachetul Visual studio. Daca ai acces la tooluri pe bani foloseste-le pe cele de la Mercury - LoadRunner. de asemenea pentru testarea functionala - Mercury WinRunner
Un alt pachet pe bani este cel de la emprix, E-test suite parca.
Iti mai trebuie si un sistem de bugtracking - bugzilla, mantis ca sa ai o evidenta a bugurilor.
khatya
QUOTE(sqryn @ Aug 16 2006, 16:51) *
Ar mai trebui sa ai in vedere si testele de securitate daca este o aplicatie ce este accesibila si din afara. Cauta si despre SQL injecton, vad ca folosesti.
Planul de testare trebuie sa se concentreze asupra functionalitatilor dar si asupra testelor cu valori limita, vide, foarte mari, valori incorecte/nepermise.
Ca tool de testare automata de performanta, stress sau altele incearca cu Jmeter, OpenSTA, Microsoft webapplication stress tool. Astea sunt free si poti sa vezi cu care te descurci mai bine. De asemenea poti sa mai incerci cu ACT de la Microsoft din pachetul Visual studio. Daca ai acces la tooluri pe bani foloseste-le pe cele de la Mercury - LoadRunner. de asemenea pentru testarea functionala - Mercury WinRunner
Un alt pachet pe bani este cel de la emprix, E-test suite parca.
Iti mai trebuie si un sistem de bugtracking - bugzilla, mantis ca sa ai o evidenta a bugurilor.


Multumesc pentru raspunsul prompt.
Am cercetat fiecare dintre tool-urile free recomandate aici, iar unele sunt intr-adevar utile, atata timp cat sunt utilizate la momentul potrivit si pot fi interpretati in mod adecvat parametrii...
Legat de toolul de bugtracking folosesc Eventum, si merge destul de binisor...
sqryn
Cu placere. Si ca o idee...indiferent de tool sa il alegi mereu pe cel care se adapteaza cel mai bine nevoilor tale. Nu are rost sa investesti in tooluri de mii de euro daca nu ai nevoie de toate functionalitatile pe care le ofera. Oricum si cele pe bani au o varianta demo sau trial pe care o poti folosi o anumita perioada.

LE: ar trebui sa se faca si un forum de QA, poate mai sunt intrebari sau sfaturi
khatya
Da,ar fi bine sa se faca si aici...Eu am gasit un forum care mi s-a parut foarte interesant si unde se poate gasi raspunsul la multe intrebari : http://www.sqaforums.com/
 
sqryn
Il stiu dar e si plin de prostii si greu de citit.
http://www.aptest.com/resources.html
http://www.io.com/~wazmo/qa/#test_automati...test_automation
si mai sunt....
khatya
QUOTE(sqryn @ Aug 16 2006, 17:08) *
Cu placere. Si ca o idee...indiferent de tool sa il alegi mereu pe cel care se adapteaza cel mai bine nevoilor tale. Nu are rost sa investesti in tooluri de mii de euro daca nu ai nevoie de toate functionalitatile pe care le ofera. Oricum si cele pe bani au o varianta demo sau trial pe care o poti folosi o anumita perioada.

LE: ar trebui sa se faca si un forum de QA, poate mai sunt intrebari sau sfaturi


Subscriu si eu pentru un forum special pentru Testare/QA si ceva legat de
Software Project Management...

Legat de toolurile automate de testare, mai exact de cele care executa load/stress testing pt website-uri...
E ceva ce nu inteleg... Ele sunt instalate pe calculatorul client, iar website-ul se afla pe server... Pot aceste tool-uri automate sa inregistreze ceva din activitatea server-ului in parametrii pe care ei ii genereaza? Sau pur si simplu in momentul in care incepi un astfel de test te duci si te asezi langa server si te uiti sa vezi cam cat este solicitat?Cam cum se desfasoara un astfel de test?
sqryn


Unele au monitorizare si pe partea de server (procesor, cache s alte cele). In principiu ca teste de incarcare te intereseaza timpul de raspuns al serverului. Daca vrei sa vezi ce se intampla pe server deschizi local sau remote o consola de administrare. Din pdv al testarii nu te intereseaza comportamentul intern al serverului ci doar timpii de raspuns si/sau nr de requesturi simultane pe care le poate procesa in un anumit interval. asta ti-o arata toolul de testare automata. vad ca tu faci si dezv si testare, ai grija sa nu scapi ceva smile.gif
cleah
salutare. poti sa incerci aici http://www.software-testing.ro

un site foarte util pt cei care sunt in breasla asta
tudor_turcu
QUOTE(cleah @ Oct 1 2007, 17:54) *
salutare. poti sa incerci aici http://www.software-testing.ro
un site foarte util pt cei care sunt in breasla asta
Foarte util, da' mai contine si altceva inafara de:
"Index of /
...
Apache/1.3.37 Server at www.software-testing.ro Port 80"
? smile.gif
andrei_0
Nu uita si de regression testing cu JUnit/NUnit. Poate vrei sa arunci o privire si asupra JCoverage/NCoverage, care iti arata in ce proportie codul a fost "acoperit" de teste.
mp_nova_2004
Daca vrei o statistica detaliata pe cod (incluzand code coverrage, numarul de loop-uri executate, de switch-uri, numarul de imbricari functionale sau pur si simplu de sectiuni plus running diagram cu tot cu cuante de timp si multe alte chestii), in afara de testarea efectiva plus cateva feature-uri puternice, foloseste RTRT produs de IBM. Problema e ca e al naibii de scump. Modul de billing e pay-per-usage, la modul ca esti conectat la un server care contorizeaza minutele in care rulezi testari. Dar tool-ul e unul dintre cele mai bune si mai profesionale de pe piata la momentul asta.

Bafta
MATRIXU
QUOTE(khatya @ Aug 16 2006, 10:58) *
Salut!
Stie cineva cum se conduce un proces de testare automat? Lucreaza cineva in acest domeniu? Si cam ce tipuri de tool-uri de testare automate folositi practic? M-ar interesa in special load/stress tools!


Cam tarziu ma bag si eu in seama...dar de ce ai avea nevoie pentru teste de stress de automation?? biggrin.gif
Load poti sa automatizezi cu destule tooluri dar la stress chiar nu vad rostul smile.gif.

Ca o paranteza legata de automation tools, pana acum m-am jucat destul de mult cu produse de la Rational:

Rational Functional Tester, fostul XDE Tester - fff bun pentru aplicatii web based, si destul bun pt aplicatii JAVA, se muleaza perfect pentru functional testing.
Rational Robot - bun pt aplicatii client server(e beton pt cele facute in C++), ffff bun pt teste functionale
Rational Test Manager , care pe langa managementul documentatiei te ajuta mult si la performance testing, dar extensia asta costa mai mult decat programul in sine
LoadRunner de la Mercury e si el destul de bunicel, insa nu se ridica la nivelul Functional Tester spre exemplu.

Legat de managementul bugurilor, cel mai ok din cate am lucrat este Test Director de la Mercury, iar cel mai de kko Bugzila.
banuady
QUOTE (MATRIXU @ Oct 12 2007, 21:53) *
Cam tarziu ma bag si eu in seama...dar de ce ai avea nevoie pentru teste de stress de automation?? biggrin.gif
Load poti sa automatizezi cu destule tooluri dar la stress chiar nu vad rostul smile.gif.

Ca o paranteza legata de automation tools, pana acum m-am jucat destul de mult cu produse de la Rational:

Rational Functional Tester, fostul XDE Tester - fff bun pentru aplicatii web based, si destul bun pt aplicatii JAVA, se muleaza perfect pentru functional testing.
Rational Robot - bun pt aplicatii client server(e beton pt cele facute in C++), ffff bun pt teste functionale
Rational Test Manager , care pe langa managementul documentatiei te ajuta mult si la performance testing, dar extensia asta costa mai mult decat programul in sine
LoadRunner de la Mercury e si el destul de bunicel, insa nu se ridica la nivelul Functional Tester spre exemplu.

Legat de managementul bugurilor, cel mai ok din cate am lucrat este Test Director de la Mercury, iar cel mai de kko Bugzila.



Destul de tarziu replay-ul meu, dar cautand ceva am dat peste postul tau.
Cam incurci una cu alta, de unde se vede ca experienta ta in partea de Load testing e cam nula. Load Runner nu va face niciodata functional testing, este strict tool de load. Si ca o complere, e unul dintre cele mai bune tooluri de load testing, daca nu chiar cel mai bun. Si nu face doar web ci mult mai multe. Gasiti detalii pe site-ul HP (intre timp Mercury a fost cumparat de HP) Din pacate licentele costa destul de mult, preturile putand sari lejer de 100 mii dolari, depinde evident de numarul de Virtual Users folositi.

Pata in prezent am lucrat (atentie: lucrat, nu citit din carti) cu 2 tooluri de load testing: Load Runner si SilkPerformer. Al doilea este toolul de la Borland (fost Seague). Greu de zis care e mai puternic sau mai bun, proabil ca tine de aplicatia pe care o testezi. Personal inclin spre LoadRunner.

Ca free tool pentru Load testing am vazut referinte bune despre OpenSTA. Nu am facut nici un test complet cu el pentru a vedea ce suporta. Singura problema la el e ca nu suporta decat HTTP/HTTPS.

Mai multe detalii despre performance testing aici: http://www.codeplex.com/PerfTestingGuide. E o carte care poate fi descarcata gratis.. si destul de utila.

Bafta,
A...
bdi
QUOTE (cleah @ Oct 1 2007, 16:54) *
salutare. poti sa incerci aici http://www.software-testing.ro

un site foarte util pt cei care sunt in breasla asta


Adresa corecta este: http://www.testing-software.ro/forum/index.php.

QUOTE (sqryn @ Aug 16 2006, 15:51) *
.....de asemenea pentru testarea functionala - Mercury WinRunner


WinRunner nu stie sa testeze managed code apps
Reclama
Am verificat si e pe bune! La job.ro se dau super premii: 8 Sony Vaio, 8 HTC-uri cu Windows si GPS si 16 iPod-uri Nano de 8Gb.
Si culmea, daca le spui si prietenilor tai ai sanse mai mari de castig
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.