Nvidia prezinta noul cip Blackwell B200 - cel mai puternic cip pt AI

Era o vorba - Viitorul suna bine.
Nvidia a prezentat Blackwell B200 ca fiind cel mai puternic cip din lume pt domeniul AI.
Surpriza vine de la GB200, un "super cip" cu 208 miliarde de tranzistori.




"Iar Blackwell B200 este doar „felul principal”, Nvidia prezentând și un „supercip ” GB200, cu 208 miliarde de tranzistori. Cu până la 20 de petaflopi de putere de procesare FP4, cip-ul este gândit să funcționeze în pereche. Nvidia susține că un sistem de calcul echipat cu două cipuri GB200 plus un procesor Grace Hopper poate oferi de 30 de ori mai multă performanță pentru sarcinile de lucru de inferență LLM, totodată fiind substanțial mai eficient în privința consumului de energie. Roluția ”reduce costurile și consumul de energie de până la 25 de ori” față de un H100, spune Nvidia.

Dacă anterior, antrenarea unui model cu 1,8 trilioane de parametri ar fi necesitat o configurație cu 8000 de unități GPU bazate pe arhitectura Hopper și 15 megawați putere consumată, acum poți face asta cu 2000 de GPU-uri Blackwell, la un consum de doar 4 megawați.

Compania spune că Amazon, Google, Microsoft și Oracle și-au exprimat deja intenția de a include soluția NVL72 în infrastructura lor de servicii cloud, însă volumul comandat rămâne confidențial.

Mai există și DGX Superpod pentru DGX GB200, care combină opt sisteme într-unul pentru un total de 288 de procesoare, 576 de GPU-uri, 240 TB de memorie și 11,5 exaflopi de calcul FP4"

https://www.theverge...ell-gpu-b200-ai

https://zonait.ro/nv...lume-pentru-ai/

Edited by alex342, 20 March 2024 - 00:49.

[ https://www.youtube-nocookie.com/embed/bMIRhOXAjYk?feature=oembed - Pentru incarcare in pagina (embed) Click aici ]

Nu stiu cat de informat este nwradu, dar pun totusi un fragment

"Un cip Blackwell are 104 miliarde de tranzistoare în interior și este produs în 4 nm. NVIDIA le unește câte două astfel de cipuri și le spune “unitate Blackwell”. 208 miliarde de tranzistoare și o bandă de transfer între cele două jumătăți de 10 TB/s, viteză la care, zice Huang, dispar limitările aduse de faptul că memoria este externă. O jumătate de Blackwell poate accesa memoria integrată în cealaltă jumătate cu așa o viteză de mare încât pare că este memoria ei.

NVIDIA combină apoi două unități Blackwell și un cip Grace (o generație mai veche) într-un pachet numit GB200. Îi adaugă un bridge NVLink îmbunătățit și un engine care verifică periodic de erori și defecțiuni la nivel de unitate, pentru a micșora downtime-ul.

Rezultatul este o îmbunătățire de 5 ori peste Hopper, ajungând la 40 de petaFlops procesare și la transferuri de 34 de tera-parametri pe secundă cu memoria.
Poți pune mai multe astfel de unități într-un server, apoi mai multe servere într-un rack. Poți construi un data center cu mai multe rack-uri de acest tip.

Rezultatul? Un data-center cu 32.000 de cipuri Blackwell poate atinge o viteză de procesare de 645 exaFlops, cu o memorie totală de 13 PB, o bandă totală de 58 PB/s și in-network computing de 16,4 petaFlops.
1 exa înseamnă 10 la puterea 18, adică o mie de peta sau un milion de tera.

Și aruncă pe acolo în prezentare cu peta și exa de parcă ar fi nimic, de parcă ar fi la ordinea zilei. Îmi aduc aminte că am citit cândva că se deschide primul super-computer din lume de 1 exaFlops. Poți avea acum 645 de exaFlops cu câteva rack-uri.

Mai spune Huang că puterea de procesare a plăcilor NVIDIA a avansat de 1000 de ori în 8 ani. Pascal, în 2016, avea 19 teraFlops. Hopper, în 2022, avea 4000 de teraFlops. Blackwell se duce la 20.000 de teraFlops.

Legea lui Moore estimează o creștere de performanță de 100 de ori la fiecare 10 ani. NVIDIA a obținut 1000 de ori în 8 ani. Văd ei ce vor anunța peste doi ani și care va fi raportul final.

Revine apoi la exemplul său cu modelul AI cu 1,8 mii de miliarde de parametri care ar dura 1000 de ani pentru a fi antrenat de un singur GPU.

Un sistem bazat pe Hopper poate face asta în 90 de zile, folosind 8000 de plăci video și consumând 15 megawați putere.

Un sistem bazat pe Blackwell poate face asta în 90 de zile, dar folosind doar 2000 de plăci video și consumând doar 4 megawați.

"

Edited by alex342, 20 March 2024 - 01:22.

Asadar serverele chatGPT consuma energie cat un orasel si nu-mi cer - deocamdata - nici un ban (mie, ca mocangiu )? Super tare. Sa ma mai oftic ca-mi retine adresa de mail (una din alea "consumabile"), locatia, preferintele alimentare, de muzica si sex? Nu dai, nu primesti.

Cu toate astea actiunile NVIDIA sunt in declin usor. Ori ca deja au ajuns la pret ridicol de mare si "smart money" i-au profitul si ii lasa pe altii sa tina sacul???

Sau ca nici una din sutele de companii de AI nu inregistreaza profit, ba mai mult ard sute de milioane / miliarde $ fara rezultate concrete - exceptie niste programe de generat imagini (care merg asa cum merg) si a unora care genereaza text da nu mai mult de 500 de cuvinte??? In curand multi investitori o sa isi piarda rabdarea - si o sa urmeze un masacru in acest domeniu - o sa ramana doar cateva. Iar cererea de cipuri o sa scada,

Google recent - care si el a investit in AI masiv - a anuntat ca o cautare clasica pe Google ii costa pe serverele lor 0.0003 kWh energie. Daca faci aceiasi cautare folosind Chat GPT-4 cu procesoare NVIDIA intre 0.001-0.01 kWh.
Am facut si eu testul - nu sa verific energia - ca nu imi pasa cat cheltuie o companie din US sa imi de-a rezultatele - ci sa caut doua lucruri - un produs - si un eveniment istoric - batalia de la Leyete din Filipine.
Rezultatele au fost dezastruoase pe AI. In primul caz nimic - al doilea un text de 500 cuvinte - fata de mii de pagini cu poze pe internet.

0,001/5 = 0,0002 cu noile procesoare care fac subiectul de aici.

AztecWarrior, on 20 martie 2024 - 07:25, said:

Ai fost sanctionat de n ori pt offtopic, flame, trollat etc. Toti stiu ca trollezi...

Dar iti raspund totusi la nelamurire. Nvidia nu poate produce atat cat se cere. Si vorbim de "vechiul" H100.
Iar legat de aceste "cipuri" care nu fac nimic, te las pe tine sa te informezi ce fac ele de fapt si care este saltul de la H100 la noile Blackwell

Edited by alex342, 20 March 2024 - 07:59.

alex342, on 20 martie 2024 - 07:58, said:

Te simti personal atacat ca vorbeste de niste chipuri ?
Problema e la tine.

Dpmdv nu troleaza deloc, doar discuta, daca nu-ti convine trece-l pe ignore.

Edited by sirgoofy, 20 March 2024 - 10:57.

alex342, on 20 martie 2024 - 00:38, said:

Cati wats adica?

alex342, on 20 martie 2024 - 00:38, said:

Cam ciudat.
Cel mai puternic supercomputer actual, nu trece de 2 exaflops.

AztecWarrior, on 20 martie 2024 - 07:25, said:

Actiunile sunt supraestimate mult relativ la valoarea contabila. Normal ca or sa cada intr-o zi.

XORIAN_L, on 20 martie 2024 - 13:03, said:

Vorbeste cu inginerii Nvidia, cu Jen-Hsun Huang. Este produsul lor, ei sunt expertii. Degeaba ma intrebi pe mine

sirgoofy, on 20 martie 2024 - 10:55, said:

Respectivul trolleaza. Nu vezi ca mai are putin si spune ca de fapt Nvidia este ultima spelunca care se joaca in garaj de-a tehnologia. Apoi spune ca de fapt AI-urile si alte tehnologii sunt de fapt niste linii de cod scrise de Gigel din clasa a 5-a si maine poimaine vor da faliment. Evident ca trolleaza, are istorie in trollat, a primit n sanctiuni, moderatorii il stiu bine, el este client vechi.

Edited by alex342, 20 March 2024 - 17:23.