Jelenből a Jövőbe / 2025. január 29., szerda

MI-szuperszámítógép az asztalunkon

Az Nvidia Project Digits-e nem akármilyen új desktop komputer: azért fejlesztették, hogy nagy mesterségesintelligencia-modellek fussanak rajta. A személyi számítógép fejlesztőket hivatott segíteni, hogy a futtatás mellett helyben finomhangolhassák is modelljeiket.

Az egy kézben elférő, tehát kicsi gépet májustól kezdik árulni, kezdőára háromezer dollár lesz. A teljes specifikáció még nem áll rendelkezésre.

Maximum kétszázmilliárd paraméteres modellek futnak rajta, azaz az átlagos fogyasztói hardveren működő modelleknél ötször nagyobbakkal elboldogul a Project Digits. Ebből következik, hogy például a mostani egyik csúcsmodell, a 405 milliárd paraméteres Meta Llama 3.1 működtetéséhez össze kell kapcsolni két egységet (kettő elég hozzá).

A gép az Nvidia Ubuntu Linuxra emlékeztető DGX operációsrendszerével működik. Az Nvidia Blackwell GPU (grafikus feldolgozóegység) és a Grace CPU (központi feldolgozóegység) architektúráját összekombináló 10 GB „rendszer egy chipen” alapul. Utóbbi kettőt nagy sávszélességű NVLink kapcsolja össze.

A Blackwell GPU a nagyvállalat legújabb B100 GPU-inak az alapja, míg a Grace CPU architektúrát kifejezetten adatközponti mesterségesintelligencia-munkaterhelés menedzselésére tervezték.

A komputert az asztali gépszinten nagyon komoly kapacitást jelentő 128 GB egyesített memóriával és négy terabájt SSD-vel látták el. Az Nvidia DGX felhőszolgáltatására kapcsolódva fejlesztők számára lehetővé teszi, hogy helyi gépükön futó modelljeiket a felhő-infrastruktúrában telepítsék.

Bevett dolog az Nvidia A100 és H100 GPU-in gyakoroltatni modelleket. Áruk legalább 8 ezer vagy 20 ezer dollár, negyven és nyolcvan gigabájt közötti memóriával. Ezek a súlyos követelmények sok fejlesztőt arra késztetnek, hogy felhőszolgáltatóktól vásároljanak számítási infrastruktúrához való hozzáférést.

A háromezer dolláros 128 giga memóriás Project Digits itt jön képbe, mert lehetővé teszi gépitanulás-fejlesztőknek, hogy saját gépükön futtassanak és trenírozzanak nagyobb modelleket. 

Tovább az eredeti oldalra!