Att efterfrågan på kretsar för AI-tillämpningar och maskininlärning har ökat explosionsartat det senaste året råder det inget tvivel om. Ett kvitto på detta är Nvidias senaste kvartalsrapport, vilken visade nya rekordsiffror i försäljning för bolagets datacenter-division, i vilken de efterfrågade beräkningskretsarna H100 ingår. Rivalen AMD har dock inte legat på latsidan och under gårdagen presenterade de sin konkurrerande lösning i form av Instinct MI300-familjens kretsar.
AMD:s nya beräkningskrets MI300X har 192 GB HBM3-minne.
I fokus ligger den nya datacenter-inriktade arkitekturen CDNA 3, vilken tar plats på den nya beräkningskretsen Instinct MI300X. Här används bolagets chiplet-koncept till sitt fullo för att sy ihop den nya kretsen ihop med TSMC:s 3D-staplingsteknik. I botten av kretsen syns en bädd av fyra IO-kärnor med totalt 256 MB Infinity Cache. Ovanpå dessa har bolaget staplat åtta XCD-kärnor, innehållandes 38 beräkningskretsar var för totalt 304 beräkningskretsar hos hela kretsen.
På flankerna syns därtill åtta staplar med HBM 3-minne, för en total kapacitet på 192 GB samt en teoretisk minnesbandbredd om 5,3 TB/s. Detta är mer än dubbelt så mycket minne som Nvidias H100 mäktar med vid 80 GB samt 36 procent högre kapacitet än den nylanserade kretsen H200 som börjar skeppas nästa år med 141 GB HBM3E-minne.
AMD påstår högre prestanda än Nvidias H100-krets.
Något som även gäller vid bruk av stora språkmodeller (LLM).
Enligt AMD:s egna siffror kan MI300X inte bara tävla med Nvidias H100-krets, utan även slå den på fingrarna vid flertalet scenarion. Vid exempelvis flyttalsberäkningar med FP8- och FP16-instruktioner syns ett prestandaövertag på 30 procent. Även prestandan med stora språkmodeller (LLM) likt Llama2 ska vara bättre med AMD:s krets, där övertaget ligger mellan 10 och 20 procent högre.
MI300A kombinerar processorkärnor med Zen 4-arkitekturen med beräkningskretsarna ur CDNA3-familjen.
AMD presenterade även sitt svar på Nvidias "superkrets" Grace Hopper, där den sistnämnda kombinerar en processordel med ARM-kärnor med beräkningskretsar ur arkitekturen Hopper. Kontringen från AMD kallas MI300A, vilken bygger på samma stomme som MI300X men med en annan chiplet-konfiguration. Här har man bytt ut två XCD-kretsar och istället växlat in tre CCD-kretsar från Epyc-familjen med totalt 24 processorkärnor Zen 4.
Både XCD-kretsarna och CCD-kretsarna är staplade ovanpå IO-kärnorna och har tillgång till 256 MB Infinity Cache. Processorkärnorna och beräkningskretsarna har en gemensam minnespool på 128 GB som utgörs av åtta staplar HBM3-minne med en teoretisk minnesbandbredd om 5,3 TB/s.
MI300A ska ge upp till fyra gånger bättre prestanda vid simuleringar.
Kretsen ska också ge betydligt bättre energieffektivitet än Nvidias Grace Hopper-krets.
Bolaget presenterar även några snabba prestandasiffror för MI300A, och påstår att kretsen uppvisar fyra gånger högre prestanda än H100 vid simuleringar med OpenFOAM. Jämförelsen är dock kanske inte helt rättvis, då den egentligen borde göras med Grace Hopper-kretsen GH200. Det andra exemplet har att göra med energieffektivitet, där MI300A ska erbjuda ett dubblering i det avseendet när det jämförs mot Nvidias Grace Hopper.
Båda beräkningskretsarna är nu i produktion och under presentationen talades det om flertalet designvinster hos såväl Dell som HP Enterprise. Instinct MI300 är även en stor beståndsdel i superdatorn El Capitan, vilken spås bli den snabbaste av sitt slag när den färdigställs under 2024.
