Vid litografisk tillverkning av kretsar finns en gräns kallad reticle limit, som begränsar hur stora kretsar som är möjliga att göra. Nvidia har vid flera tillfällen tagit fram lösningar vid den gränsen, där senaste exemplet är grafikkretsen A100 på massiva 826 mm². För två år sedan lanserade Cerebras världens största krets vid namn Wafer Scale Engine (WSE) på massiva 46 225 mm².
Kretsen tillverkas på en vanlig kiselplatta om 300 millimeter i diameter och för att kringgå reticle limit består den i grunden av 84 individuella kretsar. För att kringgå de fysiska begränsningarna har Cerebras utvecklat en egen kommunikationsbuss placerad längs kretsarnas fyra sidor, vilket gör det möjligt för samtliga att samverka som en stor enhetlig sådan.
Specifikationer: Cerebras Wafer Scale Engine
Cerebras WSE 2 | Cerebras WSE | Nvidia A100 | |
|---|---|---|---|
Tillverkningsteknik | TSMC 7 nanometer | TSMC 16 nanometer | TSMC 7 nanometer |
Kretsstorlek | 46 225 mm² | 46 225 mm² | 826 mm² |
Transistorer | 2 600 miljarder | 1 200 miljarder | 54,2 miljarder |
Transistortäthet | 56,25 miljoner / mm² | 25,96 miljoner / mm² | 65,62 miljoner / mm² |
Antal kärnor | 850 000 AI-kärnor | 400 000 AI-kärnor | 6 912 CUDA-kärnor |
Cacheminne (SRAM) | 40 GB | 18 GB | 40 MB |
Minnesbandbredd | 20 PB/s (aggregerad) | 9 PB/s (aggregerad) | 1 555 GB/s |
Intern bandbredd | 220 PB/s | 100 PB/s | 600 GB/s |
Strömförbrukning | 15 000 W | 15 000 W | 250 W (PCI Express) |
Pris | Ja | 2+ miljoner USD | 8 799 USD |
Ett ofrånkomligt problem vid tillverkning av stora kretsar, såsom Nvidia A100 som mäter 826 mm² och har 54 miljarder transistorer, är defekter. Cerebras andra generations WSE tillverkas på TSMC:s 7 nanometer och enligt bolaget självt har de en yield på 100 procent, det vill säga att de inte behöver kassera några kretsar. Detta tillskrivs mognadsgraden hos TSMC:s tillverkningsteknik och inbyggd redundans, vilket i praktiken innebär att de har gott om marginaler för att inaktivera defekta kärnor. Det är också troligt att de lättat något på transistortätheten för att minimera antalet defekter.
Första generationens WSE hade exakt samma kretsstorlek om 46 225 mm² och tillverkades på TSMC:s 16-nanometersteknik. Övergång till 7 nanometer har möjliggjort mer än en dubblering i antalet transistorer, från hela 1,2 biljoner till än mer imponerande 2,6 biljoner. Antalet AI-kärnor har också taget ett rejält kliv upp från 400 000 till 850 000 stycken.
De skyhöga specifikationerna fortsätter vid mängden cacheminne på 40 GB, något Cerebras konstaterar är gånger 1 000 mer än hos Nvidia A100. Den aggregerade bandbredden till primärminnet (RAM) för hela kretsen är 20 PB/s och för den interna kommunikationsbussen ligger den aggregerade bandbredden på hela 220 PB/s. Det handlar således om petabyte, där en ensam petabyte motsvarar 1 024 terabyte eller 1 048 576 gigabyte.
Som brukligt för en krets om 46 225 mm² och 2,6 biljoner transistorer är strömförbrukningen något i hästväg. För själva kretsen anges 15 kilowatt, 15 000 watt, och för ett helt färdigbyggt system landar detta på 20 kilowatt. Värt att tillägga är att såväl kretsens storlek som strömförbrukning är samma som hos första generationen, något som gör WSE 2 kompatibel med tidigare specialframtagna vattenkylning och system.
Cerebras WSE 2 är avsedd för beräkningstunga applikationer, där specifikt artificiell intelligens (AI) lyfts fram som exempel, och levereras i ett specialdesignat 15U-system. Detta går att jämföras mot vanliga formfaktorer för servrar, som har måtten 1U, 2U och 4U. Ett av de huvudsakliga säljargumenten är just storleken, där ett Cerebras-system på 15U uppges kunna ersätta ett dussintal serverrack med grafikkretsar, som Nvidia A100, vilka sammantaget har strömförbrukning om hundratals kilowatt.
Cerebras monstruöst stora WSE-kretsar riktar sig mot forskning inom bland annat läkemedel, bioteknik, militären, nukleär modellering samt olje- och gasindustrin. Prislappen för ett färdigbyggt system med Cerebras första generation låg norr om två miljoner dollar, och mycket talar för att WSE 2 kostar signifikant mer än så. Lanseringen äger rum under årets tredje kvartal.
Källa: Tom's Hardware, Anandtech
