Microsoft och AMD i samarbete om AI-krets – tar upp kampen mot Nvidia

Så är en del av Athena även deras ARM-kretsar? De som omnämndes som ’Microsoft Silicone’ för några dagar sedan, som skulle användas i laptops

Kanske det bara handlar om att köpa Instinct med lite bättre AI-delar i?

UNDERGÅNGEN ÄR NÄRA

Cyberdyne har redan startat 😅

Microsoft i min hårdvara, nej tack. Att AMD har Microsoft i sina processorer (Pluton) gör att jag kommer gå över till Intel för första gången sedan första generationens Core 2 Duo, vilket är den enda gången jag använt Intel.

Väldigt snabba matrisoperationer på små tal (vanligt med 4 bit)

Det går ju stänga av (Om det ens är aktivt, verkar variera grovt) men jag håller med...
Det går ju dock säga samma sak om Pixel, Macbooks etc där samtliga kör egna säkerhetsprocessorer on-chip.

Du kommer aldrig ifrån bakdörren oavsett vilken processor du köper tyvärr

ChatGPT och liknande gör inget lokalt jobb på din dator, allt sker på deras servrar om det är det du undrar

Sen är kraven att exekvera AI (utvärdera ett existerande nätverk) inte alls samma som att träna nätverk och förbättra resultaten

Ska bli intressant att se vad detta leder till.
AMD MI300 är en intressant språngbräda i teknik så även köpet av Xilinx.

Som någon innan skrev samarbetet mynnar ut i Cyberdyne Systems.

Ja det finns ju redan TPM och liknande men jag drar gränsen när Microsoft ska in i min CPU.

Intressant läsning om Pluton under rubriken "AMD Socket AM5 Reveal":
https://semiaccurate.com/2022/01/18/amds-new-cpus-may-be-safe...

Det är nog bara att hoppa på tåget för vi står inför en revolution i effektivitet likt den industriella revolutionen i början av 1900-talet.

Har inte precis jobbat på något stort AI-projekt så lita inte 100% på mig men på grundnivån för neural networks, GAN osv så har du i princip en serie matriser där input->vikter->outputs finns.

Inte expert på matten heller men om man tänker sig ett AI vara byggt runt matrisoperationer jämfört med till exempel en PLC som är byggd runt "hårda" inputs och operationer enkla nog att kunna defineras i en sanningstabell så kan man föreställa sig det hela- och vad AI är i princip är ju att vi simulerar en sorts processing på den hårdvara vi använder till allt annat. Känns då rimligt att hårdvaruacceleration kommer utvecklas med den.

Om nästa steg i en uppgift inte handlar om att bara läsa av status på de olika ingångar och timers osv som finns utan istället utföra en till iteration av tusentals, hundratusentals matrisoperationer så är det matriser man vill vara snabb på

Vet inte hur mycket mer generell processing som behövs för typ ChatGPT och liknande, antar att det inte bara är brute-force men låter som att de slänger ovettiga mängder GPU-processing på det just nu. Precis som med mining lär det vara starkt motiverat att byta ut GPU's mot mer effektiva ASIC eller FPGA (AI kommer ju i många smaker för olika syften så kanske är mer FPGA i början?) så custom SoC's kanske är värt det.

Beräkningarna för att träna, och köra, en AI modell domineras av matrismultiplikationer. Nvidia har dedikerad transistorlogik för detta ändamål (tensor cores). Vad dom gör är att beräkna 4x4 matrismultiplikation i reducerad precision (16 bit float). Dessa fungerar som byggstenar för att göra de mycket större operationerna i modellen. I teorin kan man göra själva matmul aritmetiken 8x snabbare än utan tensor cores. Men i praktiken för en hel modell så når man inte riktigt så högt, kanske 2-4x snabbare, beroende på omständigheter.

Har en känsla av att MS redan finns i de flesta moderna x86/64 cpuer...

Du får gärna hänvisa till något annat än din känsla.

Det kan jag inte eftersom det bara är en känsla men, mitt resonemang är som lyder: intel skickar ju kod till MS för att förbättra hur intel cpuer presterar med Windows, är ju inte en helt världsfrånvänd tanke att MS kanske skickar kod till intel som hårdvaruimplementerars i cpuer för att uppnå detsamma. De båda företagen har åtminstone historiskt haft ett mycket nära samarbete.