Kommer GPGPU konkurrera ut CPU?

Grovt kan man dela in problem i tre klasser. Självklart kan man kan göra alla möjliga uppdelningar, just den här uppdelningen är gjort för att belysa fördelar och brister med GPGPU

• strikt sekventiella problem: många interaktiva applikationer hamnar i denna grupp, man utför en sekvens med uppgifter där uppgift M ofta är beroende av uppgift N (N>M och skillnaden är relativt liten)

• uppgiftsparallella problem: "multitasking" och många serverapplikationer hamnar i denna grupp, här har man många oberoende uppgifter som kan utföras samtidig, det jobb som behöver utföras i varje enskilt fall kan skilja sig åt

• dataparallella problem: urtypsexemplet är matrismultiplikation, resultatet för varje cell beräknas med samma operationer men med olika data för varje cell (väldigt mycket kan beskrivas som matriser så detta är mer generellt än man kan tro), många varianter av bild- och signalbehandling hamnar även här

GPUer är rätt odugliga på de två första och helt överlägsen en CPU i det sista fallet. Så program som jobbar med saker som passar in i 3:e gruppen bör konverteras till GPGPU, men en GPU kan inte ersätta en CPU i de två första fallen.

Sedan är verkligheten mer komplicerad än så. Finns en gradvis skala där man har kombinationer av 1/2 <-> 3, ju oftare man växlar mellan 1/2 samt 3 ju mindre blir boosten av GPGPU p.g.a. overhead. Lösningen då är att i stället använda SIMD (SSE/AVX på x86).

SIMD passar också bättre i fall där det finns viss varians i vilka instruktioner som ska appliceras på varje indata-cell. "Bredden" för SIMD är typisk 2-8 medan den är 32 för Nvidia och 64 för AMD, SIMD hanterar därför obalans mellan vilka operationer som ska appliceras långt mer effekt än GPU.

Det har varit rätt skralt med GPGPU-optimerade program på skrivbordet fram till rätt nyligen, men nu börjar det leta sig in i de program där GPGPU har stor potential (t.ex. Adobes programvaror).

TL;DR
För dataparallella problem krossar GPGPU en CPU, för övriga problemtyper är CPU överlägsen. Framöver lär GPGPU bli vanligare men det kan inte ersätta CPU.