Nvidia Hopper nästa arkitektur efter Ampere

Hoppas Nvidia fortsätter att utveckla sina arkitekturer allt mer för GPGPU.

Jensen har raljerat om hur GPUer är så mycket snabbare än CPUer att de senare blir irrelevanta med tiden, nog ett visst mått av överdrift och eventuellt önsketänkande från Nvidias sida.

Men går inte att blunda för hur brutalt mycket bredare de områden som fungerar väl med GPGPU (specifikt CUDA) blivit med Turing. De flesta känner nog till Blender och med Turing drar till och med 1600-serien jämt med HEDT CPUerna, ställd mot Pascal med motsvarande teoretisk prestanda ligger Turing minst ett snäpp högre.

De förbättringar som gjorts kring hantering av heltal är egentligen ännu viktigare för GPGPU då en förkrossande majoritet av algoritmer jobbar med heltal. Går absolut inte att ersätta CPUer inom alla områden, men är idag lågt enklare att skriva kod i CUDA som faktiskt presterar riktigt bar om man kör på Turing jämfört med hur det såg ut ett par generationer tillbaka.

Redan lagt en hel del tid på det som diskuteras i denna tråd. När jag väl riktigt satt mig in i den algoritm som diskuteras flitigast där, Held Karp (en metod för att lösa handelsresandeproblemet) inses lätt att ett problem när man kör på en CPU är att "working-set" (mängden data som ofta används) är allt för stor för att få plats i CPU-cache när man når en bit över tjugo platser att besöka.

Vad är en GPU optimerad för? Just fallet där man hanterar så mycket data att det inte är rimligt att få plats med hela "working-set" i cache, i stället har man så många samtida trådar igång att varje tråd går så långsamt att läsa/skriva från VRAM inte blir en flaskhals!

Har inte postat CUDA-programmet, for nog lägga upp det på github eller så. Men även här står sig en 1660 Ti Max-Q krets sig riktigt väl mot en 3900X!!!

Tyvärr börjar Nvidia få lite väl stort försprång kring GPGPU. Frågade AMD-gänget på SweCs 20års jubileum om de slutat satsa på OpenCL (har haft känslan att det ligger till så, AMDs OpenCL 2.x implementation är inte bra). Svaret var rent ut: AMD tror inte längre på OpenCL, Apple skapade detta och ånga gick rätt mycket år det hela när Apple klev av och släppte stödet i sina OS.

Var ändå lite förvånad givet bristen på alternativ just nu och frågade: vad rekommenderar ni att man ska använda i stället? Svaret var lite märkligt "kör CUDA via HIP". Att köra ett proprietärt system, CUDA, emulerat/översatt till AMDs GPUer är väl OK för hobbybruk med inte en realistisk lösning för proffsbruk.

Hoppas här att AMD och Intel kan enas bakom t.ex. SyCL (Intel satsar definitivt på detta och fattar det som att AMD har börjat lägga in stöd i HIP för detta), för just nu vinner Nvidia rätt mycket på W.O. kring GPGPU

OpenCL hade egentligen aldrig någon chans mot CUDA, det senare är så mycket enklare att använda. SyCL är betydligt mer likt CUDA på en logisk nivå, så det kan bli riktigt bra.

TL;DR ser med spänning fram mot både Ampere och Hopper. Inte någon jätteskräll att det skulle komma en MCM-design, finns redan flera patent från Nvidia och en rad forskningspapper kring hur man kan tänkas bygga en MCM GPU. Fram till rätt nyligen fanns det tyvärr en hel del olösta problem, men 2017 verkar det som man själv trodde sig knäckt nöten.

Det är kanske Hopper?