AMD kan bygga NPU-instickskort

Äntligen, hoppas npu börjar släppas snart.

Först tänkte jag att va bra, då kan vi säkert slänga på RT/PT på det kortet med.
Men det vore skitdåligt då det kommer bli dyrare, hur länge kommer kortet vara aktuellt?, blir det kort med olika standarder? osv.

Dessa är nog inte riktade mot persondatorer. Gissar bilar/IOT/servrar.

Problemet är väl storleken på arbetsminne, tror inte ett kort med 128 GB RAM blir särskilt billigt. Men i och för sig så är själva minnesmodulerna biliga, så om dom tillverkar NPUn på säg 7 nm och gör kretsen stor så kan dom få ned förbrukningen utan att betala höga priser för 5 nm litografi (vars fabriker är follbokade) när 7 nm räcker om man sänker frekvensen.

Istället blir ju problemet att man endast kan använda gamla eller komprimerade LLMs eller maskininlärning, vilka har dålig prestanda och ger betydligt fler fel. 512-1024 GB RAM är allt för dyrt för att någon konsument skulle ha råd med de.

Plugin kort att kunna addera deras FSR4/Frame gen teknik även för äldre kort utan stödda hårdvaran för det?

ser det som ett försök att redeama deras tapp att hålla tekniken universal och fungerande oavsett hårdvara.

Är lite förvånad över att vi inte har mer renodlade AI-kretsar från AMD eller nVidia än vad vi har. Även beräkningskort utan ROPs har fortfarande en väldig massa overhead för att bara användas för tensor/matrix-beräkningar.

Jag undrar om kan kör AI tillämpningar, hur viktigt är snabbt minne jämfört med mycket minne ?

Om det eventuellt hade varit en ide att ha ett AI kort med egna DDR5 minnesplatser?
Så man kan ha mycket minne men billigare och långsammare minne än vad som sitter på grafikkorten.

Eller behöver man hundratals GB/s bandbredd ?
Om kortet exempelvis har 4 kanaler DDR5 istället för bara 2 kanaler som vanliga persondatorer.
Räcker den bandbredden eller är det för långsamt.
Om man säger att ett NPU kort + 128GB DDR5 är mycket billigare än ett RTX PRO 6000 med 96GB VRAM.

Minnesmängden och minnesbandbredden är viktigast. Det spelar ingen roll hur snabba beräkningar som kan göras om modellerna inte får plats i minnet eller måste accessas långsamt. Det är i princip aldrig själva beräkningarna som är flaskhalsen.

Allt under 1TB/s i minnesbandbredd är i princip värdelöst, det går att leka som entusiast med men professionellt är det dödfött. På moderna Epyc moderkort med 12 kanaler kommer du upp till hälften av den bandbredden.

För dagens GPU:er har inte kapaciten? :S

GPUer klarar mycket mer än en NPU behöver göra. Så man kan bygga effektivare/snabbare enheter om man bara inkluderar sånt en NPU behöver göra.

Ok men de flesta nya mid-highend processorer som släpps från både Intel och AMD har ju redan integrerade NPU's. Räcker inte dessa eller?

Så GeForce RTX 5070 Ti och RTX 5080 med 'bara' 896 GB/s respektive 960 GB/s är värdelösa för AI eftersom det är under 1TB/s minnesbandbredd ?

RTX 4090 då?
Det är över 1TB/s, men bara precis, 1.01 TB/s

Det kan väl inte vara så att RTX 4090 är fantastiskt med sin över 1TB/s minnesbandbredd och RTX 5080 är värdelöst med sin under 1TB/s minnesbandbredd, när skillnaden bara är ca 5.2% ?

Låter som ngt som ngn kommer köpa upp, lägga ner och implementera i next gen eller next-next gen gpu:er.

Dagens och gårdagens GPU:er gör ju redan detta.

Framtidens TPM/Management Engine?
En AI som övervakar datorn på hårdvarunivå och rapporterar över nätet. Får den inte rapportera på x dagar så blir stänger den ner systemet och vägrar boota. 😋

Så en helt meningslös produkt. Kan tänka mig att det är till för konsoler för att avlasta APU utav något slag. Men next-gen APU kommer var så kraftfull så det inte behövs heller.

Jasså det börjar bli dags nu. Det här var en idé jag hade också för typ 15 år sedan att det kunde bli något stort bara någon lade manken till att göra det. Det kan definitivt bli en grej utav det som vi kommer ta för givet i framtiden, men bäst vore väl om det utformades någon typ av standard för det så vi inte börjar få en massa olika inkompatibla lösningar.

Precis som jag nämnde ovan

Precis som med all ny teknik, räkna med stora utvecklingshopp de första generationerna och mindre hopp därefter.

Skulle kunna vara fint ihop med en Raspberry Pi eller liknande för någon egen AI-assistent eller för roliga robotprojekt.

Google coral finns ju men det kanske behövs lite konkurrens och uppdateringar för att det ska bli mer mainstream.