Intel visar Lunar Lake – "den mest effektiva arkitekturen någonsin"

Detta är precis så det är. Det är kul på exempelvis arkitektskolor att se Apple-människor kämpa något år med att få saker att funka på deras fina Macbooks för att efter ett tag bara kapitulera och köpa en "sämre" Windows-laptop. En hel del specialiserad mjukvara finns inte, eller fungerar dåligt på något annat än x86. Och en grafikkrets från Nvidia är mer eller mindre ett krav om du vill rendera. Visst kan allt detta ändras, men det kommer ta otroligt lång tid. I arkitektur/byggbranschen är det inte Microsoft eller Apple som bestämmer vad som används hårdvarumässigt utan det är Autodesk/McNeel/Chaos osv osv som bestämmer. Stödet utanför Wintel-miljön är nästintill obefintligt idag.

Jag tror även att målgruppen du nämner väljer bort Ultrabooks med endast en USB-C utöver porten för laddning, vilket artikeln faktiskt handlar om Dessutom är Lunar Lake begränsad till 32GB RAM.

Tycker det är självklart att välja det verktyg som är bäst lämpat för respektive uppgift.

Har tröttnat på alla schweiziska arméknivar som mest är värdelösa på allt.

Skulle exempelvis aldrig skaffat en Mac för enbart spel (även om Metal fått en boost i macOS 14), utan har konsoler för det istället. Även Windows har sin plats hos mig, i form av en äldre IBM Thinkpad, för att kunna köra mina gamla EPROM-prylar. Jobbdatorn kör också Windows, men allt jag kör där finns även till Mac eller tillgängligt via VDI:n.

De problem som ni nämner med program och windows finns i hur många områden som helst. Det är naturligt att det blir så och det är också lite tragisk men det finns ingen enkel lösning.
Man kan prata om Windows VS MacBOS, men man kan även prata om olika program för samma sak på samma dator. Väldigt många program idag är supergamla, de har använts hur länge som helst professionellt, att någon student eller liknande som lider av Dunning Kruger-effekten hänvisar att den har hört talas om ett nyare program som är modernare, så är det inte så enkelt för alla som jobbar med det att bara byta till denna.

Räddningen på problemet med laptops är att folks laptops går emot att bli klienter/terminaler, där man kan säga att du kan köra vilket operativsystem/laptop du vill. Detta arbetssätt har många fördelar, folk behöver inte krångla med installation av mjukvara, få licenser, plugging etc att fungera, arbetsfiler tas ej hem lokalt till en dator. Nackdelar är att viss saker som jobba med grafik ofta inte fungerar tillräckligt bra.

Jag ser det inte alls bra att folk egentligen kör med "gammal dritt" än idag, men det är inte så enkelt att ändra. Lite som jag skämtsamt säger att hela Stockholms och Göteborgs innerstad skulle rivas och bygga om. Då hade man på alla sätt fått bättre hus, bättre kollektivtrafik etc. Men det är i praktiken inte så lätt att bara göra. Det blir att bygga vidare på det gamla och man får inte det lika bra som om man hade gjort om allt från början.
På laptopsidan så är räddningen som sagt att man använder dem som klient emot webbläsaren eller en fjärrstyrningslösning som terminalserver.

Inte så mycket bättre med PC med Windows 11

Jim Keller har aldrig jobbat hos Qualcomm vad jag vet, och gick från Apple till AMD redan 2012. Personen i fråga är nog snarare Gerard Williams III, som tidigare var chefsarkitekt hos Apple. Han bildade senare Nuvia tillsammans med några andra kretsdesigners från Apple och Google, som Qualcomm sen köpte upp.

Jim Keller bytte väl till Tesla? Sen Intel, sen några andra startups och mindre ställen

https://en.m.wikipedia.org/wiki/Jim_Keller_(engineer)

I början när virtualisering kom så användes det till lite olika saker. Det fanns i början kompabilitetsproblem med många mjukvaror. Både virtualiserings mjukvarorna (hypervisors) blev bättre och programtillverkare insåg att allt fler av deras kunder köra deras program i en VM och de såg till att testa av detta rejält.
Där det idag har gått till att i princip alla köra dessa program hypervisor på något sätt, det kan vara en stor Exsi server stående någonstans eller lokalt på deras egen dator.

Problemet för de som var först var att de körde en lösning som var väldigt otestad och inte heller var den precis felfri. Detta ihop med extrema kostnader(viten) om något blir fel, gör att det var väldigt begränsat vad det användes till i början.
Detta har som sagt förändras till mer raka motsatsen, vaf-n installerade du programvaran direkt på hostdatorn kan någon undra? Ja, det borde fungera, men du är den enda i hela världen som har testat detta och detta ska du använda i produktionsfiler?

Problemet med snapdragon är som sagt att det är en otestad produkt nu i början. När det har gått ett tag och om vitalisering fungerar lika bra som det fungerar på en x86/x64 maskin, så finns det självklart inga som helst problem att använda det.

Ett problem med ultraportabla är såklart ram och ssd. 32GB ram är ungefär minimum för att göra något idag (ja det går att swapa på snabb nvme ssd). Lagring så ett par TB är minimum.
Det kan hända att snapdragon endast kommer till enkla ultraportabla i början, då är det i början ett problem.
När de släpps bättre så är problemet borta. Och ja, usb SSD fungerar skitbra för nästan allt. Det är bara dumt att ha dem lösa och det är fler saker att ha koll på.

*edit*
Angående framtid utveckling så är min bild att den går åt lite olika håll. Vender lock-in, månadsavgifter för det ena och andra gillar de på ekonomiavdelningen. Utvecklare vill sedan lägga ner så lite tid som möjligt.
Där jag vet utvecklare av ny mjukvara som ej lämnar ut information om hur man gör saker automatisk, för det skapar så massa extra supportjobb åt dem när folk har ändrat på datan på ett konstigt sätt. Ta en arbetsfil som deras program använder. Ja, man kan sitta och göra saker manuellt i gränssnittet. Det går segt. Sedan kan man skapa ett program som automatgenerar in data direkt i arbetsfilera.
Förr var detta med automatgeneringen en självklarhet, lösningen Microsoft OLE Automation gjorde att "varenda kotte" kunde automatgenera i de flesta program. Nu går trenden emot att inte alls ha något liknande och även inte berätta hur datan i deras filer är lagrade.

Plattformsoberoende så är det webb som företag satsar på av hur många anledningar som helst.

*edit*
Nya Word Excel/filer är ett bra exempel på hur arbetsfiler ska se ut. De är en samling ihopzippade .xml filer. Man kan uppdatera dessa manuellt med Notepad om man så vill. Möjligheterna att automatgenera är hur stora som helst.
Men jag ser många utvecklare mer gå raka motsatsen och motarbetar folk ändra filer utanför programmet.

Denna tråd tyckte jag var intressant https://x.com/ErrataRob/status/1331735953292095491
Vet vi om Qualcomm har löst memory ordering på samma sätt som Apple gjorde?
Atomics borde var enkelt att lösa genom att generera kod som är lika eller mer strikt.
Antar att problemet kommer vid data markerat som volatile, behövs ordentligt med slöa minnesbarriärer för att simulera TSO.

Många edgecase små blir en stor "awe". När macbookarna med M-chippet kom var det ett häpnadsväckande lyft jämfört med x86-laptops på många olika sätt.

MS ser uppenbarligen ARM som så viktigt att de körde en Brutus-liknande backstab på x86-duon veckan innan Computex, där AMD höll den inledande keynoten och Intel också presenterade sin next-gen. Det kändes som att MS gjorde slut med WinTel och siktar på en framtid med WinComm.

Vi hör dig, men CAD är inte hela världens användning av IT. Extremt mycket idag har inte legacy-krav från 1980, det körs på webben eller remote. Klienten ska helst inte ha känslig data på sig

Och för att vara lite mer positiv då: Battlemage ser ju ut att bli riktigt bra, framförallt i kontext av "AI PC"!

Givet att Qualcomm inte nämnt sin GPU alls i kontext av AI kan man gissa att den nog inte är speciellt stark på det ställd mot deras 45 TOPS NPU. Positiva är ändå att det redan finns programvara/drivers för att använda CPU, GPU och NPU på den plattformen.

AMD pratade väldigt lite om GPU-delen när de presterande Strix Point, men de har listat kapacitet på produktsidan. GPU-delen tillför 30 TOPS till de 50 TOPS man har i NPU (totalt 80 TOPS).

En av nyheterna i Battlemage över iGPU Arc är att man lagt till XMX-stöd som ger i sammanhanget en rätt rejäl boost på 67 TOPS (totalt 115 TOPS)

Så totalt sett ser det ut som Lunar Lake kommer vara den starkaste Windows-baserade "AI PC" i höst. Ovanpå det har Intel sen tidigare väldigt bra stöd för både NPU och GPU (i.o.f.s även bra stöd för AVX-VNNI) till PyTorch/Tensorflow i ramverk som är helt öppna.

Då den diskussionen var uppe tidigare: i fallet Intel så får man tydlige bättre prestanda med INT4 över INT8, i alla fall på GPU (TOPS refererar till INT8)

En annan sak som varit uppe är hur jämförbar "TOPS" siffrorna är. Det finns fortfarande skillnader i detaljer, men som jag förstått det ska alla nu använda sig av INT8.

Att Apple haft lite "udda" beteende kan också ha en rimlig teknisk förklaring: deras NPU stödjer (i alla fall upp till och med M3) bara FP16 så om man kör INT8 så konverterades det till FP16 internt. Så man får ingen förbättring där av att köra lägre än FP16. 38 TOPS FP16 är då riktigt bra, men ändrar inte att man "bara" får 38 TOPS (på M4, 18 TOPS i M3) när man kör INT8.

Så för den som verkligen är ute efter en "Copilot AI PC" ser Lunar Lake ut att faktiskt kunna leverera något riktigt bra!

Sen bara för att sätta allt i relation till dominanten på marknaden: ett 4090 har 660 TOPS i INT8...

Och då är frågan jag har här: Hur kommer skillnaden mellan exempelvis 80 TOPS kontra 115 TOPS manifesteras i verkligheten? Bättre resultat av AI:n eller snabbare resultat av AI:n? Alltså rent krasst, vad kommer en användare känna är bättre i en Lunar Lake-baserad Ultrabook kontra en med Strix Point - allt annat lika?

Sedan kanske man inte vill att GPU aktiveras för Copilot+ i något av fallen när det körs på batteri, men det är en helt annan diskussion än min fråga.

Tittar man på "inference" i en LLM. Hur snabbt den genererar svar av ord (tokens) så är prestandan oerhört påverkad av minnesbandbredd. Och rent generellt får man lägre kvalitet på svaren om man formatet har sämre precision.
Men bättre precision, t.ex FP16 vs INT4 gör att det behöver behandlas mer data och därför kräver mer total mängd minne samt bandbredd.

Så det kommer till stor del handla om hur man använder något och till vad.
Rejälare grafikkort har så oerhört mycket mer prestanda än de där NPUerna till exempel, men drar oerhört mycket mer ström att använda GPUerna.

Så man kan tänka sig att NPUerna kommer driva små enkla modeller utan hög precision och då kanske inte TOPS spelar så stor roll när man nått en viss tröskel av hur stora modellerna kan vara. Man kan se det för grafikkort där Nvidias konsumentkort som 4090 hålls tillbaka av för lite VRAM. Medan Apples Ultra-cpuer som har VRAM/RAM hålls tillbaka i många lägen av minnesbandbredden istället.

TOPS är imo ett oerhört kasst mätvärde. Bättre vore att ha någon form av real world benchmark istället.

Egentligen är det inte helt relevant att jämföra summan av TOPS. Vad man kan göra med NPU är inte helt jämförbart vad som är möjligt med GPU/CPU.

NPU kan bara användas för inference, den har också rätt mycket restriktioner kring vilka dataformat som kan användas. NPU är bara vettig för att använda färdiga modeller och modellerna behöver formateras på ett specifikt sätt. Ovanpå det är det typiskt så att man kör "komprimerade" (quantized) modeller (är därför INT8 fungerar, man "komprimerar" FP32 modell till INT8).

iGPUer är egentligen inte jättemycket sämre än NPU sett till perf/W, även om den är sämre. Men en iGPU används ju till mycket annat, så finns orsaker till varför man kanske inte vill använda GPU till AI.

Fördelen med GPU är att den stödjer långt fler format och framförallt kan den även användas till träning av modeller (relevant för utvecklare, men inte kanske inte så relevant för slutanvändare).

Så en mer relevant jämförelse är nog: Lunar Lake, Strix Point och Snapdragon X har ur alla praktiska hänseenden samma råprestanda via NPU. 48, 50 och 45 TOPS är ur alla praktiska hänseende samma sak, det lär vara större varians från saker som kvalité på programvara.

Och för Intels del verkar de ha fördelen att just nu ha bäst stöd via programvara. De stödjer flest programvaror, har flest LLMs och andra modeller färdigpakterade för deras NPU etc. Om något har Nvidia visat att i slutändan är det programvara som avgör.

Om man behöver använda en "thin-and-light" laptop som utvecklare verkar ju Battlemage iGPU vara en trevlig bekantskap. Som @Sidde nämner kan det lätt bli flaskhals mot RAM, men så länge som man är beräkningsbegränsad (vilket man absolut kan vara, beror mycket på hur modellen ser ut) så skalar det normalt väldigt väl med "rå beräkningskraft".

Som "vanlig" användare kan man nog vilja "offra" GPUn till LLMs i vissa lägen förutsatt att den presterar bättre än NPU, med Lunar Lake har man då möjlighet till ~40 % högre prestanda om man kör på iGPU i stället för NPU.

Som utvecklare kan det också vara trevligt att ha 67 TOPS ihop med upp till 32 GB "VRAM" i en laptop. Visst är M3 Max långt snabbare och kan ha upp till 128 GB, men är också en klart högre prislapp (en 128 GB M3 Max startar väl på runt 60k).

Nu vet vi inte hur bra/dålig Qualcomms GPU är till detta, men givet att de inte alls nämnt den kan man nog utgå från att den, likt iGPU RDNA3.5, saknar "tensor-cores" (vilket är vad XMX är i Battlemage) och "TOPS" i den GPUn är rimligen i 20-30 TOPS nivån.

Det är ju just stora företag som väljer ARM. Energiförbrukningen utgör en märkbar besparing om man har många servrar.

Några av dem har gått så långt att de till och med bygger egna ARM-processorer, Amazon Gravitron och Google Axion till exempel.