Microsoft visar upp Copilot Plus PC

”Connected to and enhanced by the large language models (LLMs) running in our Azure Cloud in concert with small language models (SLMs), Copilot+ PCs can now achieve a level of performance never seen before.”

Det enda jag bryr mig om, än otydligt om framtiden är om modeller körs i första hand lokalt eller i molnet. Ser gärna att utveckling av hårdvara och modeller går mot att i första hand köras lokalt, av flera skäl.

Föredrar du att din data skickas till "molnet" eller att det stannar kvar på din dator?

Det går... Det finns dessutom ett gäng öppna modeller som är gratis.

Tror du missar att detta är den första Icke-apple ARM-CPUn som kan konkurrera med x86 på laptops på riktigt. Det är revolutionerande i sig och sätter press på Intel och AMD att bli ännu bättre.

EDIT: Läste precis att de har fastlött minne direkt på CPU-paketet precis som Apple. Blev plötsligt helt ointressant, synd.

Då de är ikapp mac i prestanda och batteritid iom arm64 tror jag det kan bli populära jobbdatorer.

Är ju mycket det "AI PC" handlar om: kunna hantera väldigt stora modeller lokalt. dGPU är trevligt när det fungerar då det är långt snabbare än att köra på CPU, men inte riktigt realistiskt prismässigt att öka VRAM mängden enormt mycket då det är rätt poänglöst för spel.

"AI PC" har andra sätt att kunna få bra prestanda och bra prestanda/W (då en klar majoriteten PC-användare använder laptop) på ett tekniskt prisvärt sätt.

Qualcomm är inte ens största tillverkare på mobilmarknaden sett till volym, det är Mediatek. Finns ju rykten att Nvidia och Mediatek jobbar med en lösning som kan tänkas nå PC-marknaden under 2025.

Är ändå lite förvånande att Microsoft dedikerade en hel dag till att enbart prata Windows on ARM64, det som kick-start av deras årliga (och väldigt viktiga) build-konferens.

Tror Microsoft med lite förskräckelse ser hur de tappar framförallt utvecklare till MacOS, mycket p.g.a. att Apples bärbara datorer i nuläget är så brutalt överlägsna de x86_64-spisar som finns att tillgå på Windows-sidan.

Och tror också att Intel är lite i panikläge över att Microsoft lägger så mycket vikt bakom ARM64 på Windows (för rent krasst, ARM64 på Windows har fortfarande en rätt stor uppförsbacke framför sig, så en förutsättning för att det ska kunna lyckas är att folk känner att MS menar allvar).

Intel hade ett eget event igår där de lyfte gav information kring Lunar Lake (bl.a. att den får totalt >100 TOPS och lanseras Q3). Huvudbudskapet var: vänta, byt inte ny för snart kommer något ännu bättre för AI...

Rent krasst ser Lunar Lake faktiskt ut som ett rätt ordentligt lyft, men frågan om det räcker givet hur enormt långt efter man är Apple (och Qualcomm ser ut att hamna rätt nära Apple) just nu.

Är ju mycket det "AI PC" handlar om: kunna hantera väldigt stora modeller lokalt. dGPU är trevligt när det fungerar då det är långt snabbare än att köra på CPU, men inte riktigt realistiskt prismässigt att öka VRAM mängden enormt mycket då det är rätt poänglöst för spel.

"AI PC" har andra sätt att kunna få bra prestanda och bra prestanda/W (då en klar majoriteten PC-användare använder laptop) på ett tekniskt prisvärt sätt.

Well halva grejen är väll att ha dedikerad hårdvara för att köra ai på, att köra på gpu eller cpu blir ganska ointressant då speciellt om det ska användas produktivt.

Men så fort minsta lilla ska köras online så försvinner möjligheten att köra dessa på många företag då jag antar det blir extremt svårt att kontrollera vilken info/data som går online.

Kan swe, förklara lite mer vad Npu är?
Kommer jag kunna köpa en sån del till minsationära snart? Behövs då nytt moderkort? Eller kommer npu vara fast satt med kommande Grafikkort eller Cpu?
Har bara hört npu för och undra om de fanns en enkel förklaring. 😅

För övrigt. Häftig laptop. Försöka gången jag varit intresserad av en bärbar. Lär inte köpa en, men den var intressant.

Spelar väl egentligen ingen roll var man kör det hela, bara det blir bra?

NPU verkar främst ge bra perf med exceptionell perf/W. Den presentation Intel hade igår kring Lunar Lake säger ju ändå att iGPU-delen är starkare än NPUn (60 TOPS vs 45 TOPS)
https://images.anandtech.com/doci/21396/Intel%20Lunar%20Lake%20Preview_07.jpg

Vet inte om Qualcomm saknar vettig programvara för att också köra AI på GPUn, men för 3D-grafik är ändå indikationen att iGPUn i Snapdragon X kommer vara något snabbare än det bästa Intel/AMD har i nuläget. I fallet Apple har ju både Pro och framförallt Max långt mer "AI-kapacitet" i GPU jämfört med NPU (men NPU har även där bättre perf/W).

Och är ju inte speciellt svårt att begränsa t.ex. LLMs till att alltid vara lokala, man kan köra ollama eller LM-studio. Finns säkert många andra varianter. Där är NPU/iGPU väldigt värdefullt då det går snabbare än CPU, man kommer rätt snabbt till modeller som inte alls får plats i de 24 GB VRAM som RTX3090/4090 har. Men de går ju att köra på t.ex. M3 Max som kan hantera modeller upp till 90-100 GB via iGPU.

Gissar att Snapdragon X Elite i alla fall kommer finnas med 64 GB RAM, så ~50 GB modeller borde den fixa.

Det är i grund och botten en ny typ av specialiserad beräkningsenhet.

Det verkar väl i nuläget som att vissa nu aktuella, samt framförallt kommande, CPU-generationer kommer ha NPU-funktion integrerad i CPUn.

Det verkar inte i nuläget typiskt vara en grej att köpa till en NPU separat, eller andra integrationer eller lösningar (iaf för konsument), men det ska väl inte helt uteslutas att andra paketeringar uppstår över tid.