Microsoft Copilot kan snart köras direkt på datorn

Jag känner mig lite glad över att ej ha köpt ny laptop ännu och kan få någon lite Ai prestanda.
Sedan är jag lite fundersam på när man behöver lokal Ai? Liksom när inte Intels Core Ultra 7 165H i närheten uppfyller rekommendationen för AI-PC idag och knappast kraven imorgon, så blir det väldigt dyrt om all ens datorutrustning ska uppfylla dessa krav.

Men behöver man verkligen ha så kraftig Ai på alla maskiner? Räcker det inte ofta att man skaffar en schysst dekstop hemma och sedan fjärrstyr denna? Det är när man ska automatisera saker som man kanske behöver Ai lokalt, men det är samma sak där att man kan göra det på desktopen hemma.

Angående nytta av Ai.
Jag själv har vunnit affärer tack vare mina extra verktyg jag har skapat helt för hand utan Ai. De andra som konkurrerade om affären ville göra precis allt manuellt och påpekade hur duktiga de var, vilket de också var men de jobbade manuellt och konkurrerar emot folk som har verktyg..
Att skapa mina verktygen har dock tagit så extremt mycket tid och slitsamt. Hade jag med morgondagens Ai skapat verktygen så hade det kanske varit hälften så slitsamt.

Jag förespår då en framtid där folk med Ai kommer skapa just mycket mer verktyg för att snabba upp och förbättra deras arbete, den som vill sitta där och göra allt manuellt kommer få problem. Och verktyg kan vara en sådan enkelt sak som lite formler i Excelbladet, med Ai så går detta snabbare att få till.

Ai kommer både sänka trösken så fler kan automatisera arbetssätt. Och de som redan automatiserar kan göra det ännu mer på samma tid.

Ett till alternativ för den som vill köra lokalt är LM Studio. Jan och LM Studio är båda front-end till att kunna använda det bibliotek av öppna LLMs som finns, så valet mellan dessa är nog främst vilket UI man gillar bäst.

Är man MacOS användare verkar Jan ha begränsningen att man alltid kör på GPU, hittar ingen inställning för att välja CPU. LM Studio tillåter CPU, GPU eller en mix av dessa på alla plattformar.

Angående prestanda: även om CPU-delen på M3 Max får stryk av GPU är den ändå mer än 3 gånger snabbare än CPU-delen i min stationära med 5950X. Gissar att LLMs är rätt begränsade av bandbredd mot RAM, lite för stor prestandaskillnad för att bara komma från beräkningskraft (M3 Max har 400 GB/s mot RAM).

Jag har hört under väldigt lång tid att "Google är det bäst som hänt oss" (sökmotorn då alltså). Google var revolutionerande bra när den kom. Jag vill påstå att Copilot (då menar jag AI, inte nödvändigtvis MS version av Copilot) är den nya revolutionen. Så jäkla bra det är!

Även RTX 4090 har relativt lite vRAM, 24GiB som bäst. Så fort datan spiller över så hjälper det massor att ha NPU-stöd.
Grok modellen som släpptes nyligen är 296.38GiB ungefär lika stor som ChatGPT-3, sägs vara INGET mot hur stor ChatGPT4 är.
GPT-2 var några GB, som vi minns var den riktigt kass.

Personligen ogillar jag tanken av att alla ska köra egna AI-modeller lokalt, lite som om alla hade en egen magnetröntgenmaskin hemma, den är bra att ha när den behövs, men är mer kostnadseffektivt om folk delar.

LLM är ett pay-to-win spel, där den som har bäst hårdvara vinner. Intressant video här https://www.youtube.com/watch?v=zjkBMFhNj_g
Lokala modellerna kommer alltid vara ruskigt sämre än någon som hostas på några hundra H100.

Nice! Man kan även köra ollama direkt i linux subsystem för windows (wsl direkt i terminalen)

Även via ollama kan man välja mellan en jädra massa språkmodeller och vissa är t.om helt ocensurerade

Fördelen jag ser med att köra lokal AI har nog främst att göra med integriteten, foliehatten sitter stenhårt på skallen och jag litar inte en sekund på att "moln-ai" lever upp till mina krav på personlig integritet.

Du har foliehatt. Denna text gör att man känner sig väldigt trygg med att de ej läcker information.
Dina konversationer behandlas av mänskliga granskare för att förbättra tekniken som driver Gemini-appar. Ange inte något som du inte vill ska granskas eller användas.

Det är väl just detta anledningen är att köra Ai lokalt för den stora skaran är. Men jag förstår inte riktigt varför man måste köra lokalt på sin egen dator, en arbetsplats borde kunna köpa en server som alla delar på. Samma med att ha desktopen hemma för privat bruk.
Väldigt många har sina laptop i väldigt längre idag, det kan dröja till långt över år 2030 innan folk har lite "vettig Ai prestanda" på sin laptop. Den som just idag köper en pc-laptop för 40 000kr, har ju liksom inte bra prestanda inom Ai.

Jag ser väldigt mycket mervärde i att kunna köra det här lokalt. Det handlar både om dataitegritet för privatpersoner - och för företag som inte vill/inte får ge ut data. Så den här utvecklingen behövs verkligen.
Också.
Och att kunna vidareutveckla i den riktningen man själv önskar.

Med det sagt - det bör rimligen inte vara den enda lösningen. Men det lär det inte bli heller ;). Molnlösningarna lär fortsätta vara billigare, snabbare, mer utvecklade, enklare för slutanvändare.

Det vi vill ha är ju distribuerad, skynet 2.0

Undrar hur länge det kommer ta tills jag finner mig själv självmant använda AI, har fortfarande inte rört något AI-program man integrerar med då jag inte ser någon poäng med det.