Microsoft lägger hårdare systemkrav för Copilot

Det var för mig förväntat.

Det jag funderar är om Ai kommer göra skillnaden mindre mellan nybörjare och de som kan lite mer eller tvärt om?

Ta en enkel sak som att gå igenom cadritningar och uppdatera en databas med denna information. Nybörjare idag gör ofta detta jobb manuellt, de som kan något skulle kunna göra ett script som gör samma sak. Problemet är att detta script ofta mer tid att skapa än att endast göra jobbet manuellt. Med lite Ai så kan fler personer göra detta script och utvecklingstiden blir kortare.

Så med Ai kan fler automatisera saker på en kortare utvecklingstid, det blir intressant att se hur utvecklingen blir. Kommer folk i lika hög grad göra uppgifter manuellt.

Najs!
Undrar om man någonsin i framtiden kommer kunna ha något som liknar ChatGPT fast helt lokalt... Krävs ju en hel del kräm...

Undrar hur mycket som krävs för att *köra* det hela. De kör den ju centralt åt massor av folk, så det måste ju vara mer hanterbart.

Träningen däremot är ju en mardröm, men själva modellen skulle man ju kunna ladda ned färdig att användas.

För att vidareutveckla ur ett annat perspektiv: Jag undrar till hur stor del det här att t.ex. ChatGPT tillhandahålls som en centraliserad tjänst är ett kopieringsskydd.

Kan nog komma inom sinom tid, RISE har nyligen börjat rulla ut en GDPR säkrad GPT-4 variant med servrar i Sverige och flera säkerhetslager, vilket borde vara ett steg i rätt riktning.

Internet AI är bara en fluga.

Ja det är sjukt intressant, träningen är ju galet intensiv precis som ni säger, men sedan behöver den ju bara prata med en person, inte flera miljoner, så det borde ju ta ner hårdvarukraven lite.

Det finns redan. Många som säger att de bästa öppet tillgängliga modellerna nu matchar GPT3.5 som är den som används i gratis-varianten av ChatGPT. Jag vet inte exakt vad som krävs, men gissar att 128 GB RAM och ett 4090 är en bra början iaf, alternativt kanske en M3-Max eller M2-Ultra med mycket RAM. Så om några år kommer det gissningsvis gå att köra på en genomsnittlig entusiast-dator.

Men vid den tiden kommer säkert GPT3.5-nivå vara hopplöst utdaterat och folk kommer istället vilja ha GPT7-nivå och kommer undra hur vi någonsin kunde leva våra liv med bara GPT3.5.

Det....det kan du idag.

Llama-2 kör väl med runt 200ms per respons på ett modernt grafikkort så det är inte direkt någon long and distans future.

Och då har vi inte ens touchat på TPUer

Där satt den

Jaså! Vad kul att det går med dagens hårdvara, jag trodde definitivt att det skulle kräva mycket mera kräm!

Färdiga modeller finns redan att ladda ner lokalt. Kräver inte allt för mycket av din dator mer än minne. Att träna en modell däremot...

Googla bara run GPT locally för att se några olika varianter att leka med.

Fan va najs! Skulle vara guld värt att koppla in den i en Alexa-liknande produkt, kan sitta och föra samtal i timmar xD

Ingen kommer kalla sin nya laptop för ai-dator

Om jag läste rätt så har 2060 super 57 TOPs, så inte galna krav direkt

Stämmer det här så var det inga bra nyheter! Knappt att jag hunnit ta i bruk min 15 Pro Max innan den är otillräcklig. Hur kan man mena att 35 TOPS inte räcker till!! Nåja den har också endast 8GB LPDDR5.

Det blir att invänta och se hur de här Snapdragon X Elite presterar innan jag kan dra några slutsatser.

Vad PC:n beträffar borde jag åtminstone kunna återanvända mina 2x32GB DDR5-6200MHz minnen. Tekniken går snabbt framåt nu.

På ett sätt nej, men ändå ganska tungt om det då innebär att systemkraven för att "Clippy 2.0" ska lira bra innebär ca 70% last på ett 2060 Super.

Som jag skrev ovan, 2060 borde räcka fint i teorin

Oklart hur de räknar/mäter dock

Hela 2000-serien
3000-serien (3050 oklart)
Hela 4000-serien

Sen kanske det finns någon ren GPU som har liknande prestanda men har misslyckats med min google-fu idag