Nu kan du köra AI-bot lokalt på Nvidias RTX-grafikkort

Det här har man kunna göra länge rätt ghetto, men att paketera det så här är grymt för att privacy till en större skala. Ingen data läcker enheten. Du kan låta den veta mer om dig utan att den datan åker iväg till ett privat företag i USA. Kommer öppna upp för så mycket fler användningsområden.

Såsmåningom så har varenda enhet små och effektiva språkmodeller snarare än enbart enorma cloudvarianter. Intel, AMD, iPhone, Samsung osv ska alla komma med enheter som har egna NPUs (neural processing units, processorer för AI-uppgifter), så det blir spännande att följa utvecklingen.

Jo, det här är klart mycket bättre ur integritetssynpunkt än att används molntjänster på det, även att det går att träna på lokal data utan att skicka upp det till en molntjänst, men jag tror knappast att motivationen för Nvidia är att skydda användarnas integritet (även om det är effekten) utan att sälja fler RTX-kort.

Synd att jag inte kommer kunna testa detta dock eftersom det här verkar vara endast för Windows.

En skräddarsydd ai-partner. Skulle inte förvåna mig om det blir väldigt vanligt i framtiden. Låter dystopiskt dock.

Blir nog absolut att testa den, kan bli ens perfekta "jarvis" om en matar den rätt

Koolt! Men jämförelsevis säger de i princip att det är ca 8GB stora modeller som gäller och allt körs på CPU eller missförstår jag det?

BORDE inte en 35GB stor modell som körs på GPU vara bättre? På något eller några sätt.

Jag har bara kört OpenAIs molniga chatGPT så jag bara undrar

Blev verkligen förvånad över hur många som inte verkar ha koll på vad det handlar om. Är detta verkligen ett teknikforum?

Snart har vi alla lokal A.I flickvän som kommer vilja ha en kropp... låter som en film

Kört Stable Diffusion lokalt nu i några veckor. Alltså, det är ju svart magi i hur man får riktigt bra resultat än och kräver en hel del efterforskning, men fan så coolt det är! Tränade upp en snabb modell på mig själv och vips blev jag ninja-stålmannen med mycket bättre hårfäste än jag verkligen har.

En lokal text-AI som var lätt att hantera skulle jag vilja testa träna upp på diverse byggnadstekniska beskrivningar samt Boverkets Byggregler. Är rätt så säker på att AI kommer vara en grund för varenda ingenjör och projektör snart, som ersättning för alla idiotmallar man har idag.

Hellre AI kommer att vara en grund till varenda projekt, som ersättning för alla idiot-ingenjör och idiot-projektör man har idag.

Det ingår en Mistral 7B int4 och en Llama2 13B int4 modell i paketet. Det var väl hyfsad prestanda men jag tror jag sett liknande prestanda i ollama och de andra varianterna. Det märktes tyvärr att dom var för små för att vara praktiskt användbara till det jag använder dom till.

Du kan köra antingen på GPU eller på CPU med gpt4all.io. För att en modell ska kunna köras på GPUn måste du ha tillräckligt med VRAM och modellen är på ett format som kan gpu-accelereras. Annars blir det fallback till CPUn.

Du är inte låst till modellerna som finns på hemsidan. Hittar du en modell i GGUF-format är det bara att lägga in i rätt mapp och köra. När du letar upp egna modeller gäller det att välja rätt kvantifiering om den ska fungera på GPUn.

Angående 35GB stor modell så provkörde jag en 47GB stor modell på CPUn nyligen. Jag var nyfiken på hur mycket bättre en större modellen blev jämfört mot de mer komprimerade varianterna, samt hur långsamt det skulle gå.

Jag blev positivt förvånad, trodde det skulle vara betydligt långsammare på CPU än vad det var. Man får vänta någon minut eller två på ett längre svar, men för att provköra några enstaka frågor duger det fint.