Data om Deepseek-användare fanns ute på nätet

Jag ser detta som ett stort framtida problem. Just idag så blir många inklusive mig lite besviken av LLM.
Men kanske om 10år, så kan det bli att de arbetarna som använder LLM kommer ha stora fördelar med att utföra sitt arbete med mindre ansträngning och då har vi ett problem.

Att köra LLM lokalt så har jag testat på Mac mini m4 med 16GB ram och det gick men imponerade ej jämfört emot de stora tjänsterna på nätet. Frågan är hur dyr dator behöver man ha för att köra LLM lokalt och få samma resultat som gratistjänsterna. Pratar vi om en dator för 100 000kr eller mer? Jag vet ej, därför ställer jag denna fråga.

Tackar för informationen. Det är ändå ett pris som är ”köpbart för konsumenter”. Bara det att det inte håller den nivå än så att så många vill lägga ut dessa pengar. Men de flesta har ju datorn även till annat.

Så 80k för en dator som kan köra lokalt? Sen hur snabbt är 6 token? För en som inte förstår

I ChatGPT-världen så är en token ungefär 1-5 tecken lång, beroende på lite vad som ska genereras/läsas. Jag gissar att Deepseek fungerar på liknande sätt. 6-8 tokens borde därför bli ungefär 15-20 tecken per sekund. Här kan du prova med olika texter och se hur den bryter ner den i tokens:
https://platform.openai.com/tokenizer

Gäääsp... bara att inse att Nvidia pumpat upp AI bubblan en tid och tjänat enorma pengar på den.

Sälj aktier i bolagt nu om 2-3 år är det en jobbig anekdot att ni en gång i tiden hade miljoner men höll dem till de var värda några tusen.

Exempel-videon från Twitter-tråden visade att det tog cirka 2 minuter för den att skriva ut ett svar.

Videon visar hur snabb den är på ett ungefär:

Ok så en token är alltså X antal ord

Okej tack!

Så om man köper en 80 000kr dator, gammal grön CRT skärm, plus gamla datorhögtalare och ett chassi.
Även har ett text to speech program igång har man en dator som beter sig när det gäller LLM delen som en riktigt grym dator i vissa 80 tals filmer.

Ändå på sätt och vis coolt. Jag vill ha Star Trek transponder så jag kan teleportera saker, att det ska ta så lång tid.

Japp för ungefär samma pris som på 80 talet 😉

Dyrt men jämför man med dyraste konsumentabonnemanget för ChatGPT är ju det $200/m. Vilket på någon nivå typ är samma prisklass, betalar sig på 2,5 år. Men sen ger nog GPT högre t/s.

Jag förstår att du lägger fram det som ett skämt, men det känns också som en helt relevant invändning i sammanhanget.

Dataläckan som artikeln handlar om drabbar ju precis de som bara hoppat på tåget i form av: titta, det finns en ny app där man säljer sin själ till någon annan aktör (kinesisk dito i detta fall) istället för till OpenAI, helt utan att bry sig om den relativa öppenheten som även ger andra alternativ.

Oj, här har vi en riktig expert på underrättelseverksamhet förstår jag. Tack för att du i all vänlighet ville dela dina digra kunskaper med oss som har mindre utvecklad kognitiv förmåga.

OnT: Tur man inte körde sitt vanliga lösenord (qwerty123) när man registrerade sig på Djupsöket.