AI Dator? Hjälp gärna till och tyck och förklara!

Kanske vänta till årets slut på nya RTX 5000 Super modellerna? Då man nog köpa 5070ti med 24gb ganska mycket billigare än RTX Pro 4000 idag, Pro mjukvaran är inget som behövs nej. Sen är en annan liten skillnad att man får ECC minne med Pro korten men tror inte det spelar roll i ditt fall såvida det inte är väldigt stora och långa arbeten.

För att tydliggöra, RTX 4000 Pro har lika många kärnor som Rtx 5070ti, medan Rtx 5080 har mer, alltså är snabbare. Dock har 5070ti och 5080 endast 16gb vram medan 4000Pro har 24gb vilket är mycket viktigt för arbetet. Ganska pålitliga läckor visar på att 5070ti Super och 5080 Super lanseras i slutet av året med 3gb vram moduler, dvs. totalt 24gb, till liknande pris som vanliga 5070ti/5080 hade vid lansering.

Jo det finns AMD ai kort också, men igen betalar man ganska mycket mer för de professionella korten för liknande prestanda, samt har Nvidia överlag lite mer support/stabilitet. Jo de funkar bra även på linux.

Definitivt vattenkylning om du ska ha en hög tdp processor och köra det under högt tryck, inte minst om det också ska vara tyst som möjligt. 360mm minst, 420 bättre.

Ram. Beror ju på din budget, lite större llm kan enkelt använda 128gb och har man mer än det så får man plats med större llm.

Är inte AI-beräkningar som med 3D-rendering och annat som går mycket snabbare på GPU att man kan fokusera på att fläska på med så mycket GPU man har råd med och att övriga datorn kan vara rätt medioker? Alltså min-maxa specifikationen som det kallas.

Ifall du skulle överväga lite mer pengar på gpu (rtx 4000 pro kostar ju nästan 20k) så finns ju ibland deals på rtx 5090 mellan 24000-26000kr, mycket bättre val då. Även begagnad rtx 4090 för c.a 15000-17500kr är bra.

Med AMD W7900 pro kort kan man få 48gb vram under 40k men det är väl över din budget. Samt hjälper det endast till för större modeller, men det är annars långsammare än de nämnda Rtx korten.

Jo, det är bra mycket långsammare, vilket såklart reflekteras i priset

Köp hellre 5060ti 16gb.

Beror på lite vad exakt men cpun måste också hålla upp tempot, speciellt att sätta igång och sen om helamodellen inte får plats i vram. Eg. med en stor modell som tar 100+gb, och man inte har den vram kapaciteten, som kommer ram fyllas upp och cpun jobba också. För att skaffa mer ram är ju billigare/enklare än mer vram.

I övrigt @ts1777 skulle det hjälpa att skriva en ungefärlig budget. 10,000kr? 20,000kr? 50,000kr? 100,000kr?
Med tanke på att du nämnde Rtx 4000 pro tänkte jag 30k+

(ps, 3050 laptop har väl inte 8 men bara 6 eller 4gb?)

Jag slänger in ett alternativ, en dator (löst kort) från Framework baserat på AMD AI MAX+ 395 med 128GB delat minne.
Kör du windows kan du allokera 96GB till den inbyggda GPU'n. Kör du Linux kan ytterligare lite mer minne användas.

Fördel, mycket minne tillgängligt för GPUn jämfört med vanliga grafikkort.
Nackdel, inte lika snabbt minne som en vanligt grafikkort.

Så (enligt de tester jag sett) kör man stora modeller typ 70GB eller så så blir det segt.

Hej!

Eftersom du ska jobba mycket med AI så bör du tveklöst se till att välja en CPU som har inbyggd NPU. Intel Core Ultra 9 285K ha detta och är en väldigt bra processor för ändamålet. NPU är en slags "processor inbyggt i processorn". Den har funktionen att accellerera just AI-bearbetning så att man får lite extra fart i all slags AI-hantering. Med andra ord så har du gjort ett väldigt lyckat val i dina tankar om CPU tycker jag!

När det gäller val av RAM så bör du sikta på 64 Gb eller max 96 Gb. Mer än 96 Gb är troligen bara bortkastade pengar och mindre än 64 Gb vore en chansning om du frågar mig. Vad som är minst lika viktigt som dess hastighet, är stabilitet. Välj därför RAM som finns upptaget i moderkortets QVL-lista för att vara helt på den säkra sidan. Det fungerar troligen bra ändå även om de inte finns med på QVL-listan, men varför chansa när man gör det hela lite säkrare med att enbart kolla på listan? Du bör välja 2 st. RAM-stickor och inte 4 st. Helst på minst 6000 Mhz och 32-30 CL. Men glöm inte QVL-listan oavsett....

Grafikkort med 16 GB kommer du nog väldigt långt med. Mindre än så skulle åtminstone jag inte ha valt. Men 24 Gb då? Jo visst är mer minne bättre, men om vi pratar GPU:n från Nvidia så blir steget upp från 16 Gb upp till 24 Gb ganska stort rent prismässigt. Och med den minnes-ökningen kommer det eventuellt även få ökat krav på både PSU och kylning. Jag skulle personligen ha kikat lite på Nvidias 16 Gb-varianter ur 50XX-serien.

Du kommer behöva bra och effektiv kylning. Satsa därför på ett riktigt bra ATX-chassi ur mellan till dyrare segmentet. Räkna med 2-4000 kr. Dessa har oftast bättre luftflöden, bättre och tystare chassifläktar, och bättre byggkvalitet överlag jämfört med billiga chassin. Chassit har faktisk stor betydelse för den övergripande kylningen och bättre chassin ger oftast bättre förutsättningar till en volymsvag dator. Tråkigt nog så är det vanligt att många underskattar chassit och väljer därför det billigaste. Oftast av antingen ren snålhet eller av okunskap. Gör inte det misstaget även om man inte behöver överdriva heller, såvida behov inte finns!!!

AIO-kylare eller en sedvanlig luftkylare? Båda sorterna har sina för och nackdelar och själv har jag det bästa av båda sorterna, men har AIO i den mest kraftfulla datorn.

Spelar val av moderkort någon större roll? Ja, det kan spela en ganska stor roll, men behöver inte nödvändigtvis vara en jättestor skillnad. Mycket beror på valet av de övriga komponenterna och på vilka krav man har. Dyrare och bättre moderkort har bl.a. fler USB-portar, fler m.2-platser, bättre och effektivare kylflänsar, kraftfullare och stabilare strömleveranser, bättre ljudkvalitet för att nämna något. Dyrare moderkort ger oftast även ökad driftstabililitet i stort, t.ex. när det gäller minneshanteringen mm. Som nästan alltid så får man alltså det man betalar för.

Som jag förstått det så beror allt på vad för lmm's du tänkt köra samt ska du köpa på gpu eller cpu? (eller båda?)

För gpu så beror det helt på budget och minne är King, så i dagen läge så är utan tvekan ett 7900 xtx det absolut mest prisvärda du kan köpa om vi inte går in på proffs kort. Aningen slöare än 5080 men kan köra större modeller (och avsevärt mycket billigare)

Skulle rekommendera Alex Ziskind på youtube, jämför en hel del hårdvara och hur dom står mot varandra medans dom kör diverse lmm's.

CPU'ns minnesbandbredd är i lägsta laget för AI, det går, men inte fort.
Helst ska det vara Nvidia grafikkort för CUDA stödet, de flesta llm är gjorda för det, AMD är väl på gång men ligger långt efter, det gäller även max+ 395 tyvärr. +395 starka kort är mycket minne (dubbelt så snabbt som du får i ett vanligt moderkort) men ändå långsamt jämfört med dedikerat grafikkort.

Enklast och minst problem är ett Nvidia kort med så mycket minne som möjligt, med det sagt så kan man ha rätt kul med bara 16GB i väntan på bättre hårdvara.

Hastigheten på RAM spelar stor roll. Jag skulle inte välja långsammare än CL 36, men helst CL 32 eller ännu hellre 30. Lägre siffra = snabbare. Själv kör jag med 6600 mhz och cl 32. Corsair DDR5 6600MHz CL32 Dominator Titanium är möjligen de allra bästa du kan få idag. De är inte gratis men otroligt stabila.

Om AMD vill jag inte uttala mig om. Känner inte att jag har tillräcklig koll på AMD och vill inte låtsas som att jag har det.

Bra tänkt angående GPU tycker jag. Tror att 5080 blir jättebra, inte minst i kombination med NPU i CPU:n. De kommer snacka bra med varandra.

Thermaltake The Tower 600 har jag inte testat själv så jag vet inte. Men jag är en aningen tveksam om jag ska vara helt ärlig (även om jag nu kanske har fel.) Jag skulle nog själv ha kikat på Fractal Design eller Asus från 2000 kr och uppåt. Helst med inbyggd fläktkontroller också. Då får du bra grundförutsättningar för riktigt bra kylning. Om pengar inte är ett för stort hinder så kan du titta på t.ex ASUS ProArt PA602. Den har en byggkvalitet som slår knockout på det mesta och du får ett väldigt bra luftflöde i den vilket bidrar till bättre kylning och i slutänden en tystare dator som en följd av det.

ASUS Ryujin III 360 A-RGB Extreme är svindyr (jämförelsevis) men den flyttar den varma luften sanslöst effektivt med en väldans bra kyleffekt. Det gör att den får jobba lite mindre och får en svagare ljudvolym över tid. Det är värdet för "Flödet" (luftflldet) som du ska titta på bl.a. Värdet för ljudvolymen är ganska ointressant även om många inte inser detta. Men ljudvolymen från fabrik gäller inte när slutkunden får in kylaren i sina chassin och tillsammans med just sina komponenter. För att inte tala om att alla använder sina datorer på just sina personliga sätt. ASUS Ryujin III 360 A-RGB Extreme har även den en mycket hög byggkvalitet. Å andra sidan så har du ju en Asus AIO liggandes oöppnad från kartong. Den är inte helt tokig den heller även om den inte kommer upp i samma nivå som ASUS Ryujin III 360 A-RGB Extreme. Men den kommer säkerligen räcka och bli över den också! Behåll den och lägg pengarna på ett ännu bättre chassi och ett riktigt bra PSU.

Såvida inte AMD gjort enorma framsteg som jag missat, så för allt som gäller AI funkar Nvidias kort mycket bättre.
Även intressant om du tänkt använda datorn för nåt mer än AI, spel t.ex. Då vet jag inte hur Nvidias Pro kort är vs 50XX korten.

Jag måste ifrågasätta dina tankar här. NPU på dessa processorer har patetiskt låg prestanda i jämförelse med en kraftfull GPU, men jag ser mig gärna överbevisad.

Min misstanke är att om det ska köras lokal AI så kommer enda fördelen en NPU har, vara att den möjligtvis har tillgång till mer minne.

Vilket då gör grafikkortet till det viktigaste, d.v.s. ett 5090 är väl inom budget.

Okej angående val av CPU så har jag inte koll på vilken som presterar bäst för LLM's av 285k och 9950x, däremot angående moderkort så håll dig borta från topp modellerna då det är totalt slöseri på pengar 9 fall av tio.
För AM5 tillexempel så är ett b850 moderkort för 2000kr med vettig vrm allt man behöver, allt ovanför är att betala massvis med extra pengar för krimskrams, portar och estik.
För intel har jag inte riktigt koll vart sweetspot är men tvivlar stark på att det är någon större skillnad, värt att tänka på är även att med AM5 så får du möjlighet att införskaffa zen6 medans vilket ryktas bli en riktigt monster, 24 kärnor och boost upp mot 7ghz (enkeltrådat förmodligen) medans med intel så får man 385k som kommer om någon månad som än så länge ryktas bli lika "meeh" som 2xx cpuerna.