Tävla och vinn Geforce RTX 5080 från Asus!

Prisvärt grafikkort för AI (ML/LLM/DL)?

Permalänk
Medlem

Prisvärt grafikkort för AI (ML/LLM/DL)?

Jag håller på att förkovra mig i AI (LLM, ML, DL) och inser att det inte är hållbart att köra detta på mitt befintliga grafikkort (som verkar skicka allt till processorn). Jag är därför på jakt efter ett bra och prisvärt kort för att mina AI-tillämpningar ska gå snabbare. Har någon tips och råd om vad jag borde skaffa tar jag tacksamt emot detta.

Permalänk

Vad har du för budget, och hur stora modeller är du intresserade av?

Jag har just nu en 7900 XTX som jag kom över billigt begagnat (7 000 kr) vilket jag är rätt nöjd med. Använder främst "ollama" för enkelhetens skull och "open-webui" för ett chatgpt liknande gränsnitt ovanpå ollama, med diverse webhooks och fördefinerade instruktioner etc.

Nackdelen med AMD (ROCm) är väl att jag inte hittat lika mycket information om bibliotek och tutorials såsom Nvidia (CUDA) har.

Själv önskat att jag kunnat komma över en 3090 för ett hyffsat pris begagnat, så jag kan sätta upp en separat rigg och kunna nyttja LLM:erna remote

Permalänk
Medlem
Skrivet av ransomware:

Vad har du för budget, och hur stora modeller är du intresserade av?

Jag har just nu en 7900 XTX som jag kom över billigt begagnat (7 000 kr) vilket jag är rätt nöjd med. Använder främst "ollama" för enkelhetens skull och "open-webui" för ett chatgpt liknande gränsnitt ovanpå ollama, med diverse webhooks och fördefinerade instruktioner etc.

Nackdelen med AMD (ROCm) är väl att jag inte hittat lika mycket information om bibliotek och tutorials såsom Nvidia (CUDA) har.

Själv önskat att jag kunnat komma över en 3090 för ett hyffsat pris begagnat, så jag kan sätta upp en separat rigg och kunna nyttja LLM:erna remote

Tack. Jag skulle nog säga en 4000-5000 för att komma igång. Min ambition är ungefär som den du beskriver, med Ollama och ett GUI varifrån jag kör diverse funktioner.

Permalänk
Skrivet av sa_swe:

Tack. Jag skulle nog säga en 4000-5000 för att komma igång. Min ambition är ungefär som den du beskriver, med Ollama och ett GUI varifrån jag kör diverse funktioner.

För 5k lär du hitta ett 3090

Visa signatur

Intel i5 12600k OC 5.2GHz | Arctic Freezer II 240 | MSI Pro Z690 A | 2x 16Gb Corsair LPX 3200MHz | Asus Tuf 4070 Ti | Corsair Rm850x V3 | 2x 1Tb Samsung 980 m2 | 7x Noctua A14x25

Permalänk
Medlem
Skrivet av Swedishchef_90:

För 5k lär du hitta ett 3090

Var då? Ser ut att ligga på typ 9k begagnat.

Jag har labbat lite med LLM de senaste veckorna, små modeller som deepseek-r1:7b går att köra på CPU men långsamt.
Funderar på ett B580, samma prisklass som RTX 3060.
Ska stå igång 24x7 i en server (Linux) så idle är viktigt.
ungefär där budgeten är men kan sträcka mig lite om man får mycket mer för pengarna, men känns som ett ganska stort kliv uppåt i pris för 16GB VRAM.

Visa signatur

RIPE LIR

Permalänk
Medlem

Vad jag förstått så är 3090 mest bang for the buck, nog därför de stigit lite i pris de sista.

Visa signatur

Corsair 4000D Airflow | Asus ROG Maximus Z690 Hero | Intel I9 12900K | DDR5 32Gb Corsair 5200Mhz | M2. WD SN850 2TB | Corsair HX1200W | Asus RTX 3090 ROG Strix OC | Corsair iCUE H150i Elite Capellix | 32" Alienware QD-OLED AW3225QF

Permalänk
Medlem

A770 och RT 7600 XT har 16GB VRAM för ca 600-700 kr mer än B580/3060 (12GB).
Någon som vet hur 7600 XT står sig med ROCm mot 3060?
Verkar hända mycket på drivrutin/kompabilitet för AMD och Intel för LLM.

Visa signatur

RIPE LIR

Permalänk
Skrivet av tomle:

Var då? Ser ut att ligga på typ 9k begagnat.

Jag har labbat lite med LLM de senaste veckorna, små modeller som deepseek-r1:7b går att köra på CPU men långsamt.
Funderar på ett B580, samma prisklass som RTX 3060.
Ska stå igång 24x7 i en server (Linux) så idle är viktigt.
ungefär där budgeten är men kan sträcka mig lite om man får mycket mer för pengarna, men känns som ett ganska stort kliv uppåt i pris för 16GB VRAM.

De låg runt 5-6k härom månaden på tradera.

https://www.sweclockers.com/marknad/247967-asus-tuf-geforce-r...
kanske?

Visa signatur

Intel i5 12600k OC 5.2GHz | Arctic Freezer II 240 | MSI Pro Z690 A | 2x 16Gb Corsair LPX 3200MHz | Asus Tuf 4070 Ti | Corsair Rm850x V3 | 2x 1Tb Samsung 980 m2 | 7x Noctua A14x25

Permalänk
Medlem
Skrivet av Swedishchef_90:

De låg runt 5-6k härom månaden på tradera.

https://www.sweclockers.com/marknad/247967-asus-tuf-geforce-r...
kanske?

Det varierar kraftigt, några ligger ute på både Blocket och Tradera och jag har nog inte sett någon under 8k senaste månaden. Vi får hoppas att 5-seriens tillgänglighet skapar ett uppgraderingsbehov och ärmed frigör ett antal 3090.