Köpråd Nvidia eller Radeon?

Det är helt klart så att Nvidia har ett försprång när det kommer till rå beräkningskraft för tex LLM'er, men det behöver inte betyda att det automatiskt är det bästa valet.

Jag håller på att experimentera med Ollama hemma och kan konstatera några saker.
1. Man kommer ganska långt på att bara köra en cpu med många kärnor.
2. Ollama stödjer många fler Nvidia grafikkort än AMD dito, så ska du köra AMD så behöver du kolla om programmet du tänkt använda har stöd. Tex stöds inte ditt nuvarande grafikkort (enligt https://github.com/ollama/ollama/blob/main/docs/gpu.md), även om kortet i sig mycket troligt stödjer det.
3. Minne spelar väldigt stor roll. En LLM modell kan vara många GB stor, och bäst är om den kan få plats i minnet på grafikkortet. När det kommer till konsumentkort så har AMD oftast mer minne på sina kort än Nvidia, vilket då är en fördel.

Så det beror helt på vad du tänkt hålla på med för AI. Visst är det säkrare att gå med Nvidia, men behöver inte bli bäst totalt sett. Och oavsett så kan man komma långt helt utan grafikkortsstöd om du har en bra CPU.

När det gäller spel (antar att de är det du är ute efter) så är AMD något billigare än Nvidia generellt, alltså lite mer prisvärd.
Båda har väldigt snarlika funktioner utöver att Nvidia är bättre gällande raytrace i spel och har en lite bättre uppskalning (DLSS).
Generellt är inte raytrace så intressant än idag, speciellt om man spelar CS och andra lite mer snabba spel, uppskalningen må vara bättre hos Nvidia men är inte i närheten värt de pengar som de generellt kostar mer att ha. AMDs uppskalning är väldigt bra idag men inte bäst.

Titta på tester för de spel du är ute efter och se över med dagens priser för att räkna "prestanda per krona" för dig.
Några av AMD korten har gått ner en del då dem kommer släppa sin nästa generation inom en snar tid samt så kommer Nvidia med sin nya 5000 serien till början av nästa år.

Ryktas om att nästa AMD generation blir mer prisvärda för mellanklassen, kan du vänta så kommer Black Friday snart med eventuella bra deals för denna generations kort (tror de vill sälja ut innan nylanseringen) eller till Jan/Feb för trolig släpp för nästa kort.

Jag kör Llama 3, olika SD varianter, Dreamshaper LCM och dessa fungerar fint på mitt RX 6800 med 16VRAM, Flux.1 däremot tar upp till 2 minuter minst för en liten bild och detta är för att Flux.1 behöver ett kort med omkring 40GB+.

Hade det varit för ett år sen hade jag inte rekommenderat AMD kort för AI som nybörjare, men nu med bl.a. Amuse och LM Studio så fungerar det väldigt bra och bättre blir det nu när AMD satsar stort på ROCm och mjukvaran kring ML (AI).

Generellt är minnesmängden viktigare, hellre ett 24GB 7900XTX än ett 16GB 4080 Super, riktigt synd att Nvidia snålar med VRAM.
Hoppas innerligt att Nvidia 5000 serien inte snålar med det denna gång.