Uppgradera till hobby-workstation

Hejsan,

Jag har planer på att uppgradera min dator, där fokuset är mer workstation än spelande. Min nuvarande dator har levt på en livlina på tok för länge, eftersom jag ständigt flyttat fram målet till "nästa generation".

I dagsläget sitter jag på en Intel 2700k med 16GB, som har kämpat länge - men känns inte pålitlig längre.

Just nu är mitt största intresse att kunna använda LLaMa.cpp och alpaca.cpp, där jag tror att vi snart kommer se 65B-modeller som troligtvis kommer ta strax över 32GB RAM. Så jag vill hoppa direkt till 64GB RAM.

Stämmer det att AMD tappar prestanda om man använder 4st DDR5-slots på grund av lägre minneshastigheter? Kommer jag märka någon skillnad?

Luftkylare och fläktar kommer behövas. När det någon större skillnad med ljudnivån på fläktarna idag?

Moderkortet får gärna ha extra PCI-e 16x slots ifall man kan återbruka grafikkortet för CUDA-beräkningar i framtiden. Är det möjligt?

Min tanke är att återanvända:
* GPU: Nvidia 1070Ti
* Chassi: Fractal Design Define R2
* PSU: Fractal Design Newton 1kW
* m.2 SSD: WD850X 2TB (sedan black friday, vore roligt att använda den också!)
* SATA 6st: 3xSSD och 3xHDD

Budget: 10 000 - 13 000 kr.

Har ni några förslag eller andra tips jag borde tänka på?

Tack på förhand!

Intressant, jag har aldrig hört talas om termen "Single side"/"Dual side".

Vad är det egentligen jag ska kolla efter? Att det är 16GB/24GB moduler istället för 32GB/48GB moduler?

Jag kan inte riktigt svara. Med min 2700k så får jag ungefär en 0.25 token per second så det kan ta 5 minuter för mig att kunna läsa en hel mening. Intel 2700k har inte stöd för AVX2.

Andra verkar ha runt 10 tokens per second. Styrkan med alpaca är att det går att köra relativt snabbt även på en Raspberry Pi när modellen är upplärd med Low-rank adaptation (LoRA).

88 trådar och/eller 256GB RAM hade helt klart varit mäktigt att äga. Det är en bra idée, men jag är skeptisk till att jag kommer hitta någon uppgift som drar nytta av alla dessa kärnor. Jag måste läsa på lite mer, men precis som du säger finns det mycket hårdvara. Så nu har du gjort valet ännu svårare!

Ursprungligen var jag mer inriktad på att använda den här generations CPU:er med DDR5 och lägga till mer minne vid behov.