Kraftfull dator för AI/ML, smärtgräns 75 K

För det priset borde du kunna få två 3090 kort i riggen, då har du 35tkr-30tkr kvar?

Kan du inte utgå från deras https://www.inet.se/produkt/1512047/taurus-gaming-elite-rtx-3...

Sen ber du dom pimpa den efter dina önskemål, lär inte hamna på några 75k dock

Slå dom en signal vet jag.

När jag tittade på att bygga en ändamålsenlig dator för modellträning hittade jag en "dollar per epoch och neuroner"-kalkyl på GitHub. Jag ska se om jag hittar den eller en liknande igen.

OK. Det finns en hel del om man söker på: "bang for the back computer machine learning". De mer intressanta träffarna jag hittade när jag skummade lite snabbt var:

• Best bang for your buck hardware

• NVIDIA Data Center Deep Learning Product Performance

• A Full Hardware Guide to Deep Learning

Mina två ören är dessutom att en kraftfull GPU bara kommer till sin rätt om har parallelliserbara modeller. Jag jobbade mycket med tidsvarianta modeller (RNN) och då var CPU ofta flaskhalsen.

Intel släpper ny generation CPU i år och det ser ut att bli riktigt bra. https://www.sweclockers.com/nyhet/32811-intel-core-i9-12900k-slar-amd-ryzen-9-5950x-i-prestandatest

Här får någon annan med mer kunskap gärna fylla i, men visst kommer DDR5-stöd på minnen då vilket också blir ett stort kliv framåt? Och dyra lär de också vara så du kan fylla upp budgeten

RTX A6000 är inte intre intressant då med sina 48GB minne? I och för sig svindyrt så kanske inte värt det över 3090.

Var tar den nuvarande datorn slut först?
Är det CPU eller GPU tunga modeller du använder?

Tänker mest så fokus läggs på rätt saker, du kanske kan ha ett 3090, men med en dubbelCPU eller Quad CPU rigg för att få upp CPU kraften, men det beror på vad som behövs och hur det stackar.
t.ex så körde jag förr renderingar med flera separata kort i en lägre serie, vilekt totalt sett gav mer för mindre pengar, men det kräver att din applikation kan nytja det.

Nya threadripper med upp till 64kärnor kommer i november troligen.
Annars kan du kolla på xeon workstation med.

Dessa två frågor ovan är key, om det är professionellt kan även saker såsom ECC minne vara av intresse, då dataförlust blir avsevärt mycket mindre sannolikt, samt att som även nämts, det då kan vara värt att dela upp, på en faktisk server och en workstation i ett klient-server förhållande, så allt "jobbigt" sker på servern.

Jag ska kika lite senare idag eller imorn (är iväg) och se om jag kan hitta något vettigt, hur avancerat man kan göra det beror mycket på hur duktig du själv är på att installera program mm. Samt hur van du är att arbeta med servar,
Men det låter som en beräkningsserver med rejäla ram-resurser skulle passa bra.
Kanske kan hitta något begagnat åt dig så kommer du undan nästan gratis i förhållande till vad de kostar nya….

Både Intel och AMD har processorserier för arbetsstationer som du bör överväga, Core-X resp Threadripper, även om de är från en äldre generation.
Intels värsting är https://www.inet.se/produkt/5302663/intel-core-i9-10980xe-3-0...

Bästa tipset är nog att invänta Intels nya generation. Ryktet säger att den skall presenteras den 27:e oktober och släppas i november.

Kan ju rekommendera dig att ta en titt och ställa frågan hos https://level1techs.com/ också. Wendell från yt kanalen level1techs gör en hel del videos om compute allmänt.
Frågan är utöver cuda som du har nämnt, har du användning av AXV512 instruktioner? Är ditt arbete skalbart på CPU kärnor? Eller här det mer nytta med att ha flera grafikkort? Vad för mängd grafikkortsminne behöver du?

Beroende på dina svar så kan de variera om du ska köra med Intel, 2-4st 3080ish, en Threadripper 32/64 kärnor, en Optane disk m.m..

Så, nu har jag kikat lite!
Hittade bl. denna: https://shop.inrego.se/server-tillbehor/dell-poweredge-r720-6
Den har 32Gb ram, men om du pratar med Inrego kan de säkert pytsa i fler stickor.
Då får du 12 cores 24 trådar Server CPu, med så mycket minne du känenr att du vill ha för ett par tusen.

Vet inte hur bra dina saker fungerar i klustrade miljöer, emn ett atlerantiv kan ju vara att köpa klanske en 5-10st servrar, klustra dem och sen köra beräkningarna på klustret.
har du 10 server får du 240 trådar, och säg 2560 gb ram om du kör 256gb per maskin, tänekr att det borde räcka?
toalt hamnar det på kanske 50-60tkr + 10kw elförbrukning.

Annrs så får man sikta på en GPGPU server, där du pytsar i grafikkort för glatta livet, kanske ett "gammalt" mining bygge med 5-6 GPUer du kan tråda ut det över?
Men som sagt, det beror helt på hur din applikation beter sig.

Du kan ju redan nu om du kör i t.ex azure pröva att spinna upp flera vms så kan du testa en eftermiddagen utan att investera mer än ett par kronor
Du kan ju lägga på motsvarande specc med så får du en känsla för det.

Då märker du även om din app klarar kluster.
Tänk även på mjukvarulicenser när du köper server, kan vara så att du behöver en licens per server om det vill sig illa.
Kan du köra linux blir det dock billigt.