Kraftfull dator för AI/ML, smärtgräns 75 K

Permalänk
Medlem

Kraftfull dator för AI/ML, smärtgräns 75 K

Hej alla datorkunniga!

Jag behöver ersätta min nuvarande dator (i7-7700K CPU @ 4.20GHz, 4 Core(s), 32 GB, TITAN X) med en mer kraftfull dator.
Eftersom jag ej är någon hårdvarukille så tänkte jag låta Inet bygga datorn.
Den skall primärt användas för AI (Reinforcement learning) men jag vill även kunna spela spel på den. Har kört en del på molnet men det blir snabbt svindyrt med stora modeller och därför har jag satt rätt högt max-pris. (75 K)

CPU:, snabbmed många trådar, egentligen helst Intel då jag optimet med deras kompilator men Intel kanske varit lite slöa på utvecklingen. Kommer det något nytt där så man skall vänta lite?

GPU: Nividia, 3090 med mycket minne. (Använder Cuda bilbioteken intensivt och vill inte byta)

RAM: 128 GB - Mina 32 GB nu räcker ej alltid och det blir så slött med HD som RAM.

Moderkort: ?? Ingen aning, en djungel för mig. Förslag på kort som passar ovanstående.

SSD: Primär tför Windows 10, snabb

HD: Riktigt stor för resultatfiler som tar mycket plats.

Nätaggregat: ?? Hur mycket W ?

Kylning: ? Har vattenkylning nu, fungerar bra

Fläktar: ??

Chassi: ??

Windows: 10 Pro (Behöver PRO)

Skärm ingår ej i summan men gärna förslag på bra skärm.

Vore mycket tacksam med förslag då det är rätt mycket pengar för mig och trist om det ej fungerar ihop. Delarna skall var från Inet eftersom de skall bygga den.
Vänliga Hälsningar

Permalänk
Medlem

För det priset borde du kunna få två 3090 kort i riggen, då har du 35tkr-30tkr kvar?

Permalänk
Medlem

Kan du inte utgå från deras https://www.inet.se/produkt/1512047/taurus-gaming-elite-rtx-3...

Sen ber du dom pimpa den efter dina önskemål, lär inte hamna på några 75k dock

Slå dom en signal vet jag.

Permalänk
Medlem

Stort tack för tips! Gör inget om det blir billigare förstås !

Vänliga hälsningar

Permalänk
Medlem

När jag tittade på att bygga en ändamålsenlig dator för modellträning hittade jag en "dollar per epoch och neuroner"-kalkyl på GitHub. Jag ska se om jag hittar den eller en liknande igen.

Permalänk
Medlem
Skrivet av GLaDER:

När jag tittade på att bygga en ändamålsenlig dator för modellträning hittade jag en "dollar per epoch och neuroner"-kalkyl på GitHub. Jag ska se om jag hittar den eller en liknande igen.

OK. Det finns en hel del om man söker på: "bang for the back computer machine learning". De mer intressanta träffarna jag hittade när jag skummade lite snabbt var:

Mina två ören är dessutom att en kraftfull GPU bara kommer till sin rätt om har parallelliserbara modeller. Jag jobbade mycket med tidsvarianta modeller (RNN) och då var CPU ofta flaskhalsen.

Permalänk
Medlem
Skrivet av Timbavati:

CPU:, snabbmed många trådar, egentligen helst Intel då jag optimet med deras kompilator men Intel kanske varit lite slöa på utvecklingen. Kommer det något nytt där så man skall vänta lite?

Intel släpper ny generation CPU i år och det ser ut att bli riktigt bra. https://www.sweclockers.com/nyhet/32811-intel-core-i9-12900k-slar-amd-ryzen-9-5950x-i-prestandatest

Här får någon annan med mer kunskap gärna fylla i, men visst kommer DDR5-stöd på minnen då vilket också blir ett stort kliv framåt? Och dyra lär de också vara så du kan fylla upp budgeten

Permalänk
Medlem

RTX A6000 är inte intre intressant då med sina 48GB minne? I och för sig svindyrt så kanske inte värt det över 3090.

Permalänk
Medlem

Tack för alla bra tips och länkar!
RTX A6000 är lite väl dyr, får nästan lägga till en 1 framför maxbeloppet !! En allmän iakttagelse är att det blivit rätt mycket dyrare att köpa en maxad dator nu. När jag köpte min nuvarande dator för 4-5 år sedan med TITAN X så kostade GPU:n 13 K. Nu får man betala dubbelt så mycket och hela systemet kankse också dubbelt så dyrt.

Den nya Intel-processorn låter intressant, är den någon som vet release datum ?

Permalänk
Medlem
Skrivet av Timbavati:

Tack för alla bra tips och länkar!
RTX A6000 är lite väl dyr, får nästan lägga till en 1 framför maxbeloppet !! En allmän iakttagelse är att det blivit rätt mycket dyrare att köpa en maxad dator nu. När jag köpte min nuvarande dator för 4-5 år sedan med TITAN X så kostade GPU:n 13 K. Nu får man betala dubbelt så mycket och hela systemet kankse också dubbelt så dyrt.

Den nya Intel-processorn låter intressant, är den någon som vet release datum ?

Inget officiellt datum än men 19 november i år säger källor: https://wccftech.com/intel-12th-gen-alder-lake-s-desktop-cpus-z690-motherboards-launching-on-19th-november/

Permalänk
Medlem
Skrivet av Duder:

Stort tack för info! DÅ avvaktar jag lite när det är så nära och vem vet, kanske går GPU ned lite i pris?

Permalänk
Medlem
Skrivet av Timbavati:

Stort tack för info! DÅ avvaktar jag lite när det är så nära och vem vet, kanske går GPU ned lite i pris?

Var tar den nuvarande datorn slut först?
Är det CPU eller GPU tunga modeller du använder?

Tänker mest så fokus läggs på rätt saker, du kanske kan ha ett 3090, men med en dubbelCPU eller Quad CPU rigg för att få upp CPU kraften, men det beror på vad som behövs och hur det stackar.
t.ex så körde jag förr renderingar med flera separata kort i en lägre serie, vilekt totalt sett gav mer för mindre pengar, men det kräver att din applikation kan nytja det.

Permalänk
Medlem

Nya threadripper med upp till 64kärnor kommer i november troligen.
Annars kan du kolla på xeon workstation med.

Permalänk
Medlem

Görs allt detta i profesionellt syfte eller studie/hobby?
Frågan är om det kanske är värt att splittra så att du har 2 separata maskiner? Skulle rekommendera en dedikerad workstation/server som du kan uppgradera allt eftersom och kan stå och tugga i ett hörn medans du spelar utan att påverka vad du just nu gör.
Baserad på vad @GLader länkade så rekommenderas oftast mer minne än hastighet på minnet. Det sagt så är nog quad-channel med 2133Mhz minne att rekommendera.
Angående CPU så beroende på hur bra du gör multitrådning så är nog fler trådar viktigare än hastigheten. Många server processorer börjar att komma up i relativt höga hastigheter redan.

Kan nog skriva mycket mer om diverse delar men största frågan just nu är som @Nbwu redan frågat.
Vart bottleneckar den just nu?

Permalänk
Medlem
Skrivet av Zorerk:

Görs allt detta i profesionellt syfte eller studie/hobby?

Baserad på vad @GLader länkade så rekommenderas oftast mer minne än hastighet på minnet. Det sagt så är nog quad-channel med 2133Mhz minne att rekommendera.

Dessa två frågor ovan är key, om det är professionellt kan även saker såsom ECC minne vara av intresse, då dataförlust blir avsevärt mycket mindre sannolikt, samt att som även nämts, det då kan vara värt att dela upp, på en faktisk server och en workstation i ett klient-server förhållande, så allt "jobbigt" sker på servern.

Permalänk
Medlem
Skrivet av Nbwu:

Dessa två frågor ovan är key, om det är professionellt kan även saker såsom ECC minne vara av intresse, då dataförlust blir avsevärt mycket mindre sannolikt, samt att som även nämts, det då kan vara värt att dela upp, på en faktisk server och en workstation i ett klient-server förhållande, så allt "jobbigt" sker på servern.

Tack alla för bra tips och förslag!

Det är semi-professionellt, jag tjänar pengar på mina modeller men jag är inte anställd i ett företag.
Största problemet har varit CPU-minnet, 32 GB har inte räckt och min SSD på 256 GB är rätt full så det har blivit min mekaniska HD som verkat som RAM. ej kul- GPU RAM har jag legart på gräsen hela tiden.-

Egentligen så räcker min nuvarande dator (TITAN X och 4 kernels CPU) gott för de spel jag spelar (Witcvher3, Kingdom Come, Paradox spel).

SÅ iden med en server låter toppen tycker jag! Så jag använder min nuvarande dator som för spel, surf etc. och som klient till min server.
Men när det gäller den delen med server, XEOn EMM-minne är jag totalt nollställd. (har lite hum om konsumentdatorer dock)

Jag tror på det ni föreslår att satsa på mycket minne, bättre med mycket minne än det snabbaste minnet.

Har köpt alla mina datorer på Inet men hittar inget vid snabb letning. Jättesnällt med lite tips om hur jag hittar!

Vänliga!

Permalänk
Medlem
Skrivet av Timbavati:

Tack alla för bra tips och förslag!

Det är semi-professionellt, jag tjänar pengar på mina modeller men jag är inte anställd i ett företag.
Största problemet har varit CPU-minnet, 32 GB har inte räckt och min SSD på 256 GB är rätt full så det har blivit min mekaniska HD som verkat som RAM. ej kul- GPU RAM har jag legart på gräsen hela tiden.-

Egentligen så räcker min nuvarande dator (TITAN X och 4 kernels CPU) gott för de spel jag spelar (Witcvher3, Kingdom Come, Paradox spel).

SÅ iden med en server låter toppen tycker jag! Så jag använder min nuvarande dator som för spel, surf etc. och som klient till min server.
Men när det gäller den delen med server, XEOn EMM-minne är jag totalt nollställd. (har lite hum om konsumentdatorer dock)

Jag tror på det ni föreslår att satsa på mycket minne, bättre med mycket minne än det snabbaste minnet.

Har köpt alla mina datorer på Inet men hittar inget vid snabb letning. Jättesnällt med lite tips om hur jag hittar!

Vänliga!

Jag ska kika lite senare idag eller imorn (är iväg) och se om jag kan hitta något vettigt, hur avancerat man kan göra det beror mycket på hur duktig du själv är på att installera program mm. Samt hur van du är att arbeta med servar,
Men det låter som en beräkningsserver med rejäla ram-resurser skulle passa bra.
Kanske kan hitta något begagnat åt dig så kommer du undan nästan gratis i förhållande till vad de kostar nya….

Permalänk
Medlem
Skrivet av Nbwu:

Jag ska kika lite senare idag eller imorn (är iväg) och se om jag kan hitta något vettigt, hur avancerat man kan göra det beror mycket på hur duktig du själv är på att installera program mm. Samt hur van du är att arbeta med servar,
Men det låter som en beräkningsserver med rejäla ram-resurser skulle passa bra.
Kanske kan hitta något begagnat åt dig så kommer du undan nästan gratis i förhållande till vad de kostar nya….

Hej,

Känn ingen stress, jag har inte bråttom.

Om du ej har tid eller så , säg till så får jag se vad jag hittar. Jag är mycket tacksam för ideer och tips!!

Permalänk
Medlem

Både Intel och AMD har processorserier för arbetsstationer som du bör överväga, Core-X resp Threadripper, även om de är från en äldre generation.
Intels värsting är https://www.inet.se/produkt/5302663/intel-core-i9-10980xe-3-0...

Bästa tipset är nog att invänta Intels nya generation. Ryktet säger att den skall presenteras den 27:e oktober och släppas i november.

Permalänk
Entusiast

Kan ju rekommendera dig att ta en titt och ställa frågan hos https://level1techs.com/ också. Wendell från yt kanalen level1techs gör en hel del videos om compute allmänt.
Frågan är utöver cuda som du har nämnt, har du användning av AXV512 instruktioner? Är ditt arbete skalbart på CPU kärnor? Eller här det mer nytta med att ha flera grafikkort? Vad för mängd grafikkortsminne behöver du?

Beroende på dina svar så kan de variera om du ska köra med Intel, 2-4st 3080ish, en Threadripper 32/64 kärnor, en Optane disk m.m..

Permalänk
Medlem
Skrivet av Timbavati:

Hej,

Känn ingen stress, jag har inte bråttom.

Om du ej har tid eller så , säg till så får jag se vad jag hittar. Jag är mycket tacksam för ideer och tips!!

Så, nu har jag kikat lite!
Hittade bl. denna: https://shop.inrego.se/server-tillbehor/dell-poweredge-r720-6
Den har 32Gb ram, men om du pratar med Inrego kan de säkert pytsa i fler stickor.
Då får du 12 cores 24 trådar Server CPu, med så mycket minne du känenr att du vill ha för ett par tusen.

Vet inte hur bra dina saker fungerar i klustrade miljöer, emn ett atlerantiv kan ju vara att köpa klanske en 5-10st servrar, klustra dem och sen köra beräkningarna på klustret.
har du 10 server får du 240 trådar, och säg 2560 gb ram om du kör 256gb per maskin, tänekr att det borde räcka?
toalt hamnar det på kanske 50-60tkr + 10kw elförbrukning.

Annrs så får man sikta på en GPGPU server, där du pytsar i grafikkort för glatta livet, kanske ett "gammalt" mining bygge med 5-6 GPUer du kan tråda ut det över?
Men som sagt, det beror helt på hur din applikation beter sig.

Permalänk
Medlem
Skrivet av Nbwu:

Så, nu har jag kikat lite!
Hittade bl. denna: https://shop.inrego.se/server-tillbehor/dell-poweredge-r720-6
Den har 32Gb ram, men om du pratar med Inrego kan de säkert pytsa i fler stickor.
Då får du 12 cores 24 trådar Server CPu, med så mycket minne du känenr att du vill ha för ett par tusen.

Vet inte hur bra dina saker fungerar i klustrade miljöer, emn ett atlerantiv kan ju vara att köpa klanske en 5-10st servrar, klustra dem och sen köra beräkningarna på klustret.
har du 10 server får du 240 trådar, och säg 2560 gb ram om du kör 256gb per maskin, tänekr att det borde räcka?
toalt hamnar det på kanske 50-60tkr + 10kw elförbrukning.

Annrs så får man sikta på en GPGPU server, där du pytsar i grafikkort för glatta livet, kanske ett "gammalt" mining bygge med 5-6 GPUer du kan tråda ut det över?
Men som sagt, det beror helt på hur din applikation beter sig.

Varit borta på resa ett tag, därför sent svar.
Utmärkta tips, jag börjar med en server det är ju billigt och testar hur det går!

Tacka alla för bra tips!

Permalänk
Medlem
Skrivet av Timbavati:

Varit borta på resa ett tag, därför sent svar.
Utmärkta tips, jag börjar med en server det är ju billigt och testar hur det går!

Tacka alla för bra tips!

Du kan ju redan nu om du kör i t.ex azure pröva att spinna upp flera vms så kan du testa en eftermiddagen utan att investera mer än ett par kronor
Du kan ju lägga på motsvarande specc med så får du en känsla för det.

Då märker du även om din app klarar kluster.
Tänk även på mjukvarulicenser när du köper server, kan vara så att du behöver en licens per server om det vill sig illa.
Kan du köra linux blir det dock billigt.