Permalänk

Server för deep-learning

Hej!

Har fått i uppgift att komma med ett förslag på hårdvara till en server som kommer användas för s.k. deep learning. Min tanke i nuläget är en rigg med 3-4 RTX 2080 Ti och har tagit fram nedanstående lista. Min tanke är att köra ubuntu med lambda-stack, hade även en tanke att köra virtuella maskiner med xenserver i grunden, kräver dock licens och jag vet inte riktigt hur prestandan skulle bli på dessa virtuella maskiner, någon som har erfarenhet av detta?

Har dock några funderingar:

  • Kommer mitt PSU räcka?

  • Kommer jag kunna stacka 4 GPUs i detta chassi på detta moderkort

  • Några andra tips/förslag?

Budget ca 100k.

Permalänk
Medlem

Kommer du att ha tillgång till UPS-matad ström? Om inte så skulle jag råda att köpa in en UPS
Den där PSU'n kommer iaf att räcka.

En tanke vore ju att köra två diskar i RAID1 för redundans på boot-disken

Eftersom det är en server så skulle jag rekommendera ECC-minnen, men då måste du även byta CPU och moderkort. Vet heller inte exakt hur mycket påfrestning som kommer att ligga på RAM eftersom att GPUerna kommer att göra beräkningarna.

Kanske är värt att köra mindre diskar för boot (2x300 GB) och ett par 4TB för lagring om det behövs.

Visa signatur

| CPU: AMD Ryzen 5600x | RAM: G.Skill 16GB 3200 MHz Ripjaws V | GPU: Powercolor RX 6800 | Mobo:ASUS ROG STRIX B550-F Gaming | SSD: Kingston SSD V300 240GB | Nätagg: Fractal Design Ion+ Platinum 660W | Kylare: Arctic Liquid Freezer II 120mm | Chassi: Cooltek W2 | OS: Windows 10

Permalänk
Skrivet av Bmannu:

Kommer du att ha tillgång till UPS-matad ström? Om inte så skulle jag råda att köpa in en UPS
Den där PSU'n kommer iaf att räcka.

En tanke vore ju att köra två diskar i RAID1 för redundans på boot-disken

Eftersom det är en server så skulle jag rekommendera ECC-minnen, men då måste du även byta CPU och moderkort. Vet heller inte exakt hur mycket påfrestning som kommer att ligga på RAM eftersom att GPUerna kommer att göra beräkningarna.

Kanske är värt att köra mindre diskar för boot (2x300 GB) och ett par 4TB för lagring om det behövs.

UPS ja, den kommer i så fall stå i vårt serverrum där UPS redan finns.

RAID 1 jag valde 2x 1 TB SSDs just för att kunna köra dem i RAID 1, tänker att de i så fall skulle kunna agera som OS och datadisk, eller ska jag köra separat disk för OS och data? Har redan lagringsplats så den data som finns på servern kommer bara finnas där under körning.

ECC-minnen har också tänkt den tanken men har svårt att motivera prisökningen, servern kommer mer vara en "labbmiljö" och större (och viktigare) körningar kommer köra på "riktig" serverhårdvara. Vi skulle vilja ha en labbburk och sedan hyra beräkningstid när vi känner oss redo.

Bra tankar, tackar!