Rykte: Geforce RTX 5000 Super-serien släpps till jul

Permalänk
Medlem
Skrivet av GuessWho:

Det är väl ändå inte sant.

https://www.youtube.com/watch?v=dmOCYFVLi2M&t=20s

ServeTheHome gjorde reportage om en AI server med 8st Nvidia GPUs där vardera har 141GB HBM3e minne, för totalt 1.128TB VRAM per server.
Det går att köra LLM på en sådan beräkningsserver.

Vet inte vad de kostar, men en komplett server kostar nog mer än en ny bil.
Så de är inte billiga. Men finns ändå företag som köper.

Skulle jag lagt till: "För oss normaldödliga sett till pengar och insats." ?

Permalänk
Medlem
Skrivet av GuessWho:

Det är väl ändå inte sant.

https://www.youtube.com/watch?v=dmOCYFVLi2M&t=20s

ServeTheHome gjorde reportage om en AI server med 8st Nvidia GPUs där vardera har 141GB HBM3e minne, för totalt 1.128TB VRAM per server.
Det går att köra LLM på en sådan beräkningsserver.

Vet inte vad de kostar, men en komplett server kostar nog mer än en ny bil.
Så de är inte billiga. Men finns ändå företag som köper.

Ett kort kostar mer än en ny bil.
Edit: Aha, det var gamla H200. De är väl inte fullt så dyra iaf men de får RTX PRO 6000 att framstå som budgetkort iaf.

Hittade en "datorbyggare" här. Liiite dyrare än vad det brukar bli när man leker runt på inet.
https://www.aime.info/en/shop/product/aime-a8005p/?pid=A8005P...

Permalänk
Medlem
Skrivet av GuessWho:

Det är väl ändå inte sant.

https://www.youtube.com/watch?v=dmOCYFVLi2M&t=20s

ServeTheHome gjorde reportage om en AI server med 8st Nvidia GPUs där vardera har 141GB HBM3e minne, för totalt 1.128TB VRAM per server.
Det går att köra LLM på en sådan beräkningsserver.

Vet inte vad de kostar, men en komplett server kostar nog mer än en ny bil.
Så de är inte billiga. Men finns ändå företag som köper.

Ja nu nämnde jag Strix Halo som ryms i en laptop, inte att interferens inte går att köra på Nvidia överlag.

Permalänk
Medlem
Skrivet av ipac:

Ett kort kostar mer än en ny bil.
Edit: Aha, det var gamla H200. De är väl inte fullt så dyra iaf men de får RTX PRO 6000 att framstå som budgetkort iaf.

Hittade en "datorbyggare" här. Liiite dyrare än vad det brukar bli när man leker runt på inet.
https://www.aime.info/en/shop/product/aime-a8005p/?pid=A8005P...

Ah, B200 heter de nya GPUerna ?
Åtminstone på vissa saker verkar det vara stor skillnad.
På vissa punkter över dubbla prestandan. Men på andra inte lika stor skillnad.

Konfiguratorn du länkade till (som också erbjöd H200, inte B200)
Det går åtminstone komma upp över 250 000 euro där.

Vad kostar en ny bil då ?
Ja det beror ju på vad man ska ha för något.
Har man exempelvis 500 000kr i budget så har man åtminstone en del nya bilar att välja på.
Men man får ändå nöja sig med en ganska vanlig bil.

Exempelvis en Volkswagen Golf GTI verkar kosta ungefär mellan 400 000kr till lite över 500 000 för en 2025.

Vill man ha en V8 Hybrid som

Så sa Tom att den kostar 260 000 pund (GPB)
(Lamborghini Temerario)

Så liknande pengar om man vill ha en speciell dator till sitt Hemlab (Homelab) som om man vill ha en speciell bil.