Ny teknik kan ge grafikkort med 4 TB minne

Permalänk
Medlem
Skrivet av ncox:

Någon som kan förklara för en oinsatt i ämnet kring minnen, varför det "bara" finns max 32GB nu i den värsta gamingGPUn och inte mer? Vad är skillnaden på minnena i GPU kontra säg SSD?

1. Finns inget större behov för mer inom Gaming. Efter det är det mer Pro kort för CAD som Radeon Pro osv.

2. Modulerna är väl fortfarande max 2GB per modul, så att gå över 16GB är mer moduler på PCBn och mer värme att hantera.

Så blir en fråga om kostnad och avvägning mellan antal chip / värmeutveckling / hastighet per chip.

Visa signatur

Speldator: Intel i7 4770k - 16 GB DDR3 - GeForce GTX 1060 EVGA SC MiniITX - Samsung 850 Pro 256GB (OS) - Samsung 840 EVO 500GB (Install) - 3x4TB Seagate (Mix) - Fractal Node 304

Permalänk
Medlem
Skrivet av ncox:

Någon som kan förklara för en oinsatt i ämnet kring minnen, varför det "bara" finns max 32GB nu i den värsta gamingGPUn och inte mer? Vad är skillnaden på minnena i GPU kontra säg SSD?

Skrivet av Yxan:

Produktsärskillnad. Att lägga till mer ram kostar inte så mycket mer, men quadro och fireprokort säljs för 100 000 kronor styck nya, och de kommer med 2 ggr mer ram än konsumentkort. Varken Nvidia eller AMD/ATI vill lansera kosumentkort med dubbla rammängden för att de inte vill att företag köper sådana kort istället för deras "professional user" kort. Så det är helt konstgjort med andra ord.

Fast det är ju två helt olika typer av minnen, med helt olika prestanda, helt olika livslängd, osv.

Dina 32 GB grafikminne är mer att jämföra med att du kanske har 32 GB RAM i din dator. Det brukar vara mer jämförbar nivå om du jämför lika med ungefär lika, här då olika varianter på DRAM. Dvs (jämförelsevis) snabbt minne som inte har permanent lagring utan bara håller informationen tillfälligt.

I en vanlig SSD däremot har du NAND-baserad lagring som håller informationen permanent(ish), bara kan skrivas ett visst antal ggr (högt antal visserligen, men det är tydligt en förbrukningsprodukt i slutänden) innan den blir utsliten, osv. Och betydligt långsammare oavsett om man jämför med DDR5 eller GDDR7.

Det är helt enkelt olika saker som jämförs där.

Sedan stämmer det Yxan säger också. Man hade lätt kunnat tillverka konsumentkort med mer än 32 GB, men då hade konsumentkorten blivit för användbara i enterprise-världen, och där vill man sälja dyrare lösningar.
Så för att kunna äta kakan och mer eller mindre ha den kvar så gör man olika varianter med funktionsskillnader som i princip ska styra folk till "rätt" prisklass. Dvs enterprise ska köpa de mycket dyrare korten och då får inte "billiga" konsumentkort kort som RTX5090 vara för användbara för enterprise-ändamål.

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Medlem
Skrivet av evil penguin:

Dvs enterprise ska köpa de mycket dyrare korten och då får inte "billiga" konsumentkort kort som RTX5090 vara för användbara för enterprise-ändamål.

Gissar det är därför varken 4090 eller 5090 har nvlink. Tänkte först att det handlade om kostnad/komplexitet men med prisökning borde de ha kunnat lösa det tycker man. Så gissar att man inte vill konkurrera uppåt.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Medlem

kineser slukar alla dessa kort for Deepseek

Visa signatur

AMD5600x | MSI GamingXTrio 3080 10GB | Oculus Rift

Permalänk
Medlem
Skrivet av Pantburk:

Perfekt. Låter intressant.

Om det har hållbarheten av flashminne så är jag inte intresserad

Permalänk
Medlem
Skrivet av Lubricus:

Om det har hållbarheten av flashminne så är jag inte intresserad

Jag gjorde en liten googling på TBW (Terabytes Written) SSD 2025.
Fick upp en tomshardware article om Best SSDs 2025

De rekomenderade bl.a.

Samsung 990 Pro
WD Black SN850X
Crucial T705
Sabrent Rocket 5

Alla dessa fyra hade:
Warranty/Endurance: 5 Years / Up to 2400 TBW

Om vi jämför med RTX 4090 och RTX 5090

GeForce RTX 4090
Memory
Bandwidth 1.01 TB/s

GeForce RTX 5090
Memory
Bandwidth 1.79 TB/s

Säg om vi skulle ha upp till 2400 TBW och vi kan få skrivningar upp till 1TB/s,
så skulle de i ett worst case scenario bara hålla 2400 sekunder.
2400/60 = 40
...
40 minuter.

Har du otur så håller ditt nya grafikkort inte ens en timme ... !!!

Permalänk
Medlem
Skrivet av ncox:

Någon som kan förklara för en oinsatt i ämnet kring minnen, varför det "bara" finns max 32GB nu i den värsta gamingGPUn och inte mer? Vad är skillnaden på minnena i GPU kontra säg SSD?

Att säga att DRAM har "oändlig livslängd" är säkert inte helt korrekt.
Men, så länge de har stabil strömförsörjning inom lämpligt intervall och körs i rimliga klockfrekvenser och temperaturer, så har de extremt bra hållbarhet.

Om du ser min lilla uträkning i inlägget ovanför så kan potentiellt ett RTX 5090 ha mer skrivningar till VRAM på 1 timme än en vanlig M.2 NVME konsument SSD har på hela sin livslängd.

Det är ganska relevant för oss som köper ett nytt grafikkort och vill att det ska hålla mer än en dag.

Permalänk
Medlem
Skrivet av GuessWho:

Jag gjorde en liten googling på TBW (Terabytes Written) SSD 2025.
Fick upp en tomshardware article om Best SSDs 2025

De rekomenderade bl.a.

Samsung 990 Pro
WD Black SN850X
Crucial T705
Sabrent Rocket 5

Alla dessa fyra hade:
Warranty/Endurance: 5 Years / Up to 2400 TBW

Om vi jämför med RTX 4090 och RTX 5090

GeForce RTX 4090
Memory
Bandwidth 1.01 TB/s

GeForce RTX 5090
Memory
Bandwidth 1.79 TB/s

Säg om vi skulle ha upp till 2400 TBW och vi kan få skrivningar upp till 1TB/s,
så skulle de i ett worst case scenario bara hålla 2400 sekunder.
2400/60 = 40
...
40 minuter.

Har du otur så håller ditt nya grafikkort inte ens en timme ... !!!

Jag skulle nog snarare jämföra det med Intels Optane. Om man kan använda den tekniken fast på grafikkortet i stället för i systemet i stort, skulle mycket vara vunnet. Hållbarheten är enormt mycket bättre än flash-minne. Och jag tror inte heller att det skulle skrivas så ofta till ett sånt minne, utan att den mer skulle fungera som en cache där grafikprocessorn kan hämta data väldigt snabbt jämfört med att gå ut till en SSD/hårddisk, men där datan kanske bara laddas in när spelet (om det nu handlar om spel) startas och sen sker bara läsning från den minnesdelen. Då skulle det mer handla om några skrivningar per dag kanske. För 1 TB kapacitet och 2400 TBW skulle det då innebära att 100 GB speldata två gånger per dag skulle funka i 33 år. Om vi i stället tänker oss dubbelt så mycket speldata per dag och en säkerhetsfaktor 2 X, blir det ändå 7-8 år.

Verkligheten kanske hamnar nånstans mellan dina 40 minuter och mina 7-33 år, men jag skulle tro att användningen kan anpassas för att i praktiken ge den minnesdelen längre livslängd än grafikkortets praktiska livslängd (dvs, när det knappast används mer eftersom det är 3-4 generationer bakom. Och sen tror jag inte att det behöver betyda att kortet slutar fungera. En sån lösning får nog ha funktioner för att hantera ett partiellt eller fullständigt bortfall av den långsammare minnesdelen, så grafikkortet bara använder det egentliga grafikminnet.

Visa signatur

Moderkort: Gigabyte X570 Aorus Master | CPU: AMD Ryzen R9 5900X | CPU-kylare: Noctua NH-D15 chromax.black | RAM: Corsair Vengeance LPX 64 GB (4x16) DDR4-3600 CL18 | GPU: Gigabyte RTX 4080 Eagle OC | SSD: 2 x Samsung 970 EVO Plus 1 TB NVMe + Kingston A400 480 GB + Samsung QVO860 1 TB | PSU: EVGA SuperNOVA G2 1000 W Gold | Chassi: Lian Li O11 Dynamic XL | Skärm: BenQ PD3200U @ 3840x2160 + ASUS ROG Strix XG32VQ @ 2560x1440 | Tangentbord: Corsair K68 RGB Cherry MX Red | Mus: Logitech MX Master 2S

Permalänk
Medlem
Skrivet av cyklonen:

Jag skulle nog snarare jämföra det med Intels Optane. Om man kan använda den tekniken fast på grafikkortet i stället för i systemet i stort, skulle mycket vara vunnet. Hållbarheten är enormt mycket bättre än flash-minne. Och jag tror inte heller att det skulle skrivas så ofta till ett sånt minne, utan att den mer skulle fungera som en cache där grafikprocessorn kan hämta data väldigt snabbt jämfört med att gå ut till en SSD/hårddisk, men där datan kanske bara laddas in när spelet (om det nu handlar om spel) startas och sen sker bara läsning från den minnesdelen. Då skulle det mer handla om några skrivningar per dag kanske. För 1 TB kapacitet och 2400 TBW skulle det då innebära att 100 GB speldata två gånger per dag skulle funka i 33 år. Om vi i stället tänker oss dubbelt så mycket speldata per dag och en säkerhetsfaktor 2 X, blir det ändå 7-8 år.

Verkligheten kanske hamnar nånstans mellan dina 40 minuter och mina 7-33 år, men jag skulle tro att användningen kan anpassas för att i praktiken ge den minnesdelen längre livslängd än grafikkortets praktiska livslängd (dvs, när det knappast används mer eftersom det är 3-4 generationer bakom. Och sen tror jag inte att det behöver betyda att kortet slutar fungera. En sån lösning får nog ha funktioner för att hantera ett partiellt eller fullständigt bortfall av den långsammare minnesdelen, så grafikkortet bara använder det egentliga grafikminnet.

Mina uträkningar som pekar på rätt pessimistiska siffror där man kanske inte ens får en dags livsläng gör då antagandet att grafikkortet saknar DRAM och enbart har flashminne.

Även om man säkert ändå hade kunnat få längre livslängd än 1 timme.
Så skulle även en dag eller en veckas livslängd eller dylikt för ett nytt grafikkort vara oacceptabelt.
Det borde betyda att grafikkorten isåfall fortfarande kommer ha VRAM liknande dagens grafikkort.
Men sen får detta flashminne upptill för utökad total minnesanvändning per kort.
Att det då används någon form av smarta algoritmer så det som används mest intensivt ligger i vanliga VRAM och att Flash minnet inte används lika intensivt.

Jag vet inte hur man ställer upp ett räkneexempel för de premisserna.
Men klart är att det kan utöka livslängden på flashminnet mångfaldigt.

Jag tror fortfarande att daglig användning i över 30 år är för optimistiskt.
Men å andra sidan så kan jag inte tänka mig att någon skulle vilja köra datacenter med 30 år gammal hårdvara.
Även om totala strömförbrukningen hade varit lägre så hade prestandan varit så mycket lägre att prestanda/watt hade blivit uselt ändå.

Om det var förra året (?) som det var om någon auktion av någon gammal superdator som skulle auktioneras ut till en bråkdel av vad den en gång varit värd.
Men förhållandet mellan prestanda och driftskostnader hade blivit ohållbart.
Förutom elförbrukningen så kostar det att ha personal som ska drifta, felsöka och reparera.

Permalänk
Medlem
Skrivet av GuessWho:

Jag gjorde en liten googling på TBW (Terabytes Written) SSD 2025.
Fick upp en tomshardware article om Best SSDs 2025

De rekomenderade bl.a.

Samsung 990 Pro
WD Black SN850X
Crucial T705
Sabrent Rocket 5

Alla dessa fyra hade:
Warranty/Endurance: 5 Years / Up to 2400 TBW

Om vi jämför med RTX 4090 och RTX 5090

GeForce RTX 4090
Memory
Bandwidth 1.01 TB/s

GeForce RTX 5090
Memory
Bandwidth 1.79 TB/s

Säg om vi skulle ha upp till 2400 TBW och vi kan få skrivningar upp till 1TB/s,
så skulle de i ett worst case scenario bara hålla 2400 sekunder.
2400/60 = 40
...
40 minuter.

Har du otur så håller ditt nya grafikkort inte ens en timme ... !!!

SLC och optanes 3d xpoint har väldigt mycket högre tbw än dessa som alla är typ 3D TLC.
Tror att dagens SLC flashminne har typ 100.000 TBW och jag kan bara tänka mig hur 3d xpoint skulle vara nu om det fortsatte utecklas...
Så min gissning är att dom inte ens överväger de 3d TLC moduler som används i vanliga consumer grade SSDer idag, och heller inte SLC minnen för den delen

Visa signatur

i7 12700k oc+delid under utveckling | 32gb G.Skill Trident Z RGB 3600mhz cl15 | RX 7800xt
https://valid.x86.fr/uudh64 (gammal, men trevlig, cpu-z validator)

Permalänk
Medlem
Skrivet av Lubricus:

Om det har hållbarheten av flashminne så är jag inte intresserad

@Lubricus
Men det ska du ju kunna byta ut billigt till mer eller mindre.
Så det är inget att hänga upp sig på.

Visa signatur

Asus Tuf Gaming X670E-Plus - Amd 9800X3D - Noctua D15 Chromax Black - Corsair 6000MHz cl30 - Sapphire 9070 XT Nitro+ - Asus Rog Thor 850W 80+ Platinum - Sound Blaster AE-9 - Asus 26.5" ROG Swift PG27AQDM OLED 240Hz

Permalänk
Medlem
Skrivet av Jonhed:

SLC och optanes 3d xpoint har väldigt mycket högre tbw än dessa som alla är typ 3D TLC.
Tror att dagens SLC flashminne har typ 100.000 TBW och jag kan bara tänka mig hur 3d xpoint skulle vara nu om det fortsatte utecklas...
Så min gissning är att dom inte ens överväger de 3d TLC moduler som används i vanliga consumer grade SSDer idag, och heller inte SLC minnen för den delen

Det låter i så fall klart bättre.

Men, troligtvis så skulle en sån här lösning ändå inte bli DRAM lös.

Exempelvis om du tar SSD som säljs så finns det ju både SSD med DRAM cache och utan DRAM cache.

Eller om du tar med processor och lagring.
Du har CPU cache, RAM minne och SSD.
CPU cache och RAM minne är både snabbare än SSD och tåligare för många, många skrivningar än vad SSD är.

Det är ju inte så att bara för att man har SSD så kan man inte längre använda CPU cache och/eller RAM minne.
Det finns inget motsatsförhållande där.
Det behöver inte vara antingen eller.

Det finns inget som säger att ett professionellt grafikkort inte skulle kunna ha exempelvis 128GB DRAM och 4TB SSD.
Eller någon annan mängd.
Men det finns inget som säger att ett grafikkort inte skulle kunna ha både och.

Speciellt med tanke på att det redan har gjorts förr
AMD Radeon Pro SSG

(Tack @Svensktiger för länken)

Kollar man exempelvis TechPowerUp kan man se att

GeForce RTX 4090
L1 Cache 128 KB (per SM)
L2 Cache 72 MB

GeForce RTX 5090
L1 Cache 128 KB (per SM)
L2 Cache 96 MB

Så även dagens grafikkort har cache minnen förutom sitt betydligt större VRAM.
Om dagens grafikkort kan ha minne på olika nivåer,
varför skulle inte framtidens grafikkort också kunna ha minne på mer än 1 nivå ?

Permalänk
Medlem

4 tb minne ? Kanske framtidens kort kan ändå köra cyperpunk i 60 fps utan alla fusk fps

Permalänk
Medlem
Skrivet av GuessWho:

Det låter i så fall klart bättre.

Men, troligtvis så skulle en sån här lösning ändå inte bli DRAM lös.

Exempelvis om du tar SSD som säljs så finns det ju både SSD med DRAM cache och utan DRAM cache.

Eller om du tar med processor och lagring.
Du har CPU cache, RAM minne och SSD.
CPU cache och RAM minne är både snabbare än SSD och tåligare för många, många skrivningar än vad SSD är.

Det är ju inte så att bara för att man har SSD så kan man inte längre använda CPU cache och/eller RAM minne.
Det finns inget motsatsförhållande där.
Det behöver inte vara antingen eller.

Det finns inget som säger att ett professionellt grafikkort inte skulle kunna ha exempelvis 128GB DRAM och 4TB SSD.
Eller någon annan mängd.
Men det finns inget som säger att ett grafikkort inte skulle kunna ha både och.

Speciellt med tanke på att det redan har gjorts förr
AMD Radeon Pro SSG

(Tack @Svensktiger för länken)

Kollar man exempelvis TechPowerUp kan man se att

GeForce RTX 4090
L1 Cache 128 KB (per SM)
L2 Cache 72 MB

GeForce RTX 5090
L1 Cache 128 KB (per SM)
L2 Cache 96 MB

Så även dagens grafikkort har cache minnen förutom sitt betydligt större VRAM.
Om dagens grafikkort kan ha minne på olika nivåer,
varför skulle inte framtidens grafikkort också kunna ha minne på mer än 1 nivå ?

Absolut!
Jag tänkte aldrig att den inte skulle ha ram om vi pratar MLC-QLC flashminnen. Men jag hoppas som sagt på att det inte ska behövas då jag inte tror att det blir nog snabbt
Om du tar det extremt vackra 3D Xpoint så är det, och ser ut som, en blandning av DRAM och NAND men har den extremt stora fördelen av att inte tappa informationen vid avstägning som DRAM har. Samma med SLC som också är supersnabbt/låg latens, men mycket dyrare då det är vanligt flashminne men mig veterligen bara 1bits 2D SLC som är det ända flashminnet som har nog låg latency och nog hög TBW för att kunna användas som en snabbare cache på dom flesta SSDer, som den gör idag på tex 990 pro och liknande (tror att man använder på just den), och massa andra märken som inte är Samsung. Åtminstone brukar jag se dom användas på mittensortimentet för då kan man använda hyffsat billig TLC-minnen till majoriteten och sen kanske 1gb SLC(om ens det?), vilket från minnet kostar 1300kr/8gb modul på Samsungs eller Kioxias hemsida.

Min förhoppning är då alltid att någon ska återuppta 3D Xpoint och fullfölja den framtidsplan som fanns, då andra generationens 3D Xpoint skulle ha flera miljoner IOPS, vilket makes sense med tanke på hur många iops 1a har. Och att dom inte använder sig av DRAM utan är nog snabba i sig själv. Skulle någon börja använda en liknande teknologi, eller samma, så ser jag då inga svårigheter i att ha en GPU med 2tb vram som man inte överhuvudtaget behöver oroa sig för livslängden på. Och det skulle vara mycket mycket bättre än att ha dram + minnen sådär.

Men det var intressant info, jag uppskattar ditt meddelande!

Inte så ofta jag får ingående svar så det är kul

Ha det bra!

Btw: Jag är ny på minnen. Det har bara varit ett intresse i månad typ och ram-minnen har varit ett intresse lite längre. Så jag kan ha fel som alla andra!

Visa signatur

i7 12700k oc+delid under utveckling | 32gb G.Skill Trident Z RGB 3600mhz cl15 | RX 7800xt
https://valid.x86.fr/uudh64 (gammal, men trevlig, cpu-z validator)

Permalänk
Medlem
Skrivet av aki04:

4 tb minne ? Kanske framtidens kort kan ändå köra cyperpunk i 60 fps utan alla fusk fps

VRAM är dock inte det stora problemet i det spelet, det är ray-tracing/path-tracing som kräver en hel del med beräkningar som dagens GPU:er inte hinner med. Med tanke på hur långsamt det går för Nvidia att förbättra denna prestanda så lär inte Cyberpunk rulla i 4k 60 på 10-20 år. Man får ca 25 fps med dagens kort för 30 papp. Nu när det inte går att krympa noderna lika snabbt och samtidigt hålla ett rimligt pris, så kommer det under många år vara framegen samt uppskalning som de försöker lura i oss att använda, samt betala för.

Permalänk

Så nu är det ett bra läge att sälja nvidia aktierna och köpa sandisk?

Permalänk

Och det kommer bli svindyrt. Användningsområdet är främst Ai.
Men det känns som det inte så många arbetare som kommer lägga kanske 200 000kr privata pengar på en Ai dator som de nästan enbart kommer använda i jobbet. Även om vi halverar priset är det ändå för dyrt.
Men om utvecklingen fortgår i snabb takt, så kanske vi kommer till ett skede där folk ser att pengarna motiverar mindre arbetsbelastning som Ai kan ge dem för att lösa deras uppgifter.

Med det sagt så mer minne på grafikkort är positivt för alla, men just nu är det i princip enbart företag som skulle köpa dessa grafikkort. Där vi konsumenter kan köpa tjänster från företag som med mer grafik inne blir billigare för dem att driva.

Permalänk
Medlem
Skrivet av aki04:

4 tb minne ? Kanske framtidens kort kan ändå köra cyperpunk i 60 fps utan alla fusk fps

Det enda som sparas är ju bandbredd+latens att kopiera spelets texturer och annat över PCIe-kontakten. Där är det inte någon brist på kapacitet idag. Det skiljer bara några procent mellan PCIe3 och PCIe4/5 i de allra flesta spel

Så jag tror inte det kommer hjälpa prestandan märkbart, men möjligen laddningstider (som inte är ett problem ens på SATA-SSD)