Nu finns Geekbench AI – mäter datorns AI-prestanda

2024-08-16 14:00

Permalänk

Nyhet

Melding Plague

Registrerad: Dec 1999

●

Nu finns Geekbench AI – mäter datorns AI-prestanda

Primate Labs hoppar på AI-tåget med nytt verktyg.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Rapportera Redigera

Citera flera Citera

2024-08-16 14:17

Permalänk

Bael

Medlem ★

Plats: Lund
Registrerad: Jul 2001

●

Framework ONNX
Backend DirectML
Device AMD Radeon RX 7700 XT

22676 Single Precision Score
25339 Half Precision Score
16745 Quantized Score

https://browser.geekbench.com/ai/v1/11658

Senast redigerat 2024-08-16 14:22

Visa signatur

Rapportera Redigera

Citera flera Citera

2024-08-16 14:29

Permalänk

alex_farnstrom

Medlem

Plats: Karlstad
Registrerad: Jan 2007

●

Ryzen 5900X (PBO undervolt), RTX 3080 (undervolt) (kör både processor och grafikkort med lätt undervolt för temps, så kommer ha lite lägre score än icke undervolt)

20805 Single Precision Score
31774 Half Precision Score
12451 Quantized Score

https://browser.geekbench.com/ai/v1/11749

Utan undervolt på GPU.

21303 Single Precision Score
32555 Half Precision Score
12938 Quantized Score

https://browser.geekbench.com/ai/v1/11784

Visa signatur

Rapportera Redigera

Citera flera Citera (1)

2024-08-16 14:44

Permalänk

Sidde

Medlem ★

Plats: Sundsvall
Registrerad: Feb 2002

●

Mac Studio M1 Max

GPU:

9452 Single Precision Score
9518 Half Precision Score
8677 Quantized Score

NPU:

1988 Single Precision Score
12613 Half Precision Score
12990 Quantized Score

Edit: Testade även min Macbook Air M3 för att se hur NPUn står sig på den.

2427 Single Precision Score
13868 Half Precision Score
14758 Quantized Score

M1 Max trots sin ålder har ju 4x högre minnesbandbredd än M3 (icke Pro, Max, Ultra) så när man leker med LLM etc. är det ju minnesbandbredden som är bottleneck. Vet därför inte riktigt hur man ska se dessa siffror fungerar i real world-scenarion. Är det bara väldigt små modeller som benchmarken är representativ i?

Senast redigerat 2024-08-16 15:04

Rapportera Redigera

Citera flera Citera

2024-08-16 14:48

Permalänk

Zcenicx

Antielefant ★

Plats: Gnällbältets huvudstad
Registrerad: Maj 2003

●

Skrivet av alex_farnstrom:

Utan undervolt på GPU.

21303 Single Precision Score
32555 Half Precision Score
12938 Quantized Score

https://browser.geekbench.com/ai/v1/11784

Gå till inlägget

Verkligen saftig skillnad på 3080 och 4080...

32146 Single Precision Score
46935 Half Precision Score
24723 Quantized Score

https://browser.geekbench.com/ai/v1/12015

Visa signatur

i7-12700KF | 128 GB DDR4-4000 | RTX 4080 | Samsung 990 Pro | 3xAcer XB270HU G-Sync

Rapportera Redigera

Citera flera Citera

2024-08-16 14:52

Permalänk

Tenerezza

Medlem ★

Plats: Västra Götaland
Registrerad: Jul 2004

●

ONNX - NVIDIA GeForce RTX 3070

19025 Single Precision Score
31091 Half Precision Score
11995 Quantized Score

https://browser.geekbench.com/ai/v1/11989

ONNX - AMD Ryzen 7 7800X3D

3502 Single Precision Score
845 Half Precision Score
5020 Quantized Score

https://browser.geekbench.com/ai/v1/11957

Visa signatur

Speldator: Ryzen 7800X3D, 64GB DDR5, RTX 5090
Server: i7-8700k, 32GB DDR4, RTX2080
Steam deck, Rog Ally + de fiesta konsoler.

Rapportera Redigera

Citera flera Citera

2024-08-16 14:59

Permalänk

Exydia

Medlem ★

Registrerad: Maj 2010

●

Visa signatur

5800X3D @Kombo Strike 3 / 32GB DR RAM @3.8GHz,CL16 / 5080 FE @3.1GHz,36Gbps VRAM,975mV

Rapportera Redigera

Citera flera Citera (2)

2024-08-16 15:05

Permalänk

Fenrisulvfan

Medlem ★

Plats: Växjö
Registrerad: Aug 2009

●

https://browser.geekbench.com/ai/v1/12125

Single Precision Score: 2217
Half Precision Score: 655
Quantized Score: 2731

Edit: A750 Åpen ML
https://browser.geekbench.com/ai/v1/12225
Single Precision Score: 10627
Half Precision Score: 9227
Quantized Score: 8148

Senast redigerat 2024-08-16 15:13

Visa signatur

Rapportera Redigera

Citera flera Citera

2024-08-16 15:33

Permalänk

medbor

Medlem ★

Like-magnet

Registrerad: Okt 2011

●

Iphone 15 Pro (CPU)

Geekbench AI Score
3659 Single Precision Score
5405 Half Precision Score
4491 Quantized Score

Ganska jämförbart med 7800X3D här ovan

Senast redigerat 2024-08-16 15:44

Rapportera Redigera

Citera flera Citera

2024-08-16 15:36

Permalänk

Sidde

Medlem ★

Plats: Sundsvall
Registrerad: Feb 2002

●

Intressant iakttagelse att grafikkorten har lägre score när det är quantized.
Det straffar sig väl i real world användning på GPUerna när inference oftast är quantized för att få plats i minnet?

Känns som det kommer ske mycket optimering på dessa grejer.
Precis som Apple bytt från FP16 (Half Precision) till INT8 med M4.

Rapportera Redigera

Citera flera Citera

2024-08-16 15:37

Permalänk

Sidde

Medlem ★

Plats: Sundsvall
Registrerad: Feb 2002

●

Skrivet av medbor:

Iphone 15 Pro

Geekbench AI Score
3659 Single Precision Score
5405 Half Precision Score
4491 Quantized Score

Ganska jämförbart med 7800X3D här ovan

Gå till inlägget

Var det där CPU, GPU eller NPU? Eller kanske det inte går att välja på telefonen?
Vore kul att veta NPU-score på telefonen iaf, speciellt Quantized.

Rapportera Redigera

Citera flera Citera

2024-08-16 15:41

Permalänk

Tauri85

Medlem ★

Plats: göteborg
Registrerad: Apr 2022

●

Våga vägra Skynet i datorn!

Rapportera Redigera

Citera flera Citera (9)

2024-08-16 15:44

Permalänk

medbor

Medlem ★

Like-magnet

Registrerad: Okt 2011

●

Skrivet av Sidde:

Var det där CPU, GPU eller NPU? Eller kanske det inte går att välja på telefonen?
Vore kul att veta NPU-score på telefonen iaf, speciellt Quantized.

Gå till inlägget

Jag missade valet, det där var CPU, ska köra de andra nu

Rapportera Redigera

Citera flera Citera

2024-08-16 15:47

Permalänk

lambdan

Medlem ★

Plats: Boden
Registrerad: Apr 2009

●

Macbook Pro 16" med Apple M3 Max

CPU: 3881 | 5431 | 4457
GPU: 13773 | 14018 | 13461
Neural Engine: 2417 | 16278 | 16920

(Gjorde annat på datorn samtidigt så säkert inte super accurate)

Visa signatur

Desktop/Spel 9800X3D, RTX 5090 FE, Asrock A620I, 32 GB RAM, SG GGX 1.2, SF1000, Win 10 IoT LTSC
Laptop/Jobb MacBook Pro 16", M3 Max (16C CPU, 40C GPU), 48 GB RAM
Skärm PG32UCDP OLED Mus Superlight Tangentbord Keychron V4 60% (Kailh Box Whites)

Rapportera Redigera

Citera flera Citera

2024-08-16 15:47

Permalänk

medbor

Medlem ★

Like-magnet

Registrerad: Okt 2011

●

Iphone 15 Pro (GPU)

Geekbench AI Score
4153 Single Precision Score
4715 Half Precision Score
4295 Quantized Score

Rapportera Redigera

Citera flera Citera

2024-08-16 16:04

Permalänk

medbor

Medlem ★

Like-magnet

Registrerad: Okt 2011

●

Iphone 15 Pro (NPU)

Geekbench AI Score
2266 Single Precision Score
13492 Half Precision Score
15545 Quantized Score

Jag startade om flera gånger för jag trodde den kraschat eller något. Gissar att slutet på singlepoint var segt, för mätaren stod stilla mellan minut 1-7 på ca 1/3, och testet tog ca 9 minuter att köra jämfört med de andras 1-2 minuter

@Sidde

Imponerande att den slår ett 3070/3080 utan bekymmer

Rapportera Redigera

Citera flera Citera

2024-08-16 16:07

Permalänk

Sidde

Medlem ★

Plats: Sundsvall
Registrerad: Feb 2002

●

Skrivet av medbor:

Iphone 15 Pro (NPU)

Geekbench AI Score
2266 Single Precision Score
13492 Half Precision Score
15545 Quantized Score

Jag startade om flera gånger för jag trodde den kraschat eller något. Gissar att slutet på singlepoint var segt, för mätaren stod stilla mellan minut 1-7 på ca 1/3, och testet tog ca 9 minuter att köra jämfört med de andras 1-2 minuter

@Sidde

Imponerande att den slår en 3070 utan bekymmer

Gå till inlägget

Det var precis det där jag hade magkänsla av. Därför jag bad om den
Väldigt intressant prestanda från en mobil.

(Och NPU-testet tog en jäkla tid på mina macar också)

Rapportera Redigera

Citera flera Citera

2024-08-16 16:09

Permalänk

evil penguin

Medlem ★

Registrerad: Apr 2002

●

ONNX CPU AMD Ryzen 7 5800X3D:

4019 Single Precision Score
910 Half Precision Score
3774 Quantized Score

ONNX DirectML AMD Radeon RX 7900 XTX:

33445 Single Precision Score
36655 Half Precision Score
26564 Quantized Score

ONNX CPU AMD Ryzen 9 7945HX:

4023 Single Precision Score
973 Half Precision Score
5920 Quantized Score

ONNX DirectML NVIDIA GeForce RTX 4070 Ti SUPER:

29119 Single Precision Score
43388 Half Precision Score
22099 Quantized Score

Core ML CPU Apple M1 (Macbook Air 2020):

2826 Single Precision Score
4297 Half Precision Score
3538 Quantized Score

Core ML GPU Apple M1:

4049 Single Precision Score
4626 Half Precision Score
4152 Quantized Score

Core ML Neural Engine Apple M1:

1766 Single Precision Score
12452 Half Precision Score
12647 Quantized Score

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Rapportera Redigera

Citera flera Citera (2)

2024-08-16 16:10

Permalänk

evil penguin

Medlem ★

Registrerad: Apr 2002

●

Skrivet av Megacrash:

2639 Single-Core Score
14146 Multi-Core Score
247212 OpenCL Score

https://browser.geekbench.com/v6/cpu/7360414
https://browser.geekbench.com/v6/compute/2613337

Vad är "Quantized Score", inget jag får upp

Gå till inlägget

Tror du kört vanliga Geekbench? Inte Geekbench AI som artikeln handlar om?

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Rapportera Redigera

Citera flera Citera

2024-08-16 16:11

Permalänk

Megacrash

Medlem ★

Plats: Nangijala
Registrerad: Okt 2009

●

Skrivet av evil penguin:

Tror du kört vanliga Geekbench? Inte Geekbench AI som artikeln handlar om?

Gå till inlägget

Ah, klicka bara vidare på någe länk o fick ner Geekbech 6 ser jag nu, gör om gör rätt thx

Rapportera Redigera

Citera flera Citera

2024-08-16 16:49

Permalänk

herbamare

Medlem ★

Plats: Sthlm,Högdalen
Registrerad: Feb 2002

●

https://browser.geekbench.com/ai/v1/13258

Visa signatur

🗄️ Corsair Carbide 100R Chassi] 🔲AMD® RYZEN™ 9 5950X] 🏬MSI X570 MAG TOMAHAWK WIFI] ❄️Arctic Cooling Liquid Freezer II 240] 🎞️Kingston Fury 128GB (4x32GB) DDR4 3600MHz/CL18.22.22 @CL 16.19.19 Beast] 🏴Powercolor Radeon RX 6950XT 16GB Red Devil] [💾WD Black SN850 NVMe SSD 2TB] [2x WD BLACK SN850X NVMe SSD 8Tb] [Samsung SSD 870 QVO 4Tb] [Crucial BX500 SATA SSD 4TB] [38TB NAS 7200rpm Lagringsdiskar] [🖥️ASUS VP28U 4K 28" Skärm] [🔌Comhem 1000/1000Mbit fiber]

Rapportera Redigera

Citera flera Citera

2024-08-16 17:08

Permalänk

Robins

Medlem ★

Plats: Åland
Registrerad: Maj 2009

●

RTX 4090

36658: Single Precision Score
49675: Half Precision Score
27993: Quantized Score

Visa signatur

Rapportera Redigera

Citera flera Citera

2024-08-16 17:40

Permalänk

maxis

Medlem

Registrerad: Feb 2006

●

Lågt Värde är bättre ??

Ingen Skynet i denna dator iallafall.

ONNX

Ryzen 3900

2034 Single Precision Score
521 Half Precision Score
2117 Quantized Score

Rx580

7411 Single Precision Score
7798 Half Precision Score
5162 Quantized Score

Edit lagt till GPU

Senast redigerat 2024-08-16 18:33 Lagt till GPU

Visa signatur

Har du Windows 8 och 8.1 så klicka på denna länk
http://nooooooooooooooo.com/

Rapportera Redigera

Citera flera Citera

2024-08-16 17:41

Permalänk

evil penguin

Medlem ★

Registrerad: Apr 2002

●

Skrivet av maxis:

Lågt Värde är bättre ??

Ingen Skynet i denna dator iallafall.

Ryzen 3900 , Rx580

2034 Single Precision Score
521 Half Precision Score
2117 Quantized Score

Gå till inlägget

Antar att det där var för CPU? Komplettera gärna med GPU också, alltid kul att se hur stor skillnad det är mellan olika generationer.

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Rapportera Redigera

Citera flera Citera

2024-08-16 17:55

Permalänk

ackwell

Medlem ★