Forum Övrigt Nyhetskommentarer Tråd Inlägg

Apple 1-replik kör Chat GPT

1 2
Skriv svar
Permalänk
Medlem ★
●
Skrivet av Thomas:

Att den inte klarar av att köra ChatGPT lokalt är väl väldigt tydligt? Det står en hel paragraf om internetåtkomst, ifttt och en ChatGPT-klient.

Gå till inlägget

Anledningen att det kommenteras är väl just att man ändå valt att påstå att den "kör ChatGPT". När det den egentligen gör är att agera något slags nätverksterminal.

Skrivet av Thomas:

Men att köra det på en dator är ju galet. Hur mycket VRAM skulle krävas, har någon koll? Hittar siffror på 1.8 biljoner parametrar, fast det verkar gå att dela upp i 16 delar (MoE).
Hur som helst lär det handla om iaf 128-256 GB VRAM nånstans?

Kanske inte omöjligt på Apple silicon med maxat RAM iofs?

Gå till inlägget

Jag vet inte vad jag ska läsa in i "att köra det på en dator är ju galet". Några olika konkurrerande reaktioner:

  • Just att köra det på en dator är väl enda användningsområdet?

  • Just att köra det så att varje fråga körs på just 1 dator är nog det klart enklaste för att inte få galna problem med latens?

  • Nja, det är väl GPGPU-last i första hand, förstås. Så om man gör skillnad på GPGPU och "på datorn" så kanske det kan vara olika

Helt tydligt är ju iaf att OpenAI/Azure kan köra de här modellerna på sina datorer utan direkta problem annat än att det lär vara svindyrt.

Det är väl förmodligen några hundra GB för de stora modellerna (ungefär i linje med de största öppna modellerna), men det går ju lätt att lasta i om man trycker en server full av Nvidia-kort med ~100GB VRAM var.

Förmodligen går det (men långsammare) i teorin att köra på t.ex. en Mac Studio med 512 GM RAM, eller kanske för den delen AMD Strix Halo om man kan få den med tillräckligt mycket minne, eller rätt säkert på Nvidia DGX om man får tag i den med tillräckligt mycket minne.

De små varianterna av modellerna lär ju vara betydligt lättare att hitta hårdvara till... i teorin. Själva modellerna fins ju inte att tillgå.

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av JeanC:

Måste vara jobbigt om detta är ens lördagsproblem att hänga upp sig på.

Gå till inlägget

Ja det finns ju inte så mycket mer att göra än det på en lördag

Visa signatur

CPU:5800X
GPU: 3080OC
#Folding #Sweclockers #AnvänderMinGPU
https://www.sweclockers.com/forum/trad/1348460-faq-kom-igang-...
https://folding.extremeoverclocking.com/team_summary.php?s=&t...

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●
Skrivet av evil penguin:

Just att köra det på en dator är väl enda användningsområdet?
Just att köra det så att varje fråga körs på just 1 dator är nog det klart enklaste för att inte få galna problem med latens?

Gå till inlägget

Ja, jo... jag tänkte en vanlig, liten stationär dator (exkl sådana gjorda för liknande grejer som NVIDIA DGX). Fast jag är inte insatt nog att veta om de kör de största modeller på en server eller flera, men en med ett flertal GPU:er låter ju mest troligt.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av RHWarrior:

Den... interfacer som superenkel terminal mot något som pratar med ChatGPT...
Som synes klarar Apple 1 mest av textinmatning och textutmatning, 40x25 tecken.

Ungefär som att Pixar gjorde Toy Story genom att skicka ett renderingsjobb från en dator till 600 andra som gjorde själva arbetet.

Gå till inlägget

Jo, Woz hade redan byggt en (text)terminal innan 6502 blev överkomlig i pris. Han ville ha en billig textterminal att koppla upp sig med modem emot stor/mini-datorer med en billig TV eller monokrom videomonitor (ofta gjorda för videoövervakning för vakter) som skärm. Sedan när 6502 kom så kombinerade han denna redan konstruerade terminalen med lite RAM, ROM och interfacekretsar på en annan del, och satte bägge dessa ganska så separata delarna/funktionerna på samma kretskort. Detta blev Apple I.

Det var först med Apple II som det blev en "vettig" och riktigt integrerad hem/mikro-dator, med möjlighet till grafik, etc.

Visa signatur

macOS: Mac mini [M4 Pro 14-core/24GB/1TB/10GbE], MacBook Air 13" [M1/16GB/256GB], MacBook Pro 16" [M2/32GB/512GB]
Windows: Microsoft Surface Pro 11 [Snapdragon X Elite/16GB/1TB/OLED], Microsoft Surface Laptop 7 13" [Snapdragon X Plus/16GB/512GB], HP Omnibook X 14" [Snapdragon X Elite/16GB/1TB], HP OmniBook Ultra 14" [Ryzen AI 9 HX 375/32GB/1TB]
iOS: iPad Mini [128GB/LTE], iPad Pro 12,9" [M1/512GB/LTE], iPhone SE3 [128GB], Apple Watch Series 10 46mm [LTE]
HT: LG 77" OLED C2 [OLED77C25LB], Intel NUC [Core i5/8GB/256GB]

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Sunix:

Det är skillnad på replik och replika. Eller har jag fel? Rätta mig gärna

Gå till inlägget

Artikeln kanske är skriven av ChatGPT?

Visa signatur

Asus Strix ROG X570-F, Ryzen 9 5900X, 32GB DDR4 3600MHz, Asus RTX 4070 Ti Super TUF Gaming, 1TB Samsung 980 Pro, 1TB Samsung 970 Evo Plus, Alienware AW3423DWF OLED 3440x1440 165Hz.

Redigera
Citera flera Citera
1 2
Skriv svar