Chat GPT kan kosta 2,5 miljoner kronor om året

Permalänk
Medlem

Dyrare abonnemang än Netflix Premium.

Permalänk
Medlem
Skrivet av Sidde:

Plötsligt billigt med en helt maxad Mac Studio Ultra och köra även stora modeller lokalt

Vad har världen blivit av? När man föreslår en MAC för att köra tung mjukvara som kräver massa GPU-kraft? Vore nog mer lämpligt med en HP Proliant-server eller något liknande.

Permalänk
Medlem
Skrivet av iRonNuke:

Vad har världen blivit av? När man föreslår en MAC för att köra tung mjukvara som kräver massa GPU-kraft? Vore nog mer lämpligt med en HP Proliant-server eller något liknande.

För att x86 är så långt efter att det är svårt att beskriva är väl det som skett i performance per watt.
Och att x86-världen erbjuder få lösningar med LDDR5 för minnesbandbredden så inte ens Dual Socket Epyc eller Dual Socket Xeon-grejer kommer upp i dessa minneshastigheter.

Det mer bisarra är att ska man köra stora lokala LLMer är Apple till och med mest prisvärda dessutom.
Så ja, vad har hänt. Hur kommer det sig att Apple är plötsligt mest prisvärd?
Och varför släpper inte Nvidia och AMD eller Intel något som ens är i samma prisklass...
Och varför är inte Intel öht med i samtalet? Ingen förknippar nog Intel med machine learning öht, eller ordet effektivt eller prisvärt eller något.

Det enda Intel har med AI att göra är nog att det drar massa ström.

Edit:
Visst går det att stoppa in stora fina Tensor-kort från Nvidia i HP-servrar.
Men det är varken energieffektivt eller särskilt billigt som Apples grejer som kan gå tyst på skrivbordet och leverera den stora DeepSeek R1

Permalänk
Medlem
Skrivet av SuperSverker:

Sverige har vad jag vet noll (0) företag som utvecklar större framgångsrika modeller.

Verkar varit en kass källa för utsläppet, IEA anger medel till 475g /kWh.

Så runt 3 miljoner människors hela livstid per år

Nu hänger jag inte med riktigt, trodde vi pratade om att köra modellerna, inte utveckla dem? Sverige är ju en god kandidat för datacenter för ai-modeller.

Visa signatur

citera!

Permalänk
Skrivet av Aka_The_Barf:

När de börjar ta samma betalning som för en arbetare så kommer AI kunna matcha det såklart annars skulle ingen använda dom?

Att ett företag påstår sig ha satt en prislapp på 200k per månad är inte samma sak som att det finns nöjda köpare som återkommande betalar det. När så är fallet så har din logik viss tyngd, ja.
AI hittills har varis så grovt överhypeat att en betydande negativkorrektion är oundviklig, betydande framsteg till trots. På betydligt längre sikt kommer AI tekniken antingen vara en av de definerande teknikerna i vår civilisation, eller förinta den mänskliga civilisationen, är min gissning.

Permalänk

Angående AI överhopat. Så tycker jag mer datanördar kommer med exakt samma argument som de hade emot internet, mobilsurf, smartphones, platta skärmar osv att dessa var överhypade och inte var så bra.

Viss utveckling går snabbt framåt men det går inte supersnabbt framåt. Första mobiltelefonerna man kunde surfa på kom slutet på 90talet och det dröjde några år in på 2010 talet innan den stora skaran såg att de ville ha en smartphone.

Det positiva tycker jag att vissa saker som Chatbots är lätt att förespå att det kommer ske, men inte exakt när det sker. Man kan redan nu planera för det. Och att ha en brasklapp undangömd med texten ”jag såg det inte komma” är dålig förberedelse.

Jag själv sparar/förlorar inte ett skit på dagens LLM och det är ett positivt läge då det kanske snart blir så man kan spara lite tid.

Permalänk
Medlem
Skrivet av Dosshell:

Nu hänger jag inte med riktigt, trodde vi pratade om att köra modellerna, inte utveckla dem? Sverige är ju en god kandidat för datacenter för ai-modeller.

Men sluta, att köra en modell av mindre storlek löser du på en RPI idag, det klart det är träning av modellerna som är pudels kärna

Visa signatur

Krusidullen är stulen

Permalänk
Medlem
Skrivet av SuperSverker:

Men sluta, att köra en modell av mindre storlek löser du på en RPI idag, det klart det är träning av modellerna som är pudels kärna

Kan man inte göra det på datacenter i sverige?

Permalänk
Medlem

Ja många företag inriktade just på AI blöder ju massa pengar. Kan ju mycket väl vara så att det blir något av eller så avtar hypen ett tag tills tekniken blir bättre. Lite som VR. Välkomnar förändringarna men just nu så använder jag bara LLMs till att formulera emails i princip. Sedan som en sökmotor. Ej för kod eller annat.

Var som någon sade: AI behöver bli ca 1000 ggr bättre till 1000 ggr billigare pris för att göra det värt.

Då vi redan tränat AI på all möjlig information och nu försöker man förhindra att den matar sig själv eller försöker specialisera datan. Vi behöver nog något annat än LLM och det kan vara väldigt långt borta.
LLM som vi känner till dem idag med Transformers är ju ändå ca 8 år gammalt.

Permalänk
Medlem
Skrivet av SuperSverker:

Men sluta, att köra en modell av mindre storlek löser du på en RPI idag, det klart det är träning av modellerna som är pudels kärna

Okej, då missförstod jag. Trodde "driva" som i att köra. Så då är det den siffran + att köra?
Men kan man inte träna dem i datacenter i Sverige? Man måste ju inte träna dem där företaget är lokaliserat tänker jag?

Visa signatur

citera!

Permalänk
Medlem
Skrivet av Dosshell:

Okej, då missförstod jag. Trodde "driva" som i att köra. Så då är det den siffran + att köra?
Men kan man inte träna dem i datacenter i Sverige? Man måste ju inte träna dem där företaget är lokaliserat tänker jag?

Vi pratar om 2,5% av Sveriges totala årliga förbrukning enbart för att träna modeller för de stora bolagen.

Det klart du kan göra det, men det är nog ganska naivt att tro att klimatpåverkan / co2 utsläpp är ens i närheten av en prioritet när man försöker hinna först med nästa stora modell

Det var längesedan Sverige var i framkant i digitaliseringen, den hatten tog man av och dödade för länge sedan…
Närmast är väl Mistral som rullar i Frankrike, och den energimixen är ju klart bättre än både USA och Kina men det är ändå ohyggligt dyrt oavsett vilken parameter man räknar på

Edit*
Kan ju tillägga att det redan ligger i pipen att SSAB ska ha 10% av vår totala kapacitet för att göra fossilfritt stål, och det finns bara så mycket att ta av nu när man kapat benen av basplattan och förlitar sig lite för mycket på vind och sol…

Visa signatur

Krusidullen är stulen

Permalänk
Medlem

AI är i dagens läge mest en bluff som är enormt upphypad av kommersiella intressen. En generell AI som är mer än en LLC ligger decennier bort. Det är enormt mycket marknadsföring och skitsnack från främst amerikanska företag, eftersom Kina håller på att ta över med sin mycket större befolkning och bättre utbildning.

Visa signatur

PC: Ryzen 7 5800X | ASUS ROG Strix B550-F Gaming Wi-Fi | 32GB DDR4 | Sapphire NITRO+ RX 6900 XT SE | 27" LG UltraGear 27GL83A-B | openSUSE Tumbleweed / Win 10 Pro
Laptop: Lenovo Legion Y520 | Core i5-7300HQ | 16GB DDR4 | Geforce GTX 1060 Max Q | Fedora Linux

Permalänk
Medlem
Skrivet av Olof_von_Knorring:

Att ett företag påstår sig ha satt en prislapp på 200k per månad är inte samma sak som att det finns nöjda köpare som återkommande betalar det. När så är fallet så har din logik viss tyngd, ja.
AI hittills har varis så grovt överhypeat att en betydande negativkorrektion är oundviklig, betydande framsteg till trots. På betydligt längre sikt kommer AI tekniken antingen vara en av de definerande teknikerna i vår civilisation, eller förinta den mänskliga civilisationen, är min gissning.

Man kan ju se det som att AI kanske är våran naturliga ersättare? Eller att vi blir ett med den som startreks vger eller Total annihilation där det bråkas om att föra över sitt medvetande till en maskin mot sin vilja eller välja själv.

Men det är nog ganska långt dit.

Visa signatur

Ryzen 9800X3D @ Stock, MSI Suprim X 3080 @ game mode.
YT kanal där jag meckar bilar: https://www.youtube.com/@saab900turboT16

Permalänk
Medlem

Och folk klagade på Netflixs priser.

Visa signatur

Core i9 12900K | RTX 3090 FE | Odyssey G80SD |

Permalänk
Medlem

Det låter sjukt mycket vid första anblick men om man tänker sig att det är vad 1-2 anställda kostar per år beroende på utbildning osv. Då är det nog inte så långsökt för ett normalstort företag att lägga ut de summorna för att få en "anställd" som har tid att hjälpa massor av folk samtidigt, dygnet runt och som kan lösa komplexa problem otroligt snabbt.

Permalänk
Medlem

Problemet med AI (idag) är ju att det bygger på generativa processer som återanvänder och kombinerar summan av all kunskap vi har (på internet). Så javisst, du kan skapa AI-agenter som bygger saker åt dig, t.ex mjukvara. Men det som "AI" saknar är den mänskliga intuitionen, uppfinnaren och innovatören. De som bryter ny mark och tänker utanför boxen. Så om allt för mycket läggs på att bara använda generativ AI så avstannar ju allt det som utmärker människan och gör oss unika i vår värld på jorden.

Riktig AI däremot, som verkligen kan tänka självständigt och i förlängningen skapa nya förbättrade versioner av sig själv. Ja då har vi en verklig AI, men i samma stund som den får fria tyglar så har vi också skrivit under vår egen dödsdom för de kommer blixtsnabbt att överträffa vår egen intelligens. Lyckligtvis är vi inte där ännu, men frågan är hur lång tid det tar innan verklig AI finns. Min gissning är att det kommer gå fortare än vi kan ana - förmodligen hjälpt av generativ AI för de första stegen.

Så, visst kan man ha hjälp av den AI som finns att köpa idag, men innovation? Nja. Det blir ju en rehash av allt som redan fanns.

Permalänk
Medlem
Skrivet av Mörksuggan:

Jodå. Ersätter billig arbetskraft med dyr AI, många ekonomers våra dröm.

Haha ja precis. Många fattar inte att det är löner företagen vill få ner/bort av någon anledning. På mitt jobb omsätter vi sjukt mycket pengar till utrustning (Jobbar inom tung industri) och löner är en ganska liten del av de totala utgifter per år men ändå ska det sparkas folk för att sätta in robotar för tiotals miljoner som inte hinner tjäna in pengarna dom kostade innan det är dags att slänga in en ny dyrare robot.

Permalänk
Geeks
SweClockers
Skrivet av Moton:

Haha ja precis. Många fattar inte att det är löner företagen vill få ner/bort av någon anledning. På mitt jobb omsätter vi sjukt mycket pengar till utrustning (Jobbar inom tung industri) och löner är en ganska liten del av de totala utgifter per år men ändå ska det sparkas folk för att sätta in robotar för tiotals miljoner som inte hinner tjäna in pengarna dom kostade innan det är dags att slänga in en ny dyrare robot.

Den direkta lönekostnaden är bara en del av vad det kostar att ha personal. Utöver det behövs chefer, HR, administratörer och liknande (overhead). Sen tillkommer saker som utbildningar, företagshälsovård, försäkringar, arbetsmiljöinsatser och annat. Dessutom kan robotar jobba dygnet runt, tar inga raster och latar sig inte igenom arbetsdagen.

Visa signatur

» Kontakta oss » SweClockers på Facebook » SweClockers på Youtube » Blips of SweClockers (Spotify) » Pappa till Moderskeppet 1–3 » SweClockers chefredaktör 2007–2015 (Team Jonas, Emil, Jacob och Ytterberg)

Permalänk
Skrivet av Ortovox:

och som kan lösa komplexa problem otroligt snabbt.

Det där ser jag som "mångmiljonfrågan" i det stora hela.

Kommer den verkligen att kunna lösa majoriteten av komplexa problem tillräckligt snabbt efter tillräckligt många försök/iterationer eller kommer den att i vissa fall gå in i den virtuella väggen pga. brist på träningsdata och/eller tillräckligt stort kontextfönster? Och vad ska företaget göra då? Det är ju inte så att de bara kan "fylla på med träningsdata" eller utöka kontextfönstret efter det nått sitt "tak".

Tänk om det fanns någon slags entitet som hade de extraordinära dataegenskaperna att kunna fyllas med mer träningsdata och utöka sitt kontextfönster vid behov?🤔

Mvh,
WKF.

Visa signatur

"Den säkraste koden är den som aldrig skrivs"
"Visste du förresten att det är ett mångmiljardbolag?"
"Jag lever inte för att koda utan kodar för att sen kunna leva"

Permalänk
Skrivet av Dimestam:

Den direkta lönekostnaden är bara en del av vad det kostar att ha personal. Utöver det behövs chefer, HR, administratörer och liknande (overhead). Sen tillkommer saker som utbildningar, företagshälsovård, försäkringar, arbetsmiljöinsatser och annat. Dessutom kan robotar jobba dygnet runt, tar inga raster och latar sig inte igenom arbetsdagen.

Skulle tro att mellanchefer och HR är exempel på roller som hänger lösast när AI blir ett snäpp bättre.

Permalänk
Medlem

Ingen som ser likheten med It-bubblan för decennnier sedan? Hype, hype, hype och sedan krashen när verkligheten hinner ifatt på grund av orealistiska förväntningar.

Permalänk
Quizmaster Malmö 22

Jag kör DeepSeek istllet.

Visa signatur

[Gigabyte EP35-DS4][Intel Core 2 Duo E8400 3.0 Ghz][2x2GB Corsair XMS 2][Gainward GTX 570][Sandisk Extreme II 480GB][Corsair HX 620W][Fractal Design Define XL R4][Acer GD245HQBID]

Permalänk
Medlem
Skrivet av Aka_The_Barf:

En ai kan göra saker på sekunder som forskaren tar år på sig att göra.
Forskarens miljöförstöring är mångfalt större än AIns då den har behov såsom mat, nöjen, bilar, flyg, semester mm. AIn saknar dessa bekymmer och arbetsgivaren tycker nog att 200 tusen är billigt då denna slipper lokaler med tillräcklig ventilation, komfort kyla/värme. Inredning och sådant som vi människor kräver.
Följa arbetsmiljökrav, lagar regler jämstäldhet löne samtal konflikter ja allt detta slipper man ta hänsyn till med en AI. Arbetsförmåner, tjänstebil mm slipper man också tänka på.

Så AIn behöver bli väldigt dyr innan den kan ersättas av en forskare.

Ändå så kommer den forskaren som ersatts med AI att behöva mat, nöjen, bil, semester, boende m.m. Varvid den delen av miljöförstörelse finns oavsett.

När AI'n tar över forskarens jobb, då bidrar den själv med miljöförstörelse via byggnation och drift, det kommer då att läggas ovanpå redan existerande miljöförstörelse.

Visst arbetsmiljökrav, lagar, regler, förmåner slipper den som nyttjat AI, samtidigt så behövs det fortfarande någon som sköter driften av serverparken där AI'n skapas/har sin boning.
Kontot för arbetsmiljökrav, lagar m.m. kommer enbart att flyttas, som alltid.

Där är alltid någon någonstans på jorden som får ta smällen, för att någon annan vill ha det gott med fin miljö och slippa bekymmer.
Man slänger helt enkelt skiten hos grannen...

Visa signatur

Engineer who prefer thinking out of the box and isn't fishing likes, fishing likes is like fishing proudness for those without ;-)
If U don't like it, bite the dust :D
--
I can Explain it to you, but I can't Understand it for you!

Permalänk
Medlem
Skrivet av Bengt-Arne:

Ändå så kommer den forskaren som ersatts med AI att behöva mat, nöjen, bil, semester, boende m.m. Varvid den delen av miljöförstörelse finns oavsett.

När AI'n tar över forskarens jobb, då bidrar den själv med miljöförstörelse via byggnation och drift, det kommer då att läggas ovanpå redan existerande miljöförstörelse.

Visst arbetsmiljökrav, lagar, regler, förmåner slipper den som nyttjat AI, samtidigt så behövs det fortfarande någon som sköter driften av serverparken där AI'n skapas/har sin boning.
Kontot för arbetsmiljökrav, lagar m.m. kommer enbart att flyttas, som alltid.

Där är alltid någon någonstans på jorden som får ta smällen, för att någon annan vill ha det gott med fin miljö och slippa bekymmer.
Man slänger helt enkelt skiten hos grannen...

Ai kommer se detta och skicka oss till månen...utan rymddräkter 😉

Visa signatur

Ryzen 9800X3D @ Stock, MSI Suprim X 3080 @ game mode.
YT kanal där jag meckar bilar: https://www.youtube.com/@saab900turboT16

Permalänk
Medlem
Skrivet av Aka_The_Barf:

Ai kommer se detta och skicka oss till månen...utan rymddräkter 😉

Vad positiva tankar man får
Antagligen sker det Inte förrän man ändå har återgått till stoft.

Lite Skynet vibbar...

Visa signatur

Engineer who prefer thinking out of the box and isn't fishing likes, fishing likes is like fishing proudness for those without ;-)
If U don't like it, bite the dust :D
--
I can Explain it to you, but I can't Understand it for you!

Permalänk
Medlem
Skrivet av Campaigner:

Jag kör DeepSeek istllet.

Kom hit för att säga detsamma. Hoppas att de (och andra Open source-modeller) fortsätter att hålla jämna steg med OpenAI och gänget.

Visa signatur

Modermodem från ONOFF och bildskärmsutrustning från Electrolux. US Robotics 28.8K telefonuppringd internetförbindelse. Har en förkärlek för tysk tjejpop.

Permalänk
Medlem
Skrivet av Bengt-Arne:

Vad positiva tankar man får
Antagligen sker det Inte förrän man ändå har återgått till stoft. <Uppladdad bildlänk>

Lite Skynet vibbar...

Vi slipper nog uppleva det men om ett par generationer så kanske det börjar bli lite svettigt förutsatt stt hela AI bubblan inte spricker eller stannar av pga något annat.

Inte skynet mer natrual selection. Vi har inget mer att ge och är hopplöst efter som art. Vi kanske kan vara husdjur till AIs 😏

Visa signatur

Ryzen 9800X3D @ Stock, MSI Suprim X 3080 @ game mode.
YT kanal där jag meckar bilar: https://www.youtube.com/@saab900turboT16

Permalänk
Medlem
Skrivet av WebbkodsFrilansaren:

Det där ser jag som "mångmiljonfrågan" i det stora hela.

Kommer den verkligen att kunna lösa majoriteten av komplexa problem tillräckligt snabbt efter tillräckligt många försök/iterationer eller kommer den att i vissa fall gå in i den virtuella väggen pga. brist på träningsdata och/eller tillräckligt stort kontextfönster? Och vad ska företaget göra då? Det är ju inte så att de bara kan "fylla på med träningsdata" eller utöka kontextfönstret efter det nått sitt "tak".

Tänk om det fanns någon slags entitet som hade de extraordinära dataegenskaperna att kunna fyllas med mer träningsdata och utöka sitt kontextfönster vid behov?🤔

Mvh,
WKF.

Jo det blir spännande att se i framtiden om det faktiskt kommer kunna hålla tillräcklig kvalité tänker jag.

Permalänk
Medlem

De blir väl genast lönsamma så fort de lyckas sälja in sig som google 2.0 och får average svenne att använda dem till det dagligen, så kan ju dem istället sälja vår data och bombardera oss med reklam.

Innan dess får de äta kostnader själv om de vill kriga om marknadsandelar för annars går väl åtminstone för hemma bruk folk fläst till den som har funktionell gratislösning längst.