Programmerare besegrar Chat GPT i kodmaraton

Skönt se en AI bli slagen av en människa

Don’t get used to it

Men också: ChatGPT besegrade elva av tolv elitprogrammerare i kodmaraton. ¯\_(ツ)_/¯

Det här påminner om Kasparov på 90-talet.

Undrar vad energiförbrukningen landade på.

Przemysław 2 kWh - AI-modellen några hushålls årsförbrukning?

Oavsett imponerande att det har kommit så långt

Du får räkna med 10 timmars energibehov för Przemysław också. Gemene man behöver 2 700 kalorier per dag enligt Livsmedelsverket. Det blir 1,3 kWh för 10 timmar. Totalt alltså 3,3 kWh. Inte så stor skillnad men ändå!

Enligt MIT Technology Review verkar ChatGPT dra 1 kJ per svar.

Enligt dessa beräkningar motsvarar Przemysławs 10 timmar ungefär 12 000 frågor till ChatGPT.

Säkert helt fel

"The contest echoes the American folk tale of John Henry, the steel-driving man who raced against a steam-powered drilling machine in the 1870s."

Kände inte till den myten men tar tröst i att det är rätt många människor på järnvägsbyggen fortfarande och inga ångdrivna borrmaskiner.

Du menar 1 människa utav 12 av de högst rankade programmerarna i Atcoders slog en AI medans resten blev utslagna?
Och det faktum att AIn kan fortsätta oändligt jämfört med den enda människa som lyckades var "”helt utmattad, knappt vid liv”, "

"Open AI sponsrade tävlingen och ställde upp med en speciellt framtagen variant av språkmodellen O3."

Varför kan de inte använda den vanliga? För att den inte kan klara det eller? Måste de skräddarsy modellerna varje gång och hur många miljarder kostar den träningen?

Hade varit kul med detaljer om vad det innebar så att detta inte är ännu ett PR-trick. Skulle vi inte ha AGI redan eller?

Skulle inte alla utvecklare förlora sin jobb om 6 månader? De senaste två åren?

Edit: Varför använder de inte o4, det är väl den senaste? För dyr att träna om? Är den sämre? För slö för att hinna inom 600 minuter?

För dyr att köra i 10h för ett företag som är värderat så högt?

Ja, ett perfekt resultat, precis som det ska vara. AI får gärna nyttjas till att automatisera överdrivet detaljerade, repetetiva sysslor. I ett riktigt scenario hade all kritiskt design / målsättning gjorts av människor.

Vill se mer material där AI inte promotas som nån slags optimal generallösning utan människor står kvar i centrum.

Det är märkligt att en tekniksajt inte går in djupare på vad problemlösningen faktiskt bestod av, hur LLM:en anpassades, vilka verktyg som fick användas, hur flödet såg ut, m,m.

Jag har inte hunnit sätta mig in helt i hur upplägget såg ut, men av det jag läst får man intrycket att resultatet lätt kan ge en missvisande bild. LLM:en klarade inte detta på egen hand, det krävdes en specialanpassad modell för just den här typen av problem. Med andra ord visar tävlingen inte att en LLM kan ersätta en utvecklare, utan snarare att den kan vara ganska effektiv på att lösa ett specifikt problem när den är anpassad för det. Det är inte häller tydligt om tävlingen i sig gjorde vissa anpassningar för LMM:en.

Oavsett, grymt jobbat av utvecklaren att finna ett nytt och effektivt vis att lösa problemet på.

Ja, det känns som att det är den viktigare slutsatsen.
Sedan är det ju en tävlingsform som är lite speciell jämfört verkliga uppgifter, men imponerande inte desto mindre.

Ja, det kan den förstås, så om man har ett problem som passar för upplägget så blir det ju en intressant möjlighet att bara kunna slänga mer pengar på ett sådant problem.
Sedan når man väl oavsett angreppssätt en punkt där man inte hittar förbättringar längre, även med mer tid.

Dock läggs ju citatet fram här taget ur sitt faktiska sammanhang:

"Humanity has prevailed (for now!)," wrote Dębiak on X, noting he had little sleep while competing in several competitions across three days. "I'm completely exhausted. ... I'm barely alive."

Dvs, det handlar ju inte specifikt om "uppvisningsmatchen" där OpenAI var med, utan ett mer generellt konstaterande efter tre dagars tävlande.

Slutsatsen i stort blir ju dock densamma, någon sådan automatiserad lösning blir inte utmattad, den behöver bara mer tid och el för att kunna fortsätta på samma sätt kontinuerligt. Sedan hur länge resultatet fortsätter att ha en trend av förbättring är ju fortfarande avgörande.

Folk på datorforum år 2025 är lika anti AI som folk på lanparty år 1995 var anti internet.
Det korfattade åsikten var är att dessa saker ej duger till seriöst arbete.

Jag tycker det är intresserat att AI utvecklas så fort framåt ändå. Sedan tar saker tid, de flesta prylarna tar lite tid på sig. Ge AI 50år till och se vad den då kan.

Angående AIn som blev besegrad av en världsmästare, så undrar jag hur slutkörd AIn nu är och om den behöver vila upp sig ett par månader innan nästa match? -Jag är ironisk.