Microsoft simulerar Quake 2 med AI

Permalänk
Medlem
Skrivet av Alexraptor:

Vilka dumheter.

Vi vet exakt hur en LLM fungerar, och vi vet för ett absolut faktum att det inte är så människans hjärna fungerar, annars hade det bevisats vid det här laget.

Hur kan det bevisas? På vilket sätt skulle det gå till?

Skrivet av Alexraptor:

Bara faktumet att vi besitter problemlösningsförmågor och förmågan att resonera, kullkastar hela den tesen.

LLM'er löser problem dagligen. Vad är skillnaden som gör att det ena är "problemlösningsförmågor" och det andra inte? Sluta handvifta med "någon hade bevisat", fundera lite på det istället.

Skrivet av Alexraptor:

Men eftersom du är så förtjust i LLM:er, så kanske du hellre vill höra vad ChatGPT själv har att säga om ditt inlägg.

För en läsare verkar ju ChatGPT förstå ämnet mycket bättre än du själv.

Vilket är lagom ironiskt.

Permalänk
Medlem
Skrivet av Alexraptor:

LOL!

ChatGPT "förstår" inte ett skit. Det är helt enkelt inte en förmåga som LLM:er besitter. Den respons man får från en LLM är inget mer än en framslumpad gissning, baserad på sannoliket och LLM:ens träningsdata.

Det förstår vad som är vad i en konversation, den förstår vad tex "det" är som jag inte nämner vid namn om vi talat om "det" innan. Det är knappast en "framslumpad gissning". Tycker du ska pröva chatGPT. Det finns en anledning till varför många använder den och det är knappast för att den gissar saker.

Visa signatur

Ryzen 9800X3D @ Stock, MSI Suprim X 3080 @ game mode.
YT kanal där jag meckar bilar: https://www.youtube.com/@saab900turboT16

Permalänk
Medlem
Skrivet av Aka_The_Barf:

Det förstår vad som är vad i en konversation, den förstår vad tex "det" är som jag inte nämner vid namn om vi talat om "det" innan. Det är knappast en "framslumpad gissning". Tycker du ska pröva chatGPT. Det finns en anledning till varför många använder den och det är knappast för att den gissar saker.

Det är ganska uppenbart att du saknar en förståelse för hur LLM:er faktiskt fungerar.

Visa signatur

| Corsair Obsidian 500D | Intel Core i7-3770K 3.9GHz med Corsair iCUE H115i Elite Capellix XT | Asus Z77 Sabertooth | Corsair Vengeance Pro Black 4x8GB 1866MHz CL9 | 2x EVGA GeForce GTX TITAN X 12GB, SLI | X-Fi Titanium Fatal1ty Pro | Samsung 870 EVO 2TB, Samsung 870 EVO 1TB, 2x Seagate Barracuda 2TB | Corsair AX860i | DELL P991 Trinitron | Windows XP/10 Dual-Boot |

Permalänk
Medlem
Skrivet av 0cool:

Hur kan det bevisas? På vilket sätt skulle det gå till?

LLM'er löser problem dagligen. Vad är skillnaden som gör att det ena är "problemlösningsförmågor" och det andra inte? Sluta handvifta med "någon hade bevisat", fundera lite på det istället.

För en läsare verkar ju ChatGPT förstå ämnet mycket bättre än du själv.

Vilket är lagom ironiskt.

Det är fascinerande hur någon kan anklaga andra för handviftande samtidigt som de själv låter som en trasig prompt till ChatGPT. Med tanke på ordsalladen du producerar, är du säker på att du inte är en LLM?

Visa signatur

| Corsair Obsidian 500D | Intel Core i7-3770K 3.9GHz med Corsair iCUE H115i Elite Capellix XT | Asus Z77 Sabertooth | Corsair Vengeance Pro Black 4x8GB 1866MHz CL9 | 2x EVGA GeForce GTX TITAN X 12GB, SLI | X-Fi Titanium Fatal1ty Pro | Samsung 870 EVO 2TB, Samsung 870 EVO 1TB, 2x Seagate Barracuda 2TB | Corsair AX860i | DELL P991 Trinitron | Windows XP/10 Dual-Boot |

Permalänk
Inaktiv
Skrivet av 0cool:

Många vill reducera mekanismen till något så enkelt som det du säger men det stämmer inte. Ta AlphaGo och AlphaFold som två exempel på hur maskinen gör nya upptäckter och genombrott som inte har gjorts av människor tidigare.

Du läste nog inte hela meddelandet. Om en sannolikhets maskin hittar något som har hög sannolikhet så hittar den det. Men språk har ett specifikt mönster skapat av människor för människor. LLM är ju bara en språk model. Ligger i namnet.

Skrivet av 0cool:

Måste inte vi människor också träna för att förstå saker? Pythagoras är inte medfödd kunskap, inte heller hur man skriver en haiku, översätter mellan språk mm.

Kom inte Pythagoras på satsen? Den är ju döpt efter personen som kom på den...

Människor kan ta information och bygga vidare med den. Du kan experimentera och pröva din tes. En LLM kan det inte, den finns i ett vakuum och om du vill den ska komma på mer måste du ha en öppen själv tränande funktion som alpha go. Detta vill du inte ha på en språk model för den blir påverkad av sina användare och du får ett liknade resultat som hänt tidigare, microsoft tay tex.

Permalänk
Medlem
Skrivet av anon179502:

Kom inte Pythagoras på satsen? Den är ju döpt efter personen som kom på den...

Jovisst men Pythagoras tränade matematik kan jag lova, han satt inte på mammas knä och sade en morgon "ma...ma...summan av kateternas kvadrater är lika med hypotenusans kvadrat!"

Skrivet av anon179502:

Människor kan ta information och bygga vidare med den. Du kan experimentera och pröva din tes. En LLM kan det inte

Hoppla där har du kanske missat att de ju faktiskt kan det. Det krävs förstås att den har en mekanism för att komma åt en sanning, men det finns ju exempel på det - Copilot kan skriva kod, kompilera och exekvera den, analysera felmeddelanden och göra om sin initiala lösning. Den "prövar sin tes", får svaret att den inte håller, justerar den och försöker igen.

Detta är förstås enbart resultatet av att felmeddelandena inkluderas i prompten som skickas till den oföränderliga modellen men ändå, effekten blir ju som när en mänsklig praktikant kodar. Utifrån ser det ut som när en människa testar och lär sig.

När detta sedan inkluderas i träningen för nästa version av modellen kan jag inte komma på någon relevant skillnad på vad som har hänt jämfört med när en människa lärt sig något nytt. Hur olika de underliggande modellerna än må vara är ju det synliga resultatet lika.

AlphaGo lärde sig ju Go på det sättet, den inkluderade sina egna simulerade spel i den underliggande modellen och itererade tills den spelade Go bättre än någon människa någonsin gjort. Ingen människa har kunnat träna den att göra det från kunskap som människor besitter, det är ny kunskap.

Visst är det en massa flåsande hype kring "AI" och jag fattar att man blir trött på det. vi är i Boo.com-stadiet av AI helt klart och det kommer kanske en krasch - men det finns ändå något faktiskt intressant och användbart här, det är redan bevisat.

Permalänk
Datavetare
Skrivet av Alexraptor:

Det är ganska uppenbart att du saknar en förståelse för hur LLM:er faktiskt fungerar.

Den lite halvtrista sanningen är väl att ingen i detalj kan förklara varför transformers fungerar så bra som de trots allt gör, det förutsatt att modellen är "tillräckligt stor". Det sista är delen som är rätt magisk.

För i grunden är det bara en stokastisk process som räknat ut sannolikheten för att en viss "token" är det som borde komma härnäst.

Det "magiska" i det hela är att innan modellen är "tillräckligt stor" blir resultatet rotvälska. Men i något läge finns "tillräckligt med kunskap och kontext" för att det som genereras faktiskt ger värde och producerar koherenta meningar.

Skrivet av anon179502:

Du läste nog inte hela meddelandet. Om en sannolikhets maskin hittar något som har hög sannolikhet så hittar den det. Men språk har ett specifikt mönster skapat av människor för människor. LLM är ju bara en språk model. Ligger i namnet.

Kom inte Pythagoras på satsen? Den är ju döpt efter personen som kom på den...

Människor kan ta information och bygga vidare med den. Du kan experimentera och pröva din tes. En LLM kan det inte, den finns i ett vakuum och om du vill den ska komma på mer måste du ha en öppen själv tränande funktion som alpha go. Detta vill du inte ha på en språk model för den blir påverkad av sina användare och du får ett liknade resultat som hänt tidigare, microsoft tay tex.

Tar man de senaste modellerna, framförallt de resonerande, kan de absolut lösa nya problem som tidigare aldrig löst och därmed man inte explicit tränat modellen på.

Några specifika exempel jag kan komma på är att man kan skapa helt egna matematikproblem, egna designproblem med vissa specifika krav, egna (analog/digital)elektronikproblem. De mest avancerande modellerna kan lösa dessa, trots att de aldrig sett de specifika problemet tidigare, då de likt en människa med domänkunskap kan bryta ned problemet i mindre delproblem och applicera det till dess att varje kvarvarande delproblem är något den tränats på att lösa.

Så börjar det då inte bli lite meningslöst att försöka klassificera det som "kan tänka själv" vs "kan inte tänka själv"? Vad man ändå kan konstatera att de bästa LLMs är idag bättre än en klar majoriteten av genomsnittsmänniskan på en lång rad (och snabbt ökande) antal uppgifter som för en människa kräver resonerande och logiskt tänkande.

"Transformers" och "self-attention" lär vara den viktigaste teknikupptäckten som gjorts på mycket länge. Huruvida simulera Quake 2 är ett vettigt use-case är mindre viktigt, men det kan knappast skada att testa vad som är möjligt med den tekniken inom alla tänkbara områden

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem
Skrivet av Alexraptor:

Det är fascinerande hur någon kan anklaga andra för handviftande samtidigt som de själv låter som en trasig prompt till ChatGPT. Med tanke på ordsalladen du producerar, är du säker på att du inte är en LLM?

Du gick ut med en stark åsikt men kan inte förklara varför du tycker som du tycker. Det du tycker är ändå rätt och de som tycker annorlunda måste attackeras.

Känns lite som den medfödda mänskliga rädslan för det okända om jag skall vara ärlig. Rationella åsikter kan man ju rätt enkelt förklara utan att tappa humöret oavsett om man är positiv eller negativ.

Har du lackat ur på AI-hype? Fine, det förstår jag. Tyvärr är ju anti-AI-hypen ungefär lika tröttsam och substanslös. Att läsa påståenden om hur det kommer lösa alla problem i morgon är lika tröttsamt som att läsa att det är helt värdelöst. Det har redan bevisat att det inte är värdelöst.

Permalänk
Medlem
Skrivet av 0cool:

Du gick ut med en stark åsikt men kan inte förklara varför du tycker som du tycker. Det du tycker är ändå rätt och de som tycker annorlunda måste attackeras.

Känns lite som den medfödda mänskliga rädslan för det okända om jag skall vara ärlig. Rationella åsikter kan man ju rätt enkelt förklara utan att tappa humöret oavsett om man är positiv eller negativ.

Har du lackat ur på AI-hype? Fine, det förstår jag. Tyvärr är ju anti-AI-hypen ungefär lika tröttsam och substanslös. Att läsa påståenden om hur det kommer lösa alla problem i morgon är lika tröttsamt som att läsa att det är helt värdelöst. Det har redan bevisat att det inte är värdelöst.

Nej, jag är fullt kapabel att förklara, men jag upplever att du uppenbarligen inte är intresserad av en seriös diskussion, eller helt enkelt saknar kunskapen som behövs för en produktiv diskussion.

Visa signatur

| Corsair Obsidian 500D | Intel Core i7-3770K 3.9GHz med Corsair iCUE H115i Elite Capellix XT | Asus Z77 Sabertooth | Corsair Vengeance Pro Black 4x8GB 1866MHz CL9 | 2x EVGA GeForce GTX TITAN X 12GB, SLI | X-Fi Titanium Fatal1ty Pro | Samsung 870 EVO 2TB, Samsung 870 EVO 1TB, 2x Seagate Barracuda 2TB | Corsair AX860i | DELL P991 Trinitron | Windows XP/10 Dual-Boot |

Permalänk
Medlem
Skrivet av Alexraptor:

Nej, jag är fullt kapabel att förklara

Jag ställde en fråga om hur man går tillväga för att bevisa att en människa tänker på ett annat sätt än en LLM och du kontrade med att citera ChatGPT och kalla det ordsallad. Din förmåga att förklara något lyser med sin frånvaro i denna tråden än så länge.

Jag tycker frågan är intressant på riktigt. Turingtestet är ju definierat som att om en människa inte kan avgöra om den som hon konverserar med är en AI eller inte så har den klarat testet. Inte att Turingtestet är särskilt relevant förstås men tanken att en simulering som övertygar betraktaren kan klassas som verklig är ju gammal.

Hur avgör vi om någonting förstår något "på riktigt" vs att bara "låtsas" förstå det?
Spelar det någon roll att det ena är en simulering om resultatet är lika korrekt som det "verkliga"?

Permalänk
Medlem
Skrivet av Yoshman:

Så börjar det då inte bli lite meningslöst att försöka klassificera det som "kan tänka själv" vs "kan inte tänka själv"?

Bra inlägg som vanligt - just den citerade delen fick mig att minnas denna: "The question of whether machines can think is about as relevant as the question of whether submarines can swim"

Permalänk
Medlem
Skrivet av Alexraptor:

Det är ganska uppenbart att du saknar en förståelse för hur LLM:er faktiskt fungerar.

Jag använder den dagligen, tydligen något du inte gör. Den förstår såpass mycket att den vet vad som det talas om.

Pröva så kan du kanske lära dig lite.

Visa signatur

Ryzen 9800X3D @ Stock, MSI Suprim X 3080 @ game mode.
YT kanal där jag meckar bilar: https://www.youtube.com/@saab900turboT16

Permalänk
Skrivet av Lussarn:

Visa aldrig prototyper eller research projekt för konsumenter. Det kommer nya milestones mer eller mindre varje månad inom AI nu, men är det inte perfekt så ser 95% bara felen. Jag tror också det kommer ta ett tag till mycket länge innan detta är 100% fungerande och säljbart, däremot kanske det går att göra t.ex en global illumination lösning med enbart AI inom rimlig tid.

I branchen jag jobbar måste UX folket göra svartvita mockups för användarinterface, annars ser folk bara fel färg. Spelar ingen roll om det förklaras att färgen inte är viktig.

Ja, jag är faktiskt förvånad över folks ointresse för just denna nyhet.

Mycket märkligt. Men de kanske konsumerar "vanliga nyheter" när det kommer till AI, till skillnad från oss som följt hela ämnet i decennier. Det är klart att vanliga mediers prat om AI både förenklar och nöter ut ämnet.

Själv är jag mycket optimistisk oavsett vad "folk tycker". Dock kan jag förstå oro om man kanske måste byta jobb i framtiden. Jag ser det inte som ett AI-problem, utan som ett människoproblem. Vi måste börja ta hand om alla som blir bortplockade från arbetsmarknaden.

Jag ser AI som potentialen att signifikant förbättra livet för folk, så länge det är fritt/open source.