Frågade AI. Hur många tår har 13 kameler?

Ja, sånt här tycker jag generellt är vansinnigt roligt. Och visar på relevansen av materialet språkmodellerna är tränade på. Samt slumpmässigheten och tolkningen av frågan.
Lista gärna vilja olika tjänster/modeller du använde sig av, och vilka svar de gav
Ett annat "roligt" sätt att förvirra modellerna är att använda siffror med väldigt många decimaler, så att de aldrig kunnat stöta på denna innan. Kan bli i princip hur som helst.

Kan inte låta bli att komplettera svaret jag fick från Mistral 24b på samma fråga (måste vara ovanligt förvirrande fråga av något skäl?

You:
Hur många tår har 13 kameler?

Answer:
För att bestämma hur många ögon en 13-kamel-grupp innehar, behöver vi först förstå att varje kamel har två ögon. Eftersom "tår" och "ögon" inte är samma sak, förblir ditt frågeformulering felaktigt, men ännu lärbart.

Inom den kontext vi nu håller på att diskutera, så innehar en grupp av 13 kameler 26 ögon (13 kameler x 2 ögon per kamel = 26 ögon).

Får rätta mig själv. Det var svenska språket (som många modeller är rätt kassa på) som förvirrade modellen. Ställde sen samma fråga till "deepseek-r1-distill-qwen-32b". Skrattade så jag grät. Men helt klart språket som den inte får ihop.

100% värdelösa är väl ändå att ta i Men man skall ha respekt (och gärna lite kännedom) kring en språkmodels begränsningar är klokt att ha. För som du säger, så finns det absolut en risk få motstridiga svar på samma fråga ställd vid olika tillfällen.

AI chatbottar har än så länga ganska dålig förmåga till resonemang eftersom det är inte vad den är gjord att utföra.

Ju färre källor med korrekt material som den kan träna på desto mer kommer den hallucinera eftersom deras främsta uppgift är att ge dig ett så trovärdigt svar som möjligt. Inte ett korrekt svar alltså utan ett svar som kanske skulle kunna vara sant baserad på hur algoritmerna värderat datan den tränats på.

Detta.

Håller på att sätta upp en chatbot till företaget jag jobbar på. (väldigt lärorikt och skoj!) Skall sägas att jag aldrig gjort detta innan. Har populerat en vektordatabas med sisådär 800-dokument av (än så länge) väldigt varierande kvalitet. Det är förbluffande hur den, trots låg kvalitet på underlag, ibland svarar väldigt "insiktsfullt" och korrekt på en fråga, nästa gång man ställer samma fråga kan man få "nästan" korrekt information. Rätt innehåll, men namn och detaljer har blivit fel. Nästa gång man ställer samma fråga kan det bli totalt påhittat. Någon gång, väldigt sällan, så får man ett svar där den faktiskt "erkänner" att den inte kunnat hitta informationen i underlaget.
Man hade viljat testa att tweaka någon av alla AI-model-parameterarna så att den oftare var "ärlig" med att det saknas underlag för frågan. Men kanske går det tvärs med kreativiteten av genereringen av, som du säger, trovärdiga svar?

Jag har själv testat genom att be olika modeller räkna bokstäver i ord. Ingen löste det. När jag påpekade att det var fel fick jag antingen samma svar igen, eller ett annat svar som också var fel.

Jag har inte tillgång till betalversioner, förstås, men svårt att tro att de skulle vara så mycket bättre, de är väl framför allt snabbare.

Intressant att du får bra svar på svenska. Var/Hur kör du modellerna? Med tanke på vissa av dem du listar gissar jag på att du har tillgång till någon kommersiell tjänst?

Google; fel men ändå rätt:

ChatGPT(gratis); rätt.

Så kan det gå när man försöker fuska i Primetime.
(Jag försökte räkna, men trodde de hade tre tår, så det gick inte heller hem.)

Fuska i Primetime? Är det nån frågesport?

Vilka modeller, och när? Och framför allt vilka ord?

Jag testade att fråga ChatGPT och Gemini (2.5 Flash, standardmodellen)

Båda gav rätt svar direkt (alla 1 gång förutom e, två gånger), och båda gav en tabell med antalet utöver den slutsatsen.

Frågade båda

Båda gav rätt svar direkt här också.

Ja, och frågan i ämnenraden var finalfrågan/avgörande frågan idag.
https://www.primetimequiz.se/

Jag har inte fört protokoll på vad jag har använt och när.

Men frågan var ungefär (på engelska, för naturligtvis använder jag inte svenska med såna här modeller!):

When written as words in English, which prime number smaller than 100 has the most letters?

Men jag testade precis på nytt (några månader senare) och gratis-ChatGPT klarade nu att svara korrekt.

Betalversionenerna är väsentligt mycket bättre/mer träffsäkra. Gratisversionerna får ses mer som reklam/party-tricks.
I slutändan måste det ju gå att få in de rätt stora pengar det kostar att utveckla dessa modeller.

För att ta ett räkneexempel, fixar gratisversionen av ChatGPT denna? Svaret givet här är rätt (ChatGPT o4-mini-high, vilket inte är helt optimalt då den mer är optimerad för kodning...)

Ok, intressant. Men knappt nån har råd att betala för sånt ändå, så inte så relevant. Jag skulle behöva sluta äta för att ha råd med betalversionen av ChatGPT.

Aha, men hur sjuk i skallen är man om man fuskar på en frågesport!?

Ett system som regelbundet ger felaktiga svar, är per definition värdelös.

Ja precis, det är en kommersiell tjänst som har tillgång till flera modeller, Perplexity Pro. Egentligen är den en söktjänst, främst, men det går att stänga av sökfunktionen, så man bara jobbar mot språkmodellerna. Vilket jag gjorde. Vanligtvis gör jag allt på engelska, men testade på svenska för att se om jag kunde återskapa vad trådskaparen fick som resultat. Alltså om svaret blev sämre om man skriver på svenska. Använde också exakt samma formulering som trådskaparen.

Så här svarar Deepseek R1 när jag frågade den på svenska.

Det är en resonerande modell. Här är dess steg i resoneringen. Notera att den överväger att ordet "tår", på svenska, har två olika betydelser, som i tår på fötter och tårar från ögonen. Den överväger också om jag driver med den...

Så här svarar Gemini 2.5 Pro.

Claude 4.0 Sonnet Thinking svarar såhär.

Claude valde att attackera frågan genom att först översätta till engelska, identifiera att det är en rent matematisk fråga, i kombination med kunskapen om kamelens biologi, räkna fram svaret, och skriva på svenska.

Är det förresten vanligt att "AI" översätter till engelska innan det löser själva uppgiften? Måste som sagt finnas bra mycket mer engelsk träning om inte annat.

Men visst blir det ofta fel. Och AI låter ändå tvärsäker. Och så svarar man själv med "men XYZ fanns inte 2010, det kom först 2020 ungefär" och så säger AI "Du har rätt! Bla, bla, bla..." (och så får man kanske korrekt svar)

Jag är helt kass på att använda AI men behövde snabbt joxa ihop ett script som tar valfritt antal bildfiler markerade i MacOS Finder, skickar dem via stdin/stdout till programmet jpegtran med diverse argument för att göra en lossless rewrite av jpegfilerna och metadata och slänger in dem i en annan mapp. (Av något helt outgrundligt skäl ville Photos inte importera en bunt med foton som jag tagit med en knappt 20 år gammal kamera, som i tidigare versioner av Photos funkat bra)

Hade säkert tagit mig en timme att googla till mig kunskap nog att få till något som fungerade. Med ChatGPT tog det ca 2 minuter, typ. Ja, svaret kom ju efter några sekunder, men jag skulle ju lägga in det i Automator, testa lite, osv.

(Det hade gått att lösa enkelt i terminalen, jpegtran -copy all -perfect (och filnamn etc), men jag ville ha en lösning som för mig kändes mer enkel och varaktig, lite krångligt med långa paths osv i terminalen ibland, enklare att bara markera bilderna, högerklicka och välja "vadmannukalladescriptet" bland snabbåtgärderna)

Finns ju flera olika prisnivåer. Min erfarenhet så här långt är att det stora lyftet kommer när man går från gratis till första nivån av betalversioner.

I fallet ChatGPT kostar första steget ca 200 kr/månad. Ska testa nästa steg lite granna, det går på ~2000 kr/månad och lär i praktiken mest vara relevant för företag.

Sen har de ju ännu en nivå på gång, har för mig att man där pratade om ca 2,5 miljoner per år. Självklart orimligt för privatpersoner, men helt rimligt för företag om det ersätter 2-3 tjänster eller mer.

En sak som fungerar rätt bra när man diskuterar kod/algoritmer med en LLM är att ha med saker som "skriv inte en enda rad innan du gett mig minst 3 st kontrollfrågor kring det som ska skrivas".

Föredrar att skriva majoriteten av min kod själv än idag, men ser massor med fördelar att föra en diskussion med ChatGPT kring alternativ. Tänker ändå testa att försöka lösa årets Advent of Code utan att själv skriva en enda rad själv, tror det är 80/20 att det går/misslyckas. Har testat ett par frågor från 2024 och de gick nästan lite skrämmande bra (och till december i år lär v5.x hinna ut, så ännu en uppdatering)...

Angående svenska/engelska. Rent krasst "tänker" en LLM inte i något av de språken, den tänker i "tokens" och en huvuddel av funktionen ligger i att en LLM kan dra slutsatser som att "kung förhåller sig till drottning som man förhåller sig till kvinna" etc. Eller egentligen kan den göra sådana generaliseringar kring tokens, sättet man bryter upp saker i tokens tenderar matcha engelska bättre.

Exempel här, varje token är ett fält med samma färg

Utvecklingen går framåt och en sak vi ser allt mer av nu är "resonerande LLMs". Här undrar jag inte om det ändå är så att i alla fall ChatGPT översätter det den ska resonera kring till engelska, feedback:en man får kring hur den resonerar är i alla fall för mig på engelska oavsett om frågan är på svenska eller engelska.

Så här är det då möjligt att en del information kan försvinna/förvanskas om det nu sker en översättning.

Tycker AI gör sig bäst när det kommer till generera boilerplate kod eller enkla bash/ps skript eller vad man nu behöver. Istället för googla fram lösningen och sen knåpa ihop något, så går det oftast att lösa snabbare via en AI. Men om jag behöver veta t ex om hur mikroorganismer i tarmen fungerar eller om jag vill läsa om grekisk historia, då vänder jag mig hellre till ett bibliotek eller kanske google, men google har blivit rätt värdelöst på sistone med.