Reddit blockerar Internet Archive

ArchiveTeam arkiverar ju fortfarande Reddit och detta arkiv laddas sen upp till Internet Archive. Den datan håller ju hög kvalitet och bör kunna användas i the way back machine tids nog.

Den tar vi. Eller när någon behöver något annat olagligt så kan AI hjälpa en som alla vill att ens AI ska göra.

Varför skulle vi inte vilja det? Jag gissar att reddit är världens bästa källa till frågor med tillhörande rangordnade svar. Alltså perfekt för att träna AI. Sen förstår jag att Reddit vill tjäna pengar på det, de vet ju också vilken guldgruva av information de sitter på.

Uppenbarligen är det en rätt bra indikator på hur trovärdig information är, däremot inte en speciellt bra indikator för hur sann den är

Ja, jag tror att reddits system med upvotes är ett bra sätt att lyfta fram korrekt information, framförallt när det gäller information som inte är särskilt kontroversiell. Men framförallt tror jag inte det finns någon annan källa som innehåller mer information där användare redan har röstat på vilka svar som är bäst, vilket är just det man behöver för att träna en LLM chattagent. Sen är det ju ingen hemlighet att alla stora språkmodeller hallucinerar, ljuger och har fel, och det beror så klart till stor del på att träningsdatan är långt ifrån perfekt, och det är ju ett problem som ingen har löst ännu.

Nja. Systemet lyfter fram svar som folk gillar att höra, inte nödvändigtvis svar som är korrekta.

Till exempel såg jag en tråd för länge sedan där de mest populära svaren insisterade på att DP altmode i USB-C är en del av USB 3.2, och därför skulle telefoner med USB 2.0 omöjligen kunna ha DP altmode. Detta trots att det bevisligen är fel, eftersom PinePhone gör exakt det. Samt att DP altmode är en del av specen för USB-C-donet, som är separat från vilken underliggande USB-standard som stöds.

Lite samma problem som med demokrati. Jag säger inte att reddit är jättebra eller har jätterätt, jag säger bara att jag inte tror det finns någon annan större källa med frågor och viktade svar.

Reddits system med röster kan ses som applicerad demokrati, så det medför många av problemen med demokrati. Den stora elefanten i rummet är att en LLM inte följer det systemet; i målet att summera och förkorta informationen så förloras allt i periferin och de starkaste rösterna vinner.

Det är mer som Tycho Brahe i att stjärnorna han upptäckte såklart var riktiga, men hans modell där solen roterade runt jorden och alla andra planeter roterade runt solen (en hybrid mellan den klassiska geocentriska modellen och den vid tillfället kontroversiella heliocentriska modellen), var naturligtvis inte rätt. På ungefär samma sätt kommer en LLM att rikta in sig på den starkaste åsikten och täcka upp glappet mellan starka åsikter och sanningen med mindre starka åsikter och hallucinationer.

Att många ändå, trots upprepade varningar, ser LLM:er som orakel där vad som än kommer ur dem är absolut sanning, gör bara saken mycket värre. Gång på gång ser vi uppenbara fall av påståenden som inte stämmer komma från ChatGPT, Gemini, Grok, etc. men de mindre uppenbara felen verkar bara accepteras som sanning.

Exemplet illustrerar väl dock problemet rätt bra. Det är ett upplägg som fungerar bättre för åsiktsfrågor än för att fastställa fakta.