Alla stora språkmodeller genererar text med fabricerade fakta och andra så kallade ”hallucinationer”. Det är en fundamental effekt av hur modellerna fungerar. I vanlig text kan det leda till att användare som förlitar sig på en AI-chattbot sprider falsk information eller ertappas med att ha använt AI då deras texter innehåller rent nonsens.
Men om AI:n har skrivit kod som användare sedan har klistrat in i program, appar och webbplatser kan fabrikationerna leda till en ny typ av säkerhetsbrist som forskare nu varnar för, skriver Ars Technica.
En forskargrupp ledd av Joseph Spracklen, doktorand vid University of Texas, har låtit 16 av de mest använda stora språkmodellerna generera totalt 576 000 filer kod. I många av dessa inkluderade AI:n referenser till olika kodbibliotek som behövs för att koden ska fungera, men istället för referenser till faktiska existerande kodbibliotek hittade AI-modellerna ofta på egna.
Forskarna hittade 440 000 sådana referenser till icke-existerande kodbibliotek, vilket utgjorde runt 20 procent av alla referenser. Den som försöker använda koden i fråga kommer normalt få ett felmeddelande, eller så händer inget alls, men forskarna varnar för att illasinnade aktörer kan skapa öppna källkod-projekt utifrån sådana fabulerade namn och fylla dem med skadlig kod.
De påhittade referenserna hade varit svåra att utnyttja i stor skala om de bara förekom i enstaka fall, men undersökningen visade att de inte alls är slumpmässiga. 58 procent av påhittade kodbibliotek refereras till i över 10 procent av de genererade kodexemplen.
Modeller med öppen källkod, som Codellama och Deepseek, genererade mer än fyra gånger fler påhittade referenser än kommersiella modeller. Forskarna tror att det beror på att de kommersiella modellerna som GPT använder många fler parametrar. Javascript-kod gav fler påhittade referenser än Python, men varför det är så har forskarna inget svar på.
