Open AI:s före detta forskningschef Ilya Sutskever har talat om att tiden då AI-modeller kan bli bättre genom att lägga allt större datorresurser på dem närmar sig sitt slut. Nu ser det ut som att företaget han var med och grundade har stött på den här begränsningen, skriver Wall Street Journal.
GPT‑5, kodnamn Project Orion, har varit under utveckling i 18 månader och enligt tidningens källor hade Microsoft – Open AI:s största investerare – räknat med att den skulle vara färdig i mitten av 2024. Ett halvår senare är arbetet ännu inte avslutat och orsaken ska vara att den helt enkelt inte lever upp till förväntningarna.
Open AI ska ha genomfört två träningssessioner på enorma datamängder i syfte att förbättra den, men de har tagit längre än väntat och modellens kostnader har därför skenat.
Ett annat problem är att den tillgängliga data som företaget har samlat in från internet inte verkar räcka för att göra GPT‑5 ”smartare” än föregångarna. Därför har Open AI anlitat människor till att skriva kod och lösa matematiska problem som modellen kan lära sig av.
Företaget ska även ha börjat använda data genererat av existerande modeller för att träna den nya modellen, trots att forskare har varnat för att det kan skapa ”rundgång” i inlärningsprocessen som leder till lägre och lägre kvalitet.
