Grand Theft Auto V (GTA V) utspelar sig i soliga Kalifornien och har en grafisk stil som redan lutar åt det mer realistiska hållet. En forskartrio på Intel har nu tagit det ytterligare ett steg, och visar upp ett videoklipp där de använder maskininlärning för att ge spelet ett fotorealistiskt utseende.

I projektet "Enhancing photorealism enhancement" används vad som kallas för faltningsnätverk (eng. convolutional neural network), ett särskilt slags artificiellt neuralt nätverk anpassat för att söka igenom och känna igen bilder. Nätverket har som grund matats med bilder från tyska städer, med hjälp av databasen Cityscapes.

2021-05-14 09_05_32-Enhancing Photorealism Enhancement - YouTube.png

För att faltningsnätverket ska förstå hur bitar av bilderna ska appliceras i spelet, hämtas data från vad som kallas "G-Buffer". Det är ett samlingsnamn för alla de texturer i spelets scen, som håller den geometriska data som används för att kalkylera ljus när bilden renderas. Med hjälp av det går det bland annat att avgöra objektens position och avstånd till varandra och spelaren.

För att skapa det mer realistiska utseendet jämförs scenen i spelet med de bilder faltningsnätverket matats med, och sedan anpassas parametrar i spelets texturer efter det. Eftersom att nätverket matats med bilder från tyska städer blir det per automatik också färgförändringar. Soliga Kalifornien är i första delen av videon gråare och de torra bergen är täckta av grönska, något som sedan åtgärdas till viss del med färgkorrigeringar.

Ett tyskinspirerat fotorealistiskt GTA V är sannolikt inte något som släpps inom den närmaste framtiden, men tekniken i sig kan vara användbar för spel i framöver. Det även har vissa likheter med Nvidias kombinerade kantutjämnings- och uppskalningsteknik DLSS.

Vill du se mer fotorealism i spel, eller ser det redan tillräckligt bra ut?