Två rådande trender i teknikvärlden är att maskininlärning och artificiell intelligens (AI) används för att automatisera system som människor inte utför lika effektivt. Det kan användas till allt från att registrera mönster i röntgenbilder till självkörande bilar som anpassar körningen efter vad andra fordon rapporterar. AI har på senare år börjat användas allt mer för att ge internetbesökare mer hjälpsamma automatiserade svar, så även bland svenska myndigheter.

Användare som ska använda en myndighets webbplats ska behandlas lika och nu ska Jämställdhetsmyndigheten utreda om dessa AI-funktioner faktiskt behandlar alla besökare likvärdigt, rapporterar Ny Teknik. Utredningen utförs tillsammans med företaget AI Sustainability Center som ska granska om de AI-system som för närvarande är under utveckling behandlar användare jämställt.

Det här är ett pilotprojekt som handlar om riskerna för jämställdhetsproblem då statliga myndigheter använder artificiell intelligens, som Skatteverket och Försäkringskassan. I USA har man uppmärksammat att botar som skulle svara på frågor snabbt blev väldigt rasistiska och sexistiska. Medborgarna ska kunna lita på att staten bemöter dem lika. – Lena Ag, generaldirektör Jämställdhetsmyndigheten

Några av de automatiserade AI-systemen, som kallas "botar", lär sig av data som samlas in över tid och använder den för att ge handläggare bättre beslutsunderlag. Här tar Jämställdhetsmyndigheten lärdom från USA, där AI-botar som tränats med ojämställd data kommit till olika slutsatser baserat på användarens hudfärg eller kön.

Att algoritmer lär sig på historiska data riskerar att backa jämställdhetsarbetet. Det får inte hända. – Anna Felländer, grundare av AI Sustainability Center

För att undvika att något liknande drabbar svenska myndigheter ska utredningen ta fram ett antal scenarion där jämställdhetsperspektivet tas upp i analysen av den data som bearbetas. Pilotstudien ska vara klar inom ett års tid och har en beräknad kostnad om 1,6 miljoner kronor. Med den som grund är målet att utveckla en modell för AI-system som undviker att gamla fördomar letar sig in i koden.

Vad tycker du om initiativet med mer jämställda AI-botar hos myndigheter? Nödvändig utveckling eller onödig satsning på ett problem som inte existerar?