I takt med att samhället allt mer automatiseras och mänskliga beslut till följd av automationen minimeras dyker mer eller mindre lustiga situationer upp. Ett exempel där maskininlärning används till att flagga för exempelvis hets mot folkgrupp samt andra ovälkomna och lagvidriga inslag återfinns på Youtube – nu rapporterar brittiska Independent om att plattformens analys av en schack-kanal lett till en tillfällig avstängning.

Den drabbade parten är den kroatiske schackentusiasten Antonio "agadmator" Radic, som under förra sommaren blev avstängd till följd av innehåll av "skadlig och farlig" natur. Anledningen till avstängningen ska ha varit att Radic under en sändning uttryckte orden "svart mot vitt" – en solklar referens till spelets pjäser som av algoritmerna plockades upp som rasistiska kommentarer.

Efter manuell handpåläggning återfick Radic sin kanal inom 24 timmar, komplett med cirka en miljon prenumeranter. Incidenten väckte dock intresse hos dataforskare vid Carnegie Mellon-universitetets språkfakultet i amerikanska Pittsburgh. Vid efterföljande granskning upptäckte forskningsledaren Ashiqur KhudaBukhsh enligt Independent att hela 82 procent av granskade kommentarer på Youtubes schackrelaterade kanaler flaggats för hatiska kommentarer.

If they rely on artificial intelligence to detect racist language, this kind of accident can happen. – Ashiqur KhudaBukhsh, forskningsledare vid Carnegie Mellon-universitetet

I KhudaBukhshs efterforskningar analyserades de fem största schackkanalerna på Youtube, där 680 000 röstklipp analyserades med hjälp av en egenutvecklad AI-algoritm. Denna algoritm klassificerade sedan schackrelaterade uttryck såsom "svart", "vit", "attack" och "hot" som potentiellt hatiska – något som även Youtube algoritmer med säkerhet gjorde vid avstängningen av Radic.

Exakt vilka åtgärder som vidtagits av Youtube för att förhindra att historien återupprepar sig, eller om schackkanaler framöver har fri lejd att uttala sig precis hur de vill på plattformen förtäljer inte historien.