Myndigheters AI-system ska granskas för jämställdhet

En AI har exakt samma fördomar som den data man skickar in i systemet.

Utan data, ja (vilket visserligen gör den värdelös). Men en AI behöver ju lära sig på något sätt och detta genom att mata den data. Och om du skriver till den kommer den mest troligt lära sig utav det också. Som folk påpekat ovan har det funnits AIs som har varit lätta att påverka.

Om AIn då matas med data som anses icke jämställd kommer den sluta upp som det.

Här får ni en algoritm som inte kräver AI:

1. Starta ett företag baserat på viktiga nyckelord som AI, jämställdhet, antirasism, värdebaserat etc.
2. Sök pengar från typ 10 olika myndigheter och organisationer, alla skattefinansierade på ett eller annat sätt så allt är skattepengar.
3. Hyr dyra fina lokaler i centrala Stockholm.
4. Skaffa tjänstebilar, höga löner och åk på diverse konferenser etc.
5. Bidra till enstaka Aftonbladetartiklar ett par gånger om året så det ser ut som man gör någonting.
6. Sitt mest och gör inget vettigt med din höga lön på skattebetalarnas bekostnad.

Bara ett i mängden av alla sätt att mjölka skattepengar för den som har rätt kontakter..

Återigen verkar många som kommenterar här sakna förståelse för vad AI och maskininlärning innebär. Att tro att något är "perfekt" och "sant" bara för att det genererats av en AI. Det har tagits upp flera exempel i tråden på varför detta inte är fallet och jag tycker att Microsofts chatbot Tay är ett tydligt exempel. En AI är otroligt känslig skevhet i träningsdata den lär sig av samt de begynnelsevillkor modellen matas med.

Jag arbetar inte själv med AI, men på min arbetsplats (sjukhus) så finns många liknande valideringsprogram som del av AI-projekt. I ett försök till illustrativt fiktivt exempel:

"AI för cancerbehandling diskriminerar"
En prognostisk AI som skall utvärdera nyttan med en cancerbehandling skall skapas. Vi har så kallad uppmärkt data (labeled data) av patienter och deras bakgrund, deras cancersjukdomsprofil, behandlingar. Nu råkar det vara så att i den träningsdata vi lär AI:n med så råkar låginkomsttagare svara sämre på behandlingen. I slutändan så väljer systemet att behandla rika människor och låta fattiga dö.

Vad systemet inte såg vara att rika människor i högre grad hade högre utbildning och lättare kunde förstå både hur de skulle ta medicinen och dessutom var förekomsten av rökare mycket högre bland de fattigare. Rökning gör denna behandling mindre effektiv. Dessa två faktorer förklarade hela skillnaden i prognos. AI:n hade fattat "rätt" beslut efter den träningsdata modellerna formats ur, men besluten var helt felaktiga då den ej kunnat skilja på korrelation och kausalitet.

-----

Försök överföra mitt exempel på andra sammanhang så kanske ni inser problemen. Om inte så visa lite ödmjukhet för er okunskap. Denna typ av utredning som beskrivs i artikeln är inte kontroversiell i sig.

Men alltså va? En AI ser ju mönster, den skiter i genus och härkomst. Så blir en viss grupp behandlat annorlunda av systemet så finns det en anledning!

Jag noterar att diskussionen snabbt har eskalerat till att en AI är absolut objektiv, vilket är sant till en viss del, men som så ofta är fallet med lekmannamässiga-observationer så är det lätt att trilla ner i Dunning-Kruger-problematik.

En AI är tränad med hjälp av data som är producerad av människor, som läser vårat sätt att kommunicera på och våra inneboende partiskhet som återspeglas i sättet vi lagrar in information.

Läs gärna denna blänkaren om denna problematiken från Mckinsey som har tittat in på detta mer i detalj. Länk

Som jag tolkar det så är det just detta som är problematiken;

Underlying data are often the source of bias
Underlying data rather than the algorithm itself are most often the main source of the issue. Models may be trained on data containing human decisions or on data that reflect second-order effects of societal or historical inequities. For example, word embeddings (a set of natural language processing techniques) trained on news articles may exhibit the gender stereotypes found in society.

Håller med dig till fullo. Försökte själv med ett exempel på en annan aspekt med kass träningsdata, men du hade en annan bra vinkel på det hela.

Av erfarenhet från tidigare trådar så är denna nyhet är en klassisk tickande bomb. Dels innehåller den AI - häftigt och svårbegripligt för många, dels jämställdhetsfrågan - många män på forumet som kanske inte alltid fått träning i att få sina åsikter bemötta i verkligheten. Blir ledsen av att se kombinationen dålig bildningsgrad, självsäkerhet och rasism/allmän unkenhet i tråden.

För de som inte ser detta som seriöst rekommenderar jag er att läsa Weapons of Math Destruction. Läste den som en del i min Big Data kurs på institutionen för Applied IT och just jämställdhet är ett av de största problemen med AI och liknande system som kan få ödesdigra konsekvenser.

En AI baserad på machine learning har ENDAST fördommar.

Precis så. Många tycks mena att maskinen inte gör mänskliga fel, men det är precis tvärtom. Mönstermatchning, en oumbärlig del i mänsklig och annan intelligens, är det som maskininlärning bygger på och också det som ansvarar för människors fördomar. Men mänsklig intelligens har också förmågan att inse när fördomarna inte räcker till, och metoder för att söka rätt på mer relevant information, något som maskinerna inte har.

Vi lär oss hela tiden att "människan är inte så smart som vi tror, vi har en massa fördomar", men missar att vi är de enda varelser vi känner till som kunnat tänka bortom våra fördomar, genom t.ex. abstrakt tänkande (dvs det vi i dagligt tal kallar intelligens).

Noterar också att artikeln är missvisande. Exemplet med chatbotar som beter sig sexistiskt eller rasistiskt nämns endast som ett exempel i källorna, för att förklara principen. Från Ny Teknik-länken:

(min fetning)

Det handlar alltså om "bemötande" i form av vilka beslut myndigheterna tar, beslut som kan påverka t.ex. om du får bostadsbidrag, sjukersättning eller blir skönstaxerad. Inte om huruvida man blir kränkt av en chatbot när man ställer frågor.

Nej jag vill ej betala för detta, gör skatten rättvis. Vill kunna bocka ur såna här genusprojekt från min skattesedel.

Eg helt sjukt att man med staten INTE kan rösta med plånboken. 76% Marginalskatt trots att värnskatten togs bort, https://timbro.se/ekonomi/skatter/efter-varnskatten/