Nya ChatGPT 4o är bättre än tidigare versioner av AI-assistenten på att efterlikna mänskliga samtal, vilket nu har visat sig leda till oväntade konsekvenser för utvecklarna. Företaget har upptäckt att vissa användare uttrycker känslor och språkbruk som antyder en personlig koppling till chatboten.

I interna tester och vid så kallade "red teaming"-övningar, där ChatGPT utvärderas ur olika riskperspektiv, har OpenAI upptäckt tillfällen där användare talat om sin relation till AI:t som om den vore en människa.

Dessa händelser kan verka harmlösa, men de pekar på ett behov av fortsatt utredning kring hur dessa effekter kan utvecklas över längre tid. – OpenAI

OpenAI oroar sig för att denna typ av interaktioner kan påverka användarnas förhållande till verkliga människor, då användarna hellre vänder sig till AI i stället för andra människor. För vissa individer kan detta minska ensamhet, men det kan också få negativa konsekvenser för redan etablerade relationer.

Utöver att skapa känslomässiga band till AI:t kan användare som ser chattbotten som mänsklig vara mindre benägna att ifrågasätta responsen från AI-hjälpredan. I tidigare versioner av ChatGPT var det tydligare att hjälpredan var en maskin.

I samband med denna upptäckt ska OpenAI vara mer noggranna i sin övervakning av användare framöver. Utvecklarna överväger även att lägga till tydliga varningar i tjänsten om att användare inte ska utveckla känslomässiga band till AI:t.