Stor AI-upptäckt påstås ligga bakom Open AI-konflikten

Hur tänker du att någonting som är ofattbart mycket smartare än människan skulle fungera i praktiken? Jag kan lova dig att vår fantasi inte ens kan komma i närheten av att greppa hur någonting sådant skulle agera.

Problemet är att branschfolk som arbetar med AI inte ens vet hur den kommer fram till vissa saker/vet helt hur det fungerar. Så att bara tänka indata->utdata stämmer liksom inte.

Nu blir detta lite filosofiskt men jag tänker lite att målet med mänskligheten är evolution (om man nu ens anser att vi har nått mål). Och om vi då lyckas skapa ett "väsen" som är så enormt mycket smartare/bättre än oss att vi fysiska människor dör ut så har vi uppnått vårat mål som fysiska varelser, eller? Det är ju egentligen bara en vidareutveckling av människan som tar över i det fallet.

Det är giriga människor som är farliga.
Speciellt om de har en agenda, diagnos eller sjukdom.
Inte AI

Låter som början av Cyberpunk.

When the virus was released, it infected 78.2% of the Net in a matter of months.[3] Net traffic came to a grinding halt, corporations lost billions as the stock market destabilized, huge amounts of data were corrupted, and countless military-grade artificial intelligences were unshackled and mutated into extremely dangerous entities.[2][5] NetWatch, unable to reverse the damage or neutralize the AIs, decided to create the Blackwall, a potent AI with the sole task of blocking off sections of the Net that had been overrun by rogue AIs with ICE, so that the rest of the Net could be salvaged.[5] Rumors emerged that NetWatch was only able to construct the Blackwall with the help of the rogue AIs, who desired to separate themselves from human observation for their own opaque reasons.

Det är människor som skriver mjukvaran bakom 'AI'.

För övrigt finns det ingen AI.

Själva tekniken förstår vi väldigt bra, d.v.s. vi vet hur svaren kommer till, men p.g.a. mängden data i en stor AI-modell så är det svårt att på något sätt visualisera hur ett specifikt svar uppstod på ett sätt människor kan ta till sig.

Så faran med AI-modeller som GPT är inte att de plötsligt skulle utveckla ett medvetande och hota mänskligheten utan att någon får för sig att använda dem till kritiska saker trots att vi inte kan säkerställa att de alltid ger korrekta svar. Om någon lyckas utveckla en riktig AGI så lär det vara något väldigt annorlunda jämfört med dagens generativa AI-modeller.

Nej, kommer ihåg det, var lite kittlande när det kom ut, men med största sannolikhet var det en människa som övertolkade. Därför jag tänkte att det kan ha varit något liknande som hände på openai, som någon annan skrev tidigare i tråden så övertolkar vi människor gärna och tilldelar mänskliga attribut till allt från stenar till djur.

Återigen: Det handlar inte om instinkt. Problemet uppstår ifall vi har något som är smartare än en människa på alla vis och som har fått ett icke-trivialt mål att lösa – det kan vara vad som helst: bygga kretsar, bota en särskild typ av cancer, etc. (Vi pratar alltså om agent-typen av AI, som kan tänka självständigt i flera steg och inte en som bara t ex svarar på en fråga i taget, som ChatGPT.)

Det enda den "vill" göra är att bota cancer. Men den kommer att inse att ifall någon stänger av den kommer den inte att kunna bota cancer. Därför får den automatiskt som delmål att se till att ingen stänger av den.

Jag har fixat det, vi behöver bara tre lagar för alla AI:n.

(...tack Asimov)

Det är väl just det här AIforskare så som Max Tegmark ändå tror går att göra.

Han hade ett ganska dystopiskt sommarprat om det här i somras.
https://sverigesradio.se/avsnitt/max-tegmark-sommarpratare-20...

Inte för att han behöver ha rätt. I någon del egentligen.

Men hur kan man vara så säker på att vi inte skulle kunna skapa något sådant?

Så den här gudalika allvetande AI'n klarar inte detta?

Det där är ju ett av dom grundläggande problemen med erat resonemang, ibland, när det passar er, så är AI'n så smart att vi inte ens kan greppa hur smart den är, och i nästa stund, lustigt nog också när det passar er, så klarar den inte dom mest basala sakerna.

Hur skulle vi kunna det?

Jag har ju ett favoritcitat från filmen Heist som illustrerar detta: