Hackare lurar AI med ASCII-konst

Permalänk
Melding Plague

Hackare lurar AI med ASCII-konst

Chat GPT med GPT 3.5 och 4.0, Gemini, Llama 2 och Claude är alla sårbara för den nya attackmetoden.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Permalänk
Medlem

Kan inte skaparna av ChatGPT bara be ChatGPT ta bort informationen om hur man gör bomber ur sitt "minne"?
Jag menar, varför bara blockera prompten men låta själva informationen vara kvar, om det nu är något man inte vill ska komma ut?

Permalänk
Medlem

Hur är det tänkt att stoppa t.ex. Opensource LLM från att svara på frågor som myndigheter inte vill?

Permalänk
Medlem

Finns det ett lås, så finns det en nyckel.

Permalänk
Medlem
Skrivet av m4gnify:

Kan inte skaparna av ChatGPT bara be ChatGPT ta bort informationen om hur man gör bomber ur sitt "minne"?
Jag menar, varför bara blockera prompten men låta själva informationen vara kvar, om det nu är något man inte vill ska komma ut?

Funderar inte så. En databas fungerar mer som en bok.
Men du borde kunna fråga hur skapar jag bättre funktioner 👍
Vissa svar finns inte tillgängliga, om du har provat fråga chatt?

Permalänk
Medlem
Skrivet av Disney:

Funderar inte så. En databas fungerar mer som en bok.
Men du borde kunna fråga hur skapar jag bättre funktioner 👍
Vissa svar finns inte tillgängliga, om du har provat fråga chatt?

Bevisligen så finns ju svaren kvar, bara man "lurar" "AI'n"
Man kan ta bort delar ur en databas, eller?

Permalänk
Medlem
Skrivet av m4gnify:

Kan inte skaparna av ChatGPT bara be ChatGPT ta bort informationen om hur man gör bomber ur sitt "minne"?
Jag menar, varför bara blockera prompten men låta själva informationen vara kvar, om det nu är något man inte vill ska komma ut?

En AI har inte informationen, den genererar informationen. Det är inte en databas i traditionell mening.

Men ja, istället för att filtrera input så borde man kunna filtrera output, men det finns alltid sätt att komma runt saker, precis som att hackare hittar en väg in i andra system.

Permalänk
Medlem
Skrivet av m4gnify:

Bevisligen så finns ju svaren kvar, bara man "lurar" "AI'n"
Man kan ta bort delar ur en databas, eller?

Smart ide! du borde jobba åt Google

men tänk om man vill ha tillgång till alla svar, lite trist att ha en bok som saknar sidor?
man skulle kunna ha två versioner av allt, men tror är en kostnadfråga?

Permalänk
Medlem
Skrivet av m4gnify:

Bevisligen så finns ju svaren kvar, bara man "lurar" "AI'n"
Man kan ta bort delar ur en databas, eller?

Det är inte en traditionell databas. All text har blivit uppdelad i tokens där ett token kan vara ett ord eller en del av ett ord. Dessa tokens får sedan ett unikt numeriskt ID som lagras i s.k. embedding vectors som håller kontextuell information om hur olika tokens förhåller sig till varandra.

Den korta förklaringen är att informationen om hur man tillverkar en bomb ligger inte samlat på ett ställe där man bara kan gå in och ta bort den.

Visa signatur

AMD Ryzen 7 1700X 3.8 GHz 20MB | ASUS PRIME X370-PRO | MSI GeForce GTX 1080 Gaming X 8GB | G.Skill 16GB DDR4 3200 MHz CL14 Flare X | Corsair RM650x 650W

Permalänk
Medlem
Skrivet av dlq84:

En AI har inte informationen, den genererar informationen. Det är inte en databas i traditionell mening.

Även om det inte nödvändigtvis är en databas i traditionell mening, så är det klart att AI har informationen.

Permalänk
Medlem

Folk som gjorde ascii-art till BBSer

-Jag sa ju att det skulle komma tillbaka!

Visa signatur

Att förespråka Mac på Swec är som att förespråka hybridbilar på en raggarträff i Mora.

Permalänk
Hedersmedlem
Skrivet av noMad17:

Det är inte en traditionell databas. All text har blivit uppdelad i tokens där ett token kan vara ett ord eller en del av ett ord. Dessa tokens får sedan ett unikt numeriskt ID som lagras i s.k. embedding vectors som håller kontextuell information om hur olika tokens förhåller sig till varandra.

Den korta förklaringen är att informationen om hur man tillverkar en bomb ligger inte samlat på ett ställe där man bara kan gå in och ta bort den.

Det man behöver skaffa sig kontroll över av både den och upphovsrättsliga orsaker, är datan man tränar modellen på. Vill man inte ha med recept på bomber och tveksamma råd om vad man ska göra när syrran fastnat i tvättmaskinen, kanske man inte ska mata den med hela reddit urskiljningslöst.

Filtrerar på output gör de redan, ibland börjar den skriva väldigt intressanta saker som den sedan kommer på att ”sorry, det här kan jag inte svara på”.

”behöver” inom stora citationstecken förresten, jag tycker det var roligare när de var ofiltrerade.

Visa signatur

Det kan aldrig bli fel med mekanisk destruktion

Permalänk
Medlem
Skrivet av noMad17:

Det är inte en traditionell databas. All text har blivit uppdelad i tokens där ett token kan vara ett ord eller en del av ett ord. Dessa tokens får sedan ett unikt numeriskt ID som lagras i s.k. embedding vectors som håller kontextuell information om hur olika tokens förhåller sig till varandra.

Den korta förklaringen är att informationen om hur man tillverkar en bomb ligger inte samlat på ett ställe där man bara kan gå in och ta bort den.

Bra förklaring, men jag förstår ändå inte riktigt varför det inte finns verktyg som kan filtrera bort eller ta bort saker man absolut inte vill att en AI ska kunna "berätta" om.

Permalänk
Medlem
Skrivet av m4gnify:

Bra förklaring, men jag förstår ändå inte riktigt varför det inte finns verktyg som kan filtrera bort eller ta bort saker man absolut inte vill att en AI ska kunna "berätta" om.

Det finns det redan, men att helt förhindra att den genererar oönskad output är väldigt svårt eftersom att denna output kan ta nästan oändligt antal olika utformningar.

Man använder sig t.ex. av tekniker som RLHF (reinforcement learning from human feedback) där man försöker träna bort oönskad input genom att betygsätta svar som genereras. Ju lägre betyg desto lägre blir sannolikheten att ett liknande svar genereras igen.
Sedan använder man även diverse "post-processing filters" som kollar på det genererade svaret och försöker avgöra huruvida det innehåller oönskad information.

Du kan ju tänka dig själv hur många olika sätt du skulle kunna beskriva bombmakeri på utan att för den delen någonsin nämna ordet bomb.

Visa signatur

AMD Ryzen 7 1700X 3.8 GHz 20MB | ASUS PRIME X370-PRO | MSI GeForce GTX 1080 Gaming X 8GB | G.Skill 16GB DDR4 3200 MHz CL14 Flare X | Corsair RM650x 650W

Permalänk
Medlem

För att vara "AI" är de inte speciellt smarta. De är jäkligt bra på specifika uppgifter, tror de flesta inte anser att dessa system faktiskt är intelligenta.

Nu blir det väl lite filosofiskt men definitionen av Intelligens bör rimligen innefatta abstrakta förmågot som exempelvis intuition, något som om dessa "AI" hade haft förmågan till hade genomskådat denna typ av kringgående av regler direkt.

Dessa "AI" system gör inte så mycket mer än att effektivt utvärdera data tror jag. För det framgår att lärandet är på plats men det är också det enda som fungerar bra. Det är som att de tagit en eller ett par specifik delar av intelligens och skapat ett tekniskt dito för dessa specifika saker.

Men det är nog rätt utgångsläge i arbetet med att skapa en riktig AI. Vägen dit kan dock bli spännande och förmågan kommer finnas förr eller senare för alla, oavsett vad de har för intentioner med nyttjandet av den.

Det är med skräckblandad förtjusning man upplever mänskligheten och hur den i framstegens namn gång efter gång balanserar utan säkerhet på en lina mellan två skyskrapor.

Visa signatur

You have earned my respect and my friendship.

Permalänk
Medlem

Hupp så jag är en rasist enligt dig? Otroligt intressant analys. Jag får tänka nog om mina livsval.

Permalänk
Medlem

Ser fram emot att AI tränas på uppdiktad data som skapats av andra AI, och senare skapar mer uppdiktad data, som andra AI tränas på, runt och runt och runt tills all sanning har nedgraderats till osanning.

Kan bli rätt viktigt att filtrera.

Permalänk
Medlem

De får väl skapa en AI som klurar ut hur man tar sig runt filtren och sedan införa filter som använder den informationen. AIn kommer lära sig när den förstår att människorna inte vill ha fakta att endast spotta ur sig vilseledande rappakalja för att undvika att råka säga förbjudna sanningar. Precis som vilken nyhetsmedia som helst.

Permalänk
Medlem

Vad tycker ni om Gemini nu när ni testat det ett tag? Jag föredrar fortfarande ChatGPT för det mesta.

Permalänk
Medlem
Skrivet av m4gnify:

Kan inte skaparna av ChatGPT bara be ChatGPT ta bort informationen om hur man gör bomber ur sitt "minne"?
Jag menar, varför bara blockera prompten men låta själva informationen vara kvar, om det nu är något man inte vill ska komma ut?

En av de stora problemen med en LLM är att man inte kan träna bort data. Man kan bara göra andra svar mer sannolika. För att få bort data måste man träna om modellen från grunden och då inte inkludera något om det man ville ta bort.

Skrivet av filbunke:

Ser fram emot att AI tränas på uppdiktad data som skapats av andra AI, och senare skapar mer uppdiktad data, som andra AI tränas på, runt och runt och runt tills all sanning har nedgraderats till osanning.

Kan bli rätt viktigt att filtrera.

Det här är ett annat jätteproblem med dagens LLM. Särskilt i kombination med svaret ovan. Blir snabbt en echo chamber.

Olika strategier o lösningar på båda problemen kommer dagligen men än så länge har ingen presenterat en lösning som fixar allt. Men är övertygad om att standarder kommer strax.

Visa signatur

Processor: Motorola 68000 | Klockfrekvens: 7,09 Mhz (PAL) | Minne: 256 kB ROM / 512 kB RAM | Bussbredd: 24 bit | Joystick: Tac2 | Operativsystem: Amiga OS 1.3

Permalänk
Medlem

Om man är tekniskt kunnig nog att utföra det här hacket behöver man knappast hjälp ifrån AI för att konstruera en bomb. Tillräcklig säkerhet är uppnådd!

Permalänk
Skrivet av dlq84:

En AI har inte informationen, den genererar informationen. Det är inte en databas i traditionell mening.

Men ja, istället för att filtrera input så borde man kunna filtrera output, men det finns alltid sätt att komma runt saker, precis som att hackare hittar en väg in i andra system.

ChatGPT filtererar redan sin output i vissa fall. Jag har sett den börja skriva ut något och i processen sedan ta bort svaret för att den tolkat något fel där felstavade ordet är svartlistat.

Permalänk

Om man i Italien frågar chat GPT hur gör man en Hawaiipizza, så kommer deras nationella insatsstyrka storma bostaden med allt de har.

Nå många exempel som nämns finns det redan förslag på internet på sedan hur länge som helst, långt före år 1995. Det man får från chat GPT är också ett sämre förslag på alla sätt och vis.

Det speciella är om folk vill ha tips på saker som inte folk redan har gjort detaljerade förslag på. Eller automatisera, ta alla telefonbedragare, snart är det Ai som ringer upp. Detta kan de göra väldigt billigt till väldigt många.

Detta vet myndigheterna om att detta kan komma ske, om de inte motverkar det som ta bort i princip gratis telefonsamtal, bättre med bankid etc.

Permalänk
Skrivet av lillaankan_i_dammen:

Det speciella är om folk vill ha tips på saker som inte folk redan har gjort detaljerade förslag på. Eller automatisera, ta alla telefonbedragare, snart är det Ai som ringer upp. Detta kan de göra väldigt billigt till väldigt många.

Det har man redan gjort i många år nu. Även telefonsäljare använder AI som ringer upp och håller i den första dialogen innan säljaren tar över.

Permalänk
Medlem
Skrivet av Megaforce:

Det har man redan gjort i många år nu. Även telefonsäljare använder AI som ringer upp och håller i den första dialogen innan säljaren tar över.

Kan du ge några exempel?

Permalänk
Medlem

AI sammanfattar extremt bra, men dra slutsatser är inte den starka sidan

Visa signatur

CPU: 5600x
GPU: 3080
RAM: 32GB

Sluta gömma din identitet, skaffa en till istället

Permalänk
Medlem
Skrivet av jspider:

Om man är tekniskt kunnig nog att utföra det här hacket behöver man knappast hjälp ifrån AI för att konstruera en bomb. Tillräcklig säkerhet är uppnådd!

Bygga bomber är samma kompetens som att kunna nåt om mjukvara? Alla IT-specialister är också bombmakare. Eller vad menade du?

Sen är väl hela poängen med forskningen ändå att alla skydd vi bygger in inte är tillräckliga utan man måste göra ett ordentligt förjobb med träningsdatan. Något som är långt ifrån praxis idag. Man släpper bara lös AI på så mycket dara det går i samband med träning utan vidare investering, där vidare investering hade varit filtrering av träningsdatan.

Visa signatur

Silverstone FT-02 Silver | Seasonic Platinum 1200W | Ryzen 9 5900X | MSI X570 Tomahawk | G.Skill Trident Z Neo RGB 32GB @ 3600/16/16/16/36 | ASUS TUF 3080 OC V2 | 1TB SSD WD SN850 | Noctua NH-D14 | Win 11 Professional | QPad MK-95 Pro | Logitech G903 | Acer X34P | Asus Xonar Essence STX | Beyerdynamic A1 | QPad QH-1339 | Beyerdynamic T1 | Fanatec CSWv2 + CSP | Thrustmaster Warthog | MFG Crosswind v3 | Xbox 360 | Xbox One | PS3 | PS4 | PS VITA | Nintendo Switch

Permalänk
Medlem

Tydligt hur mycket "I" som fortfarande saknas i det som kallas 'AI". Vilken läskunnig människa som helst skulle genomskåda detta direkt, även ett barn. Men AI tycks måsta skedmatas med specifika censurspärrar. AC nästa modeord, automatisk censur? Fast det är ju upptaget.

Visa signatur

Data: B650 + 7800X3D + 4080 Super + 64GB (2x32) + 2TB T700 + 850W
Ljud: Cambridge Audio DacMagic + SPL Phonitor 2 + AKG K812
Bild: MSI MAG 274UPF (27" 4K)

Permalänk
Medlem
Skrivet av MadMantiz:

Tydligt hur mycket "I" som fortfarande saknas i det som kallas 'AI". Vilken läskunnig människa som helst skulle genomskåda detta direkt, även ett barn. Men AI tycks måsta skedmatas med specifika censurspärrar. AC nästa modeord, automatisk censur? Fast det är ju upptaget.

Det är väl inget konstigare än att vi människor skedmatas med etik och moral när vi växer upp? Precis som människan kan inte en AI veta vad som är rätt och fel om den inte tränats för det.

Visa signatur

R&D Elektronikingenjör

Permalänk
Medlem
Skrivet av Rebben:

Det är väl inget konstigare än att vi människor skedmatas med etik och moral när vi växer upp? Precis som människan kan inte en AI veta vad som är rätt och fel om den inte tränats för det.

Jag kanske var lite otydlig, förstår det kan tolkats på annat sätt än jag avsåg.

Det jag syftar på är att denna AI tycks tränats till att ord i klartext är förbjudet, men verkar sakna den riktiga förståelsen och kan därför låta sig luras som exemplet i artikeln. Det menar jag inte ens ett barn skulle gå på. Ordets innebörd är ju samma oavsett hur det lindas in.

Visa signatur

Data: B650 + 7800X3D + 4080 Super + 64GB (2x32) + 2TB T700 + 850W
Ljud: Cambridge Audio DacMagic + SPL Phonitor 2 + AKG K812
Bild: MSI MAG 274UPF (27" 4K)