AI-skriven kod öppnar för nya säkerhetshot

Om man inte programmerar i ett jättestort språk, så har de LLM jag har testat nästan varenda kodrad hittat på saker som inte fungerar, bla funktioner som ej finns, detta till den grad att man inte blir så intresserad av att få hjälp från denna LLM som föreslår saker som ej fungerar på något sätt.

Såklart detta kan missbrukas, vilket liknande redan gör. Någon får ett felmeddelande för vad som helst och man kan få ett illasinnat lösningsförslag när man Googlar. Problem kan vara kompileringsfel, men bara tips på hur man löser en Windows updateproblem.

Det stora problemet anser jag dock vara folks nivå på säkerhetstänk. Ta artikeln om någon köpte en CPU från Amazon och fick en felaktig CPU som ej fungerade, ingen i artikeln skrev något om riskerna med att den kunde få en cpu som var en sådan typ som den utger sig för att vara, men den innehöll skadlig microcode eller annat.
Utan de ser endast riskerna med att produkten ej är av samma typ som den ska vara, d.vs. att prylen inte startar eller har lika hög FPS i spel.

Jag har sett LLM get riktigt bra svar flera gånger men man måste känna till deras brister.
Vill man ha information sammanställt så kan LLM vara skitbra.
Vill man ha kodhjälp i ett språk som inte är så populär och som kanske har lite ovanlig syntax, ja då är en LLM mer eller mindre värdelös. Det LLM kommer göra är att ge en förslag på hur den tror man skulle koda om man programmerade i ett superpopulärt språk.

Jag påstår att i princip all ny teknik kommer med bra och dåliga egenskaper, jag minns så väl pratet om att när utvecklare fick internet så skulle vissa bara skulle kopiera kod rakt av. Jag ser LLM mer som en vidareutveckling på detta.

Sedan borde data och internet säkerhet ingå i grundskolan. Jag pratar då den allra grundläggande som varenda morsa sa till deras barn på 1980 talet. Hittar man diskett på backen så stoppar man ej in den i datorn. Bara samma tänk överallt, att vara skeptisk emot saker och säkerheten har höjts rejält.

Man kanske borde ta in dessa morsor som är född runt 1950, där de får berätta om riskerna med disketter igen.

Föga förvånande. Men det är bara ett exempel på man inte kan lita på att "Ai-genererad" kod följer särskilt god säkerhetspraxis.

Sådan kod är ju mer eller mindre bara en mashup av andras kod som den kopierat hur som helst från Internet, och det kan vara vilka kodsnuttar som helst som modellen hittat likheter emellan.

Den största säkerhetsbristen skulle jag säga är Utvecklaren som väljer att använda något - (även om delegerat via MCP med "agenter"!) - denne inte förstår tillräckligt och/eller har verifierat att det är tillräckligt vedertaget rekommenderat att använda inom sin särskilda bransch.

Jag kan inte skriva kryptografiska algoritmer men jag kan logiskt finna mig fram till att om något används av tillräckligt många och talas gott om från verifierade spetskompetenta källor så är det - (tills att en sårbarhet upptäckts!) - troligen tillräckligt OK att använda i praktiken.

I skrivande stund upplever jag att det finns en slags underliggande genomsyrande nonchalant attityd mot Utvecklare från icke-Utvecklare i och med det pågående "Vibe coding"-tåget där icke-Utvecklare verkar resonera att, "Det är ju bara att 'kod-vajba' sig fram tills det fungerar tillräckligt!" då de är för omedvetet inkompetenta för att veta vad de inte vet ännu som de bör veta innan de yttrar sig.

100 % medhåll! 🫡

Liknande yrkesexempel: Hur många kemister använder kemikalier de aldrig har hört talas om och därmed inte vet hur de kanske reagerar med andra ämnen vid kemiska reaktioner? Hur många läkare skriver ut läkemedel de aldrig har hört talas om till sina patienter?

Förhoppningsvis kommer kemisten att läsa på om det nya ämnet innan denne börjar blanda, och förhoppningsvis kommer läkaren att kolla upp eventuella kontraindikationer och annat om det nya läkemedlet innan det skrivs ut till patienten ifråga. Och så vidare.

Mvh,
WKF.

Hur verifierar du att informationen är korrekt sammanställd?

Själv har jag försökt använda AI för att skapa CV, där AI:n plockat kunskaper helt upp i det blå. Än värre är väl då att även HR numera använder AI för att hitta kandidater?

Flest lögner vinner, eller?

"AI" används med fördel som ett verktyg för att aggregera och summera enorma mängder existerande, statisk data.

Data som troligen inte är korrekt kontextualiserad (spekulation, rätta mig gärna).

Jag (tror) att överrvägande mängd data som "AI" bygger sina svar på är fel, eller i bästa fall inte helt korrekt sett till vad man efterfrågar.

Lösningen är att man är skeptisk (som man alltid ska vara) men än mer än normalt. För svaren som presenteras är byggd på kaotisk grund, inte helt osannolikt förstår man heller inte svaret korrekt. Det är två vitt skillda saker att tro man förstår något (vet vad ändamålet är) och att veta att man förstår något (hur delkomponenterna som interagerar möjliggör ändamålet).

Man måste även ställa frågan väldigt korrekt. Eller så måste man begränsa modellen till att använda data som är korrekt och använda denna på korrekt sätt i korrekt kontext.

Den största risken med "AI" är att man köper svaren för snabbt och tror att den kan ersätta människor. Datan "AI" byggs på är 100% genererad av människor, "AI" besitter inte förmågan att skapa ny data, gör den det så degenererar den (rätta mig om jag har fel).

Trots dessa enorma brister och säkerhetsrelaterade problem så är "AI" väldigt kompetent när det används korrekt.

Jag ger LLM ingen data då jag inte har en vettig hårdvara att köra LLM lokalt.
Jag frågar generella frågor som den hämtar svar från sin data som den redan har sammanställt.
Detta svar analyserar jag tillsammans med svar jag får från att själv söka på t.ex. sökmotorn Google.

Och resultatet från LLM kan ibland vara bra. Men man får känna till LLM brister.

Jag ser det lite som den gamla SJ automatiska telefonsvarare väldigt ofta kunde ge bra svar, sedan finns det gott om klipp på YouTube när den inte gör detta. Vanligtvis är det då någon som inte följer instruktionerna med att endast ge varifrån och vart samt tidpunkt, vad deras katt heter ska de ej ge denna tjänst.

Detsamma gäller LLM, vet man om dens begränsningar och hur man ska skriva, så kan man för vissa saker få bra svar.

Det är inte meningen att man ska behöva hålla en AI i handen. Det ska bara fungera. Jag tycker inte ens man kan kalla dessa för AI. De är mer som sökmotorer. Som ofta ljuger för en. Fantastiskt.

Lite åt det hållet var det faktiskt! Höll främst på med LAMP - Linux, Apache, MySQL, PHP i slutet av 90-talet till 2005 någongång samt en hel del Lingo/Actionscript i Director/Flash. Kodade även lite GameBoy Color i ANSI C som examensarbete

Insåg väl runt 2015 någongång att mitt sätt att jobba med utveckling var ganska förlegat och precis som du säger består det mesta av olika ramverk idag.

Tappade lite intresset när "Hello world" växte från att vara en kodrad till att bestå av massvis av ramverk och kodbibliotek.

Just mina SQL-kunskaper har jag mest nytta av än idag. Om någon är duktig på COBOL, så är lönen rätt bra Tyvärr vad det innan min tid, men systemen rullar på än idag.

Datanördar har typ alltid varit skeptisk emot ny teknik, vare sig den nya tekniken heter GSM, 3G, internet, smartphone, vikbara skärmar osv. Jag ser det inte alls konstigt konstigt att trenden fortsätter.

Ser man på andra ställen så är folk mer nyfikna på AI. Men visst kan folk tro att utvecklingen går snabbare än vad den gör och förlita sig på denna.

Jag ser dock ingen större skillnad med att förlita sig på andra saker. Folk gör det ena och andra utan att först kolla upp det innan, detta av anledningar som de ej har tid eller orkar. Jag ser i framtiden att AI kan vara en slags barnvakt åt en.
Så när man hoppar in i bilen och ska köra iväg med båten, säger bilen. Att denna tunga last med bilen kräver C kort, du har bara B kort, kan du be någon annan med C kort köra? Det finns hur mycket som helst liknande barnvaktsfunktioner som en AI skulle kunna ha. Och då även inom IT, där AI kan vara folk för brister i deras kod osv.

Lastbilar har haft koll på lastvikt både på bil och släp sedan många år tillbaka och samma teknik kan givetvis implementeras i personbilar och känner bilen till vad du har för körkortsbehörighet, så skulle den kunna varna för överlast.

Men för detta krävs ingen AI - det räcker med ett par if-satser. Vi snackar logik, inte intelligens

Jag vet ej hur lastbilars lösning är. Men uppskatta vikt är lite komplicerat på ett släp som inte har någon viktgivare. En lösning är att beräkna vikt vid acceleration och bromsning och vilka utslag det ger på dragkroken med hänsyn av bilens lutning. Sedan har vi olika vindstyrka och ritning, underlag, broms på vagn m.m.

När det gäller AI så i princip allt som en AI kan göra går att själv lösa genom några ”ifsatser”, dessa ifsatser spårar snart in i absurdum. Och i praktiken kan man ej koda det man kan önska.
Sedan har vi AI som kan lösa problemet utan man vet om hur.

Det är just denna tillämpning av AI som jag mest tror kort på, saker som mycket väl hade gått koda själv om man hade fått haft kanske 1000 gånger så stor budget.

Sanning med modifikation, gör du en app eller program i en gratis AI och inte specifikt ber han härda den ja.
Utvecklar du med en AI och härdar med en annan så får du ett oroligt bra resultat.

Vanliga prompts är gjorda för snabba lösningar, inte långsiktiga och säkra