Håller helt med på varje punkt här. Viktigaste insikten är att LLMs är, i nuläget i alla fall, "bara" ett verktyg bland många andra. Helt övertygad om att det som primärt skiljer sig mellan de som anser det är överhypad skit och de som tycker det är en av de största revolutionerna datavärlden sett ligger just i hur man tar sig an denna teknik.
"Prompt engineering" är något man måste lära sig, skit in kommer rätt ofta ge skit ut på denna punkt.
Sen just angående programspråks lämplighet för ChatGPT. Har undersökt detta en hel del i form av enklare tester samt en rätt lång diskussion med ChatGPT kring potentiella utmaningar.
Föga förvånande var ChatGPT rätt tvärsäker (och vad jag kan bedöma även korrekt) i att Python är det språk som hanteras bäst i nuläget.
Rent generellt verkar LLMs har lättare att hantera dynamiskt typade språk. När jag adderade kontext "jag gillar inte dynamiskt typade språk, vilka statiskt typade fungerar bäst" + ett gäng kontrollfrågor kring det hade jag förvänta mig att C och C++ skulle komma ut i toppen p.g.a. att det rimligen finns mest att träna på där.
C ligger hyfsat högt, men C++ kom rätt långt med och orsaken som pekades ut var att LLMs kan få problem med den rätt komplicerade syntaxen. I fallet Rust (som jag har haft gott resultat med ihop med ChatGPT) nämndes att enklare saker fungerar bra där, men det blir ofta problem med borrow-checker i mer komplexa fall.
Det statiskt typade språk ChatGPT hävdar den är "bäst" på i nuläget är Go. Vilket givet Go:s designkriterier att vara ett väldigt enkelt språk "make sense". Funderar på att försöka klara hela årets Advent of Code utan att själv skriva en enda rad, d.v.s. helt "programmera" i ChatGPT+Go. Är ~90 % säker på att det kommer gå vägen
Vad gör ni och hur hjälper AI er?
Har i praktiken nästan helt slutat förlita mig på Google-sökningar. De är nu ersatta med konversationer med LLM, främst ChatGPT.
Vilken tjänst är bäst?
Vilken tjänst som är bäst beror på vad man gör. I fallet ChatGPT är det natt och dag mellan gratisversion och betalversion, lika så finns en hyfsat stor skillnad mellan olika modeller beroende på vad man gör.
Hört mycket gott om Anthropics Claude specifikt som hjälpmedel vid kodande. Själv bara använt den väldigt sparsamt så här långt.
Är det värt att betala för?
Om man faktiskt tänker använda det för mer än "lite testning", så är tyvärr svaret: ja, företagen fattar att de måste tjäna pengar och det märks väldigt väl i nivåskillnad mellan gratisversion och betalversion.
Tjänar ni pengar på det?
Då tid är pengar, tjänar absolut pengar på användning av LLMs.
Förutom som ny sökmotor använder jag tekniken väldigt mycket som ett bollplank vid programmering.
När man debuggar ett komplext problem måste man ha rimliga förväntningar. Ja, en LLM kommer nästan alltid ge något svar. Det är fullt rimligt att då förvänta sig att den har fel majoriteten av fallen, de flesta människor skulle också gå bet men väldigt många skulle ändå komma med en lång rad förslag där de flesta knappast är bättre än de gissningar en modern LLM gör.
Har löst väldigt många, högst komplexa, problem på betydligt kortare tid det det hade tagit om man behövt läsa all dokumentation för att få samma detaljinsikt som LLMs redan har. Det man själv kan bidra med är strategin hur man eliminerar de saker som inte kan vara orsak, det på ett sätt så LLM "fattar" det på "rätt sätt" ("Prompt engineering")