Världsmästare i Dota 2 förlorar mot artificiell intelligens från OpenAI

@Sneaky_rhino:
Så vi är överens om att det är randoms(slumpmässiga personer tydligen mellan ~4-8k mmr som var närvarande vid TI som besegrade AIt inom en högst begränsad version av DotA(nämligen 1v1), de vann genom att utnyttja att det just är en bot och därmed inte besitter intelligens likt människor). Förstår inte riktigt vad du ville komma fram till?

Passande, Garry Kasparov hade en föreläsning om just AI vs människa på defcon för någon vecka sedan!

https://youtu.be/fp7Pq7_tHsY

Skickades från m.sweclockers.com

Ja, jag också, men som jag skrev så brukar det vara speciella regler vid 1vs1, så inga konstigheter egentligen.

När det är min tur att låna den ska jag varva wow med den.

De fick vi reda på redan i Wargames, sätt bara antalet spelare till "zero"

Att ställa två "AI:n" (artificiella neurala nätverk) mot varandra är absolut en metod som används för vissa arkitekturer. Sen är det supervassa forskare på ett icke vinstdrivande initiativ som gjort detta, så dom ägnar sig nog inte åt säljsnack

De kanske vill ha bidrag till forskningen?

Git gud

jag ser inte fram emot den dagen al-Qaida blir ai-Qaida...

eftersom det alltid är habegäret som styr kommer man skapa Ai so kan roffa åt sig, sedan behöver det skapas smartare AI för att förhindra detta och då skapas smartare.. ja ni fattar karusellen. lite som antivirus idag. resultatet är gigantiska mängder datakraft som bara är till för att motarbeta sig själv istället för att användas produktivt.

Fatta vilken typ av spam som AI kan tänka ut.

Tack för din post, skulle precis fråga vad skillnaden mellan denna "AI" och en vanlig bot som spöar mig i Civ 6 var. Men nu förstår jag bättre.

Turing test

AI:s kan redan slå människan när det kommer till reaktioner, t.ex instant hex , eller lasthits så rent mekaniskt så kan den slå människan. Instant items och abilities såsom blink/euls/phase shift(puck) kan göra dem i princip odödliga mot en enskild motståndare.

Frågan är dock vad som skulle krävas för ett femmannalag skulle bli oslagbart.

Draft: Det finns 113 heroes, alltså 140364532 möjliga drafts i slutet, antar att de kan köra någon sorts strategi med hjälp av data "Ah men den här draften brukar gå bra mot just den här draften som motståndarna tagit". Sedan så finns det knappast tid för AI:n att köra alla drafts mot alla drafts en hel del gånger. Eller så kan de göra drafts med såna heroes som har "instant cast" abilities och utnyttja det fullt ut.

Heroes: Det tog 2 veckor att träna upp Shadow fiend till pro , men jag vet inte om samma "skills" översatts till andra heroes. Anta att alla heroes tar 2 veckor att lära för midlane, då har vi 113*2~4 år att köra midlane med alla heroes med samma resurser. Sedan så var det ju bara 1 hero mot en annan hero, den kan ju ha 112 möjliga motståndare som den kör mot i mid.

Lanes: Sedan var den ju begränsad i princip endast till midlane. Det finns ju 3 lanes. Hur anpassar den sig till det? Ibland måste man nästan skrota en lane för "den funkar inte" helt enkelt. Ibland måste man lämna sin lane för att hjälpa till någon annan eller helt enkelt gå jungeln.

Game mode: 1vs1 varar knappast lika länge som 5 vs 5. Skulle inte förvåna mig om det tog 7 gånger så lång tid som 1 mot 1 i genomsnitt. Sedan så kommer den säkert vara oerfaren i lategame scenarion där man värderar saker lite annorlunda , har du t.ex 40k guld och fullt med items kanske det inte är så relevant om du farmar din egen jungel. Men man kan väl hoppas att man vinner inom 40 min kanske?

Kommunikation: Du kan inte ha 5 individer som bara kör sitt eget spel, det kommer inte funka. Det finns ju mångdubbelt med val som man kan göra här (gruppera ihop sig, möjligtvis koordinera vem som ska farma vilka creeps, om någon ska splitpusha etc). De måste kommunicera med varandra för att det ska gå ihop.

Patcher: En hero kanske ändrade en av sina abilities eller så gjordes det om så mycket att den måste tränas om (t.ex death prophet fick soul siphon, eller ursa som fick damage block på sin ult och multiplier på swipes).

Items: Fanns vissa restriktioner sedan innan på items. Sedan så har den nog inte så stor erfarenhet av items senare i spelet då 1 vs 1 brukar vara rätt så korta.

Kort sagt: Det är inte bara lite svårare, utan dota 2 kommer förmodligen vara borta sedan länge innan den lärt sig färdigt. Iallafall för att få fram ett lag som alltid vinner mot t.ex team liquid.

Verkar som att många här tror att AIn skapades med syftet att spela Dota. Nej den använder deep learning för att kunna i teorin lära sig exakt vad som helst, många här verkar underskatta vidden av det.

Det här är ingen liten Starcraft 2 bot som någon spelutvecklare har skrivit ett spelmönster åt.

Hela neutrala nätverket är iof uppbyggt med bland annat if-satser och loopar. Du får det att låta som den konventionella logiken satts ur spel.

Ska tio st hjältar väljas (5 pre lag) från en bas på 113 så går det att kombinera på ca 200 triljoner olika sätt. 2,25*10^20
Ganska rostig på matten, men det skrivs väl såhär tror jag: 113! / 104!

Om datorn bara gör counter pics så blir det mycket lättare såklart. Första rundan finns det 112 hjältar att välja på för datorn och andra 110 osv. 112 * 110 *108 * 106 * 104. Blir ca 14 miljoner val. Blir mest nyfiken på siffran du fått fram. Säkert inte fel för det finns så många sätt att räkna på.

Förutsatt att det inte går att köra rundorna i högre hastighet och att man bara får använda en instans av mjukvaran ;). Det där kan säkerligen snabbas på om man kör några tusen instanser parallellt för att lära sig olika matchups och tränar kombinationer.

Ja komplexiteten här ovan är inte bara ett litet steg upp utan det är komplext på en helt annan nivå. Håller med dig helt. Med nuvarande angreppsätt av ren trial and error för alla mobinationer kommer det ta orimligt lång tid. Men det händer väl en del på forskningsfrinten i hur man lär AI snabbare och snabbare också.
Oavsett är det spännande. Strategispel som starcraft och liknande tror jag kommer dröja lite till också. Det är inte ett lätt problem att ta sig an alltså.

Fast det stämmer inte, AI:n använde ett API från Valve (https://developer.valvesoftware.com/wiki/Dota_Bot_Scripting) med realtidsinformation, dvs inte en simulering av ett mänskligt spelande.
Dom coachade även den med vad som anses vara bra taktiker och ej.

Ja, man kan se draften som det senare alternativet som du sa, alltså alla möjliga drafts. Kommer inte ihåg om de ändrat så att bannen blir random om man inte bannar något (se iceiceice no ban strat). Sedan så har vi lineups (som jag förmodligen skulle skrivit för att klarare markera skillnaden) där ordningen inte spelar roll, då har vi kombinationer. 113 möjliga hjältar och vi ska välja 5 av dessa, alltså har vi 113!/(113-5)!5! = 140364532 lineups möjliga (för ett enskilt lag som jag tänkte på). Nu har jag inte räknat med alla möjliga motståndare som de kan möta och här tror jag att det också är kombinationer [lycan a b c d] är ju samma som [a lycan b c d] , alltså 113!/(113-10)!10!= 62088566355816 (rätta mig om jag har fel).

Så sett från de siffrorna, så om de lyckades beräkna en match på 696 sekunder (det är 4 gånger snabbare än en vanlig match) så skulle de hålla på sedan tidernas begynnelse fram till nu för att kunna köra alla drafts mot alla möjliga drafts....en gång!

Nu kan ju en dator göra det snabbare, men jag ser inte direkt hur det skulle kunna ta mindre än 0,1 sekunder iallafall. Då är det fortfarande 2 miljoner år. Sedan skulle det ju vara bra att ha 2 miljoner gånger beräkningskraften så tar det 1 år. Då har man forftfarande inte analyserat alla spel, då lanes kan se annorlunda ut , ställen wards läggs på etc etc. Så ja...det verkar rätt så hopplöst om jag skulle vara ärlig.

Fast egentligen inte, traditionell AI är som en digital signal "binary" if true do x if false do y, medans neural networks är mer som en analog signal -1.0 till 1.0 så kan vara 0.37916.
Ex "nural network 1 layer". Man har en input node tex 1.0 med den leder till en neural node i kopplingen mellan dom så multipliceras signalen med tex 0.348 (weight ) sen processar neural noden inkommande signalen sen ger den ett nytt output (ex. 0.76134) som sen leder till output node med en (weight) koppling, fast man har flera inputs/outputs och flera lager och alla lager är kopplade till alla noder från det tidigare noderna,sen väljer man den node som har starkast output signal och man behöver inte ha en ända neural node som använder ett if -stement bara ren mattematik, vist sen sen finns det självklart vissa noder som kan innehålla if-statment beror lite på vilket typ av neural network man bygger, men fördelen att undvika if statment i en node är att det är betydligt långsamme än bara mattematik.

Man skulle kunna säga att den "konventionella logiken har faktiskt satts ur spel".

Om OpenAi bot: / hur gammal if-statement AI fungerar (1:10)

Ganska säker på att dom inte använder valves API för vanliga botar. För anledning att dom ens gjort AI:n är för att utveckla generell AI som kan användas i verkliga världen så skulle motverka lite poängen att använda ett API för att få variables etc, dessutom om man läser på:
https://universe.openai.com/
https://gym.openai.com/

"Agents use the same senses and controls as humans: seeing pixels and using a keyboard and mouse. Universe makes it possible to train a single agent on any task a human can complete with a computer."

Vist I teorin kan dom använda game states i ett neural network, eller en kombination av pixels + game states, jag kan inte hitta någon information om exakt hur dom gör med deras Dota AI, men med tanke på hur dom pratar om att kunna använda den boten i framtiden för att hjälpa kirurger så tror jag att dom antagligen använder pixel data.