Styr datorn med hjälp av ögonen

Ni som funderar på att använda denna teknik i fps-spel får räkna med att styrsystemet måste bli som till Xbox och andra konsoller med styrspak att man genom att titta +/- x grader ovanför eller under mittpunkten på skärmen, roterar +/-x grader/tidsenhet, och på samma sätt y åt vänster eller höger ifrån mittpunkten.

Den enda andra lösningen då man bara använder synen för att styra skulle vara att dela antalet betraktningspunkter i X-led med 360 grader, och Y-led med ex. 90 grader. Då skulle vänster till höger på skärmen motsvarar en 360 graders rotation. Problem uppstår då så att man ej kan titta på den punkt man skjuter på, ej heller i mitten av skärmen.

Med andra ord är "styrspakssystemet" det enda väl fungerande och jag vet att många inklusive jag själv hatar att spela fps med styrspak...

Men om man använder den här tekniken till siktet bara...
Alltså att man springer med vänstra styrspaken, styr kameran med högra styrspaken och siktet med ögonen. Dock skulle det bli konstigt när man ska titta till t.ex hur mycekt skott man har kvar eller liknande. Men det skulle nog fungera

Nice, då kan man ju sitta med båda händerna på tangentbordet hela tiden, utan att behöva flytta ena handen mellan t-bord och mus. Klicka fixas ju enkelt med hjälp av någon tangent.

Eller varför inte bygga in det i en bil. Bilen styrs åt det håll man kollar.

Såg på aftonbladet Tv om en handikappad kille som målade på datorn genom att styra den med ögonen förra veckan.

Lär ju funka bra. Om du ser nånting intressant så kör du över det automatiskt. xD. titta i sidospegeln och bilen viker av åt sidan, riktig kanon ide!

denhära neutral impuls accuator, är inte den mycket bättre?

Är väl ändå en annan sak? (som för övrigt heter Neural Impulse Actuator) Där NIA använder olika "händelser" i hjärnan används här ett enkelt optiskt "fenomen".

De har väl i grund egentligen olika ändamål. NIA, som jag förstod det, är ett komplement till mus och tangentbord.
Det Tall tagit fram skall ersätta musen och tangentbordet. Det Tall här gjort är dessutom mer förutsägbart och lättarbetat för alla, såväl utvecklare som slutanvändare - vem vet när du börjar tänka på snygga solbruna blondiner mitt i en gibbfest och plötsligt byter vapen för att NIA tolkade din hjärna så.

På något vis kan man nog säga att det Tall gjort är att han har gjort ögat till en optisk mus och skärmen till en musmatta.
Det NIA kan är att fånga upp visa saker i din hjärna och du kan sätta olika händelser till de "tolkningarna", typ "byt vapen"...

Mycket flum blir det 04:05, hoppas jag gör mig förstådd.

Har faktiskt testat den där apparaten på ett jobbseminarium på SU. Rätt häftigt och ganska nobelt att utveckla till handikappade. Dock så är det reklamindustrin som använder teknologin mest eftersom det är väldigt viktigt för dem att beta-testa deras reklamkampanjer för att se var publiken tittar på deras afficher eller reklamfilmer.

Funkade faktiskt riktigt bra, men jag skall inte säga att det är någon speciellt hög upplösning, så ni kan itne spela Quake med ögonen era lata jävlar

Observera att emedan man faktiskt kan ersätta tangentbordet är det knappast önskvärt. Detta är snarare ett komplement. Tänkas kan att framtidens gränssnitt kan hantera flera input från en användare samtidigt, dvs vi kan styra datorn med händerna, rösten och ögat samtidigt.

Anledningen till varför tangentborden inte kan ersättas beror på hur handen är styrd av hjärnan. Ögat är ett inorgan och den informationsmängd man kan få "ut" ur ögat är väldigt liten. Men däremot snabb. Så ögat kan ersätta/komplettera musen. Handen med sina fingrar är däremot utmärkta utorgan och det är ej någon försumbar del av hjärnans motoriska barkar som sysslar enkom med handen. Rösten är också bara ett komplement. Eftersläpningen från tanke till tal är faktiskt rätt stor och själva talet är seriellt med en begränsad innehållsmängd per tidsenhet (ca tio fonem per sekund). Man talar dock snabbare än vad man skriver på ett tangentbord, men det man får ner på ett tangentbord är mer korrekt eftersom meningsbyggnaden gås igenom i hjärnan flera varv för varje mening som byggs upp. När man talar hinner man inte justera meningsbyggnaden under uttalets gång med mindre än att det grammatiskt blir fel.

Att koppla in sig på hjärnan direkt kan nog bara bli en effektiv verklighet om man rent fysisk bäddar in elektroder i hjärnan och alltså genomgår en operation. De signaler och signalvägar som kan avlyssnas med EEG och liknande tekniker är väldigt diffusa och räcker inte till mycket mer än att flytta en markör, klicka, spela enklare spel, etc. Att bygga upp en mening på detta sätt går plågsamt långsamt och kräver träning. Om man verkligen ska få ur t.ex. handens, struphuvudets eller ögats rörelser innan rörelsen faktisk exekveras krävs betydligt bättre teknik och större förståelse för hjärnan. Den tanke om rörelse i den kognitiva apparaten har säkerligen inte informationen om hur rörelsen exakt ser ut med muskelkontraktion - det räknas ut av de motoriska barkområdena. Kunskaperna härom börjar klarna, men ännu finns ingen bild av detta så fullständig att man kan bygga teknik för att utnyttja det. Men i framtiden...

Eye trackern är alltså inte utvecklad i Lund utan av det tyska företaget SMI som är en konkurrent till svenska Tobii. Tekniken har funnits i flera decennier men har först de senaste fem åren kommit ut som produkter som riktar sig till andra än akademiska forskare. Tobii är idag värdsledande på non-intrusive (alltså att man slipper sitta med ett stöd mot panna och haka) eye tracking och SMI är enda riktiga konkurrenten.

Tobii har haft sin produkt för funktionshindrade, MyTobii P10, på marknaden i 2 år. Med den kan man göra betydlig mer saker än vad Martin Talls prototyp klarar av, bland annat surfa och skicka e-post och sms.

Vad gäller eye tracking i spel så gäller det att försöka se utanför det uppenbara att ersätta musen med ögonrörelser. På grund av ögats och synens natur kommer man aldrig kunna uppnå tillräcklig precision med eye tracking för att det ska vara lika precist som musstyrning. Börjar man däremot titta på kontextuell information (tänk Terminators HUD), immersionsförhöjande funktioner som att NPCer tittar spelaren i ögonen och reagerar på dennes blick, då börjar det bli riktigt intressant. Vill man nödvändigvis använda blicken för att sikta med så måste man koppla loss siktet från kameran och använda både mus och ögon. Precis som andra nämnt så är det rätt opraktiskt att styra kameran med ögonen...

WoW demo: http://www.youtube.com/watch?v=NBIjWA8CHls

Ett enkelt demo i House of the Dead 2: http://www.youtube.com/watch?v=lGehsY7pcrc

Ett äldre exempel i Q2: http://www.youtube.com/watch?v=3pRWYE2LRhk

Det vore intressant om man kunde komplettera det här med OCZ:s NIA, röra musen/förflytta sig på skärmen med ögonen och exkevera enklare komandon med "huvudet", skulle som nämnts inte fungera på allt, men vissa applikationer skulle det fungera bra på!

"Talla framför datorn" kommer få en helt ny innebörd.

Håller helt med dem som tagit upp Tobii. Fattar inte ens hur den som skrivit nyheten har lyckats missa dem, de har ju vunnit ett flertal priser, varit i toppskiktet på "Årets svenska teknikföretag", "Stora Designpriset" med mera. De har dessutom varit på Dreamhack och visat upp.

Nej, detta var verkligen en mystisk nyhet.

Tjena gott folk!

Tack för all respons som varit mestadels kanon, den om Talla ovan var väl mest skoj

Jag har aldrig påstått att jag uppfunnit vare sig eye tracking eller gaze interaction, det har ju funnits sedan 90-talet, långt innan det blev kommersiellt med bl.a Tobii.

Mitt gränssnitt skiljer sig rätt mycket i form av interaktionsmetod från andra om vi titta på Tobii så består deras gränsnitt i ett "grid" med ett antal knappar. dessa aktiveras genom att man tittar på knappen under en sekund eller så. Denna typ av interaktionsmetod upplevs ofta som stressande eftersom överallt man tittar börjar något att aktiveras. Det är detta som jag har försökt lösa. Genom att man först titta på knappen för att visa menyalternativen och sedan gör en aktiv ögonrörelse till ikonen för att aktivera.

Visst har MyTobii fler funktioner, email, www etc. Dom har också mer än 150 anställda och 100 miljoner i finansiering från Wallenberg. Deras maskin går loss på närmre hundra tusen kronor (vad jag sett) Dom har gjort ett kanonjobb med att ta fram en komplett produkt, klar inspirationskälla.

Min prototyp fungerar med alla eye trackers. Komponenterna är återanvändbara och kommer förmodligen att bli open source. Dom fungerar med alla eye trackers inklusive de open source varianter som finns (kommer snart bättre)

Känner på något sätt att detta har potential att förändra datorinteraktion som vi känner till det. Sen är det klart att vissa ser problem när andra ser möjligheter.

Återkommer snart med mer för er som är intresserade, proto 1 är rätt tidig.

"Exempel på användningsområden där denna teknik kan ha stor nytta är för handikappade som har svårt att röra på händerna, eller hos andra personer som av en eller annan orsak inte har möjlighet att använda händer och armar för att interagera med datorer."

Läs gärna innan du säger dumma saker. Du behöver inte använda tekniken om du inte vill, ingen som tvingar dig.

*Bonk*

Pssst... Har etablerat lite kontakter, har pratat med folk som gjort studier. Dessa har visat att en kombination av EMG och eye tracking klart snabbare än mekaniska/optiska möss.. löst snackat så rörde det sig om 100ms snabbare per "frag". Det kostar mycket mer tid att flytta handen o musen över hela skärmen än det gör att flytta ögonen samma avstånd (hyggligt konstant tid)

Mao, det är på G..

Det är miljövänligt också! Det går åt åtskilligt mer med kalorier att röra handen än ögat får man förmoda!

Vill bara klargöra att mitt inlägg inte på något sätt var kritik mot dig utan åt nyheten som sådan som inte kändes så påläst.

Det är väldigt kul att det görs forskning på ögoninteraktion. Det kommer krävas mycket utveckling för att få fram nya gränssnitt som fungerar riktigt bra med eye tracking. Jag är dock övertygad om att det går att designa gränssnitten på ett sådant sätt att det faktiskt är så behagligt att använda dem att även vi som kan välja vill strunta i musen.

När det gäller Tobii's användare så använder de allra flesta någon typ av switch för att klicka. Antingen i form av en stor knapp framför sig eller någon av de dussintals andra designer som finns som t.ex. "blåsrör" eller "huvudswitch".

Den stora vinsten i att inte behöva sikta med en mus är att även när du ska använda en mus så måste du först titta på det du ska sikta på. All tid som går åt efter det, till att flytta muspekaren, är sådan man tjänar in med eye tracking.

När du säger att din mjukvara är kompatibel med alla eye trackers, menar du verkligen on-the-fly eller att det är möjligt att integrera indatat från dem i din applikation? Det låter väldigt ambitiöst om du har letat upp alla olika eye trackers som finns och implementerat gränssnitt mot dom

Javisst, jag håller med. Det återstår en hel del forskning och utveckling för att ögonstyrning ska bli riktigt bra. Att använda ytterligare en switch/knapp/pryl är troligen en bra kompromiss. Ögat i sig är gjort för att observera omgivningen. Jag går och funderar på röststyrning, multitouch, EMG (ex. Neurosky, BrainFingers) och vanligt keyboard. Men klart viktigt är att definiera vem användaren är och vilka behov denne har. Känns ju extra bra att göra något som höjer livskvalitén för handikappade. Avsikten med min uppsats var att driva på utveckligen av interaktionsmetod och gränssnitt för enbart ögonstyrning.

Well.. Ligger nog närmre "..möjligt att integrera indata.." Jag har provat mitt gränssnitt på Tobii 1750 och det fungerade mycket bra, väldigt robust tracking. Behövde inte anpassa koden alls, använde mouse-control funktionen

Det finns ett intressant projekt som Oleg Spakov i Finland har jobbat på, det går ut på att göra en universiell drivrutin som läggs ovan på befintliga eye trackers. Bra idé, behövs nån sorts kompabilitet och standard för det har börjat dyka upp fler eye trackers. Ska träffa honom senare i sommar o spåna lite, se vad vi kan knåpa ihop

Kiyoko, har du någon erfarnhet av att jobba med att utveckla för ögonstyrning? (förstår om du inte kan diskutera så mycket om det pga Tobiis NDA policy)

Handen är och kommer alltid att vara snabbare än ögat!

http://www.youtube.com/watch?v=3hDRLJMCyYU