Styr datorn med hjälp av ögonen

Permalänk
Medlem

Ni som funderar på att använda denna teknik i fps-spel får räkna med att styrsystemet måste bli som till Xbox och andra konsoller med styrspak att man genom att titta +/- x grader ovanför eller under mittpunkten på skärmen, roterar +/-x grader/tidsenhet, och på samma sätt y åt vänster eller höger ifrån mittpunkten.

Den enda andra lösningen då man bara använder synen för att styra skulle vara att dela antalet betraktningspunkter i X-led med 360 grader, och Y-led med ex. 90 grader. Då skulle vänster till höger på skärmen motsvarar en 360 graders rotation. Problem uppstår då så att man ej kan titta på den punkt man skjuter på, ej heller i mitten av skärmen.

Med andra ord är "styrspakssystemet" det enda väl fungerande och jag vet att många inklusive jag själv hatar att spela fps med styrspak...

Permalänk
Medlem

Men om man använder den här tekniken till siktet bara...
Alltså att man springer med vänstra styrspaken, styr kameran med högra styrspaken och siktet med ögonen. Dock skulle det bli konstigt när man ska titta till t.ex hur mycekt skott man har kvar eller liknande. Men det skulle nog fungera

Permalänk

Nice, då kan man ju sitta med båda händerna på tangentbordet hela tiden, utan att behöva flytta ena handen mellan t-bord och mus. Klicka fixas ju enkelt med hjälp av någon tangent.

Eller varför inte bygga in det i en bil. Bilen styrs åt det håll man kollar.

Permalänk
Medlem

Såg på aftonbladet Tv om en handikappad kille som målade på datorn genom att styra den med ögonen förra veckan.

Visa signatur

[ASUS STRIX B650-A | AMD Ryzen 7600X | 32Gb DDR5 6000MHz CL36 | GeForce RTX 4080 | Custom Loop Cooling]
Det heter DATOR, inte DATA!

Permalänk
Citat:

Ursprungligen inskrivet av iguanodon
Eller varför inte bygga in det i en bil. Bilen styrs åt det håll man kollar.

Lär ju funka bra. Om du ser nånting intressant så kör du över det automatiskt. xD. titta i sidospegeln och bilen viker av åt sidan, riktig kanon ide!

Permalänk

denhära neutral impuls accuator, är inte den mycket bättre?

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av wildcover
denhära neutral impuls accuator, är inte den mycket bättre?

Är väl ändå en annan sak? (som för övrigt heter Neural Impulse Actuator) Där NIA använder olika "händelser" i hjärnan används här ett enkelt optiskt "fenomen".

De har väl i grund egentligen olika ändamål. NIA, som jag förstod det, är ett komplement till mus och tangentbord.
Det Tall tagit fram skall ersätta musen och tangentbordet. Det Tall här gjort är dessutom mer förutsägbart och lättarbetat för alla, såväl utvecklare som slutanvändare - vem vet när du börjar tänka på snygga solbruna blondiner mitt i en gibbfest och plötsligt byter vapen för att NIA tolkade din hjärna så.

På något vis kan man nog säga att det Tall gjort är att han har gjort ögat till en optisk mus och skärmen till en musmatta.
Det NIA kan är att fånga upp visa saker i din hjärna och du kan sätta olika händelser till de "tolkningarna", typ "byt vapen"...

Mycket flum blir det 04:05, hoppas jag gör mig förstådd.

Permalänk

Har faktiskt testat den där apparaten på ett jobbseminarium på SU. Rätt häftigt och ganska nobelt att utveckla till handikappade. Dock så är det reklamindustrin som använder teknologin mest eftersom det är väldigt viktigt för dem att beta-testa deras reklamkampanjer för att se var publiken tittar på deras afficher eller reklamfilmer.

Funkade faktiskt riktigt bra, men jag skall inte säga att det är någon speciellt hög upplösning, så ni kan itne spela Quake med ögonen era lata jävlar

Permalänk
Avstängd

Observera att emedan man faktiskt kan ersätta tangentbordet är det knappast önskvärt. Detta är snarare ett komplement. Tänkas kan att framtidens gränssnitt kan hantera flera input från en användare samtidigt, dvs vi kan styra datorn med händerna, rösten och ögat samtidigt.

Anledningen till varför tangentborden inte kan ersättas beror på hur handen är styrd av hjärnan. Ögat är ett inorgan och den informationsmängd man kan få "ut" ur ögat är väldigt liten. Men däremot snabb. Så ögat kan ersätta/komplettera musen. Handen med sina fingrar är däremot utmärkta utorgan och det är ej någon försumbar del av hjärnans motoriska barkar som sysslar enkom med handen. Rösten är också bara ett komplement. Eftersläpningen från tanke till tal är faktiskt rätt stor och själva talet är seriellt med en begränsad innehållsmängd per tidsenhet (ca tio fonem per sekund). Man talar dock snabbare än vad man skriver på ett tangentbord, men det man får ner på ett tangentbord är mer korrekt eftersom meningsbyggnaden gås igenom i hjärnan flera varv för varje mening som byggs upp. När man talar hinner man inte justera meningsbyggnaden under uttalets gång med mindre än att det grammatiskt blir fel.

Att koppla in sig på hjärnan direkt kan nog bara bli en effektiv verklighet om man rent fysisk bäddar in elektroder i hjärnan och alltså genomgår en operation. De signaler och signalvägar som kan avlyssnas med EEG och liknande tekniker är väldigt diffusa och räcker inte till mycket mer än att flytta en markör, klicka, spela enklare spel, etc. Att bygga upp en mening på detta sätt går plågsamt långsamt och kräver träning. Om man verkligen ska få ur t.ex. handens, struphuvudets eller ögats rörelser innan rörelsen faktisk exekveras krävs betydligt bättre teknik och större förståelse för hjärnan. Den tanke om rörelse i den kognitiva apparaten har säkerligen inte informationen om hur rörelsen exakt ser ut med muskelkontraktion - det räknas ut av de motoriska barkområdena. Kunskaperna härom börjar klarna, men ännu finns ingen bild av detta så fullständig att man kan bygga teknik för att utnyttja det. Men i framtiden...

Visa signatur

http://www.theatlantic.com/national/archive/2012/05/how-the-p...
"If there's a simple lesson in all of this, it's that hoaxes tend to thrive in communities which exhibit high levels of trust. But on the Internet, where identities are malleable and uncertain, we all might be well advised to err on the side of skepticism."

Permalänk
Medlem

Eye trackern är alltså inte utvecklad i Lund utan av det tyska företaget SMI som är en konkurrent till svenska Tobii. Tekniken har funnits i flera decennier men har först de senaste fem åren kommit ut som produkter som riktar sig till andra än akademiska forskare. Tobii är idag värdsledande på non-intrusive (alltså att man slipper sitta med ett stöd mot panna och haka) eye tracking och SMI är enda riktiga konkurrenten.

Tobii har haft sin produkt för funktionshindrade, MyTobii P10, på marknaden i 2 år. Med den kan man göra betydlig mer saker än vad Martin Talls prototyp klarar av, bland annat surfa och skicka e-post och sms.

Vad gäller eye tracking i spel så gäller det att försöka se utanför det uppenbara att ersätta musen med ögonrörelser. På grund av ögats och synens natur kommer man aldrig kunna uppnå tillräcklig precision med eye tracking för att det ska vara lika precist som musstyrning. Börjar man däremot titta på kontextuell information (tänk Terminators HUD), immersionsförhöjande funktioner som att NPCer tittar spelaren i ögonen och reagerar på dennes blick, då börjar det bli riktigt intressant. Vill man nödvändigvis använda blicken för att sikta med så måste man koppla loss siktet från kameran och använda både mus och ögon. Precis som andra nämnt så är det rätt opraktiskt att styra kameran med ögonen...

WoW demo: http://www.youtube.com/watch?v=NBIjWA8CHls

Ett enkelt demo i House of the Dead 2: http://www.youtube.com/watch?v=lGehsY7pcrc

Ett äldre exempel i Q2: http://www.youtube.com/watch?v=3pRWYE2LRhk

Visa signatur

Have you witnessed the power of the Twisted Rune?
Linux är bara gratis om din tid är värdelös.

Permalänk
Medlem

Det vore intressant om man kunde komplettera det här med OCZ:s NIA, röra musen/förflytta sig på skärmen med ögonen och exkevera enklare komandon med "huvudet", skulle som nämnts inte fungera på allt, men vissa applikationer skulle det fungera bra på!

Visa signatur

USA har aldrig varit på månen, Sverige hade aldrig vm 1958 och 9/11 har aldrig inträffat och därmed basta.
P4 2,6C@<3,0Ghz + CNPS7000A-CU|AI7|1,5Gb BH5 & BH6|Antec Sonata|R9800np(BBA) + VF700-CU@425/258|HP LP2465|Logitech MX500, Seasonic S12 500W

Permalänk
Medlem

"Talla framför datorn" kommer få en helt ny innebörd.

Visa signatur

//Alex
"Non-cooperation with evil is as much a duty as cooperation with good"

Permalänk
Medlem

Håller helt med dem som tagit upp Tobii. Fattar inte ens hur den som skrivit nyheten har lyckats missa dem, de har ju vunnit ett flertal priser, varit i toppskiktet på "Årets svenska teknikföretag", "Stora Designpriset" med mera. De har dessutom varit på Dreamhack och visat upp.

Nej, detta var verkligen en mystisk nyhet.

Visa signatur

g++

Permalänk

Tjena gott folk!

Tack för all respons som varit mestadels kanon, den om Talla ovan var väl mest skoj

Jag har aldrig påstått att jag uppfunnit vare sig eye tracking eller gaze interaction, det har ju funnits sedan 90-talet, långt innan det blev kommersiellt med bl.a Tobii.

Mitt gränssnitt skiljer sig rätt mycket i form av interaktionsmetod från andra om vi titta på Tobii så består deras gränsnitt i ett "grid" med ett antal knappar. dessa aktiveras genom att man tittar på knappen under en sekund eller så. Denna typ av interaktionsmetod upplevs ofta som stressande eftersom överallt man tittar börjar något att aktiveras. Det är detta som jag har försökt lösa. Genom att man först titta på knappen för att visa menyalternativen och sedan gör en aktiv ögonrörelse till ikonen för att aktivera.

Visst har MyTobii fler funktioner, email, www etc. Dom har också mer än 150 anställda och 100 miljoner i finansiering från Wallenberg. Deras maskin går loss på närmre hundra tusen kronor (vad jag sett) Dom har gjort ett kanonjobb med att ta fram en komplett produkt, klar inspirationskälla.

Min prototyp fungerar med alla eye trackers. Komponenterna är återanvändbara och kommer förmodligen att bli open source. Dom fungerar med alla eye trackers inklusive de open source varianter som finns (kommer snart bättre)

Känner på något sätt att detta har potential att förändra datorinteraktion som vi känner till det. Sen är det klart att vissa ser problem när andra ser möjligheter.

Återkommer snart med mer för er som är intresserade, proto 1 är rätt tidig.

Permalänk
Citat:

Ursprungligen inskrivet av k4ranger
jisses.. hoppas verkligen inte att man klickar genom att blinka! lata människor! varför kan inte det som är enkelt och funkar, förbli? ska alla klicka genom att blinka kommer ju hela jorden gå omkring med "ticks".. och då kommer jag bli en förbannad 80åring

"Exempel på användningsområden där denna teknik kan ha stor nytta är för handikappade som har svårt att röra på händerna, eller hos andra personer som av en eller annan orsak inte har möjlighet att använda händer och armar för att interagera med datorer."

Läs gärna innan du säger dumma saker. Du behöver inte använda tekniken om du inte vill, ingen som tvingar dig.

*Bonk*

Permalänk
Citat:

Ursprungligen inskrivet av mitrix
Det vore intressant om man kunde komplettera det här med OCZ:s NIA, röra musen/förflytta sig på skärmen med ögonen och exkevera enklare komandon med "huvudet", skulle som nämnts inte fungera på allt, men vissa applikationer skulle det fungera bra på!

Pssst... Har etablerat lite kontakter, har pratat med folk som gjort studier. Dessa har visat att en kombination av EMG och eye tracking klart snabbare än mekaniska/optiska möss.. löst snackat så rörde det sig om 100ms snabbare per "frag". Det kostar mycket mer tid att flytta handen o musen över hela skärmen än det gör att flytta ögonen samma avstånd (hyggligt konstant tid)

Mao, det är på G..

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av martintall
Pssst... Har etablerat lite kontakter, har pratat med folk som gjort studier. Dessa har visat att en kombination av EMG och eye tracking klart snabbare än mekaniska/optiska möss.. löst snackat så rörde det sig om 100ms snabbare per "frag". Det kostar mycket mer tid att flytta handen o musen över hela skärmen än det gör att flytta ögonen samma avstånd (hyggligt konstant tid)

Mao, det är på G..

Det är miljövänligt också! Det går åt åtskilligt mer med kalorier att röra handen än ögat får man förmoda!

Visa signatur

http://www.theatlantic.com/national/archive/2012/05/how-the-p...
"If there's a simple lesson in all of this, it's that hoaxes tend to thrive in communities which exhibit high levels of trust. But on the Internet, where identities are malleable and uncertain, we all might be well advised to err on the side of skepticism."

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av martintall
Pssst... Har etablerat lite kontakter, har pratat med folk som gjort studier. Dessa har visat att en kombination av EMG och eye tracking klart snabbare än mekaniska/optiska möss.. löst snackat så rörde det sig om 100ms snabbare per "frag". Det kostar mycket mer tid att flytta handen o musen över hela skärmen än det gör att flytta ögonen samma avstånd (hyggligt konstant tid)

Mao, det är på G..

Vill bara klargöra att mitt inlägg inte på något sätt var kritik mot dig utan åt nyheten som sådan som inte kändes så påläst.

Det är väldigt kul att det görs forskning på ögoninteraktion. Det kommer krävas mycket utveckling för att få fram nya gränssnitt som fungerar riktigt bra med eye tracking. Jag är dock övertygad om att det går att designa gränssnitten på ett sådant sätt att det faktiskt är så behagligt att använda dem att även vi som kan välja vill strunta i musen.

När det gäller Tobii's användare så använder de allra flesta någon typ av switch för att klicka. Antingen i form av en stor knapp framför sig eller någon av de dussintals andra designer som finns som t.ex. "blåsrör" eller "huvudswitch".

Den stora vinsten i att inte behöva sikta med en mus är att även när du ska använda en mus så måste du först titta på det du ska sikta på. All tid som går åt efter det, till att flytta muspekaren, är sådan man tjänar in med eye tracking.

När du säger att din mjukvara är kompatibel med alla eye trackers, menar du verkligen on-the-fly eller att det är möjligt att integrera indatat från dem i din applikation? Det låter väldigt ambitiöst om du har letat upp alla olika eye trackers som finns och implementerat gränssnitt mot dom

Visa signatur

Have you witnessed the power of the Twisted Rune?
Linux är bara gratis om din tid är värdelös.

Permalänk

Javisst, jag håller med. Det återstår en hel del forskning och utveckling för att ögonstyrning ska bli riktigt bra. Att använda ytterligare en switch/knapp/pryl är troligen en bra kompromiss. Ögat i sig är gjort för att observera omgivningen. Jag går och funderar på röststyrning, multitouch, EMG (ex. Neurosky, BrainFingers) och vanligt keyboard. Men klart viktigt är att definiera vem användaren är och vilka behov denne har. Känns ju extra bra att göra något som höjer livskvalitén för handikappade. Avsikten med min uppsats var att driva på utveckligen av interaktionsmetod och gränssnitt för enbart ögonstyrning.

Citat:

När du säger att din mjukvara är kompatibel med alla eye trackers, menar du verkligen on-the-fly eller att det är möjligt att integrera indatat från dem i din applikation? Det låter väldigt ambitiöst om du har letat upp alla olika eye trackers som finns och implementerat gränssnitt mot dom

Well.. Ligger nog närmre "..möjligt att integrera indata.." Jag har provat mitt gränssnitt på Tobii 1750 och det fungerade mycket bra, väldigt robust tracking. Behövde inte anpassa koden alls, använde mouse-control funktionen

Det finns ett intressant projekt som Oleg Spakov i Finland har jobbat på, det går ut på att göra en universiell drivrutin som läggs ovan på befintliga eye trackers. Bra idé, behövs nån sorts kompabilitet och standard för det har börjat dyka upp fler eye trackers. Ska träffa honom senare i sommar o spåna lite, se vad vi kan knåpa ihop

Kiyoko, har du någon erfarnhet av att jobba med att utveckla för ögonstyrning? (förstår om du inte kan diskutera så mycket om det pga Tobiis NDA policy)

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av martintall
Javisst, jag håller med. Det återstår en hel del forskning och utveckling för att ögonstyrning ska bli riktigt bra. Att använda ytterligare en switch/knapp/pryl är troligen en bra kompromiss. Ögat i sig är gjort för att observera omgivningen. Jag går och funderar på röststyrning, multitouch, EMG (ex. Neurosky, BrainFingers) och vanligt keyboard. Men klart viktigt är att definiera vem användaren är och vilka behov denne har. Känns ju extra bra att göra något som höjer livskvalitén för handikappade. Avsikten med min uppsats var att driva på utveckligen av interaktionsmetod och gränssnitt för enbart ögonstyrning.

Well.. Ligger nog närmre "..möjligt att integrera indata.." Jag har provat mitt gränssnitt på Tobii 1750 och det fungerade mycket bra, väldigt robust tracking. Behövde inte anpassa koden alls, använde mouse-control funktionen

Det finns ett intressant projekt som Oleg Spakov i Finland har jobbat på, det går ut på att göra en universiell drivrutin som läggs ovan på befintliga eye trackers. Bra idé, behövs nån sorts kompabilitet och standard för det har börjat dyka upp fler eye trackers. Ska träffa honom senare i sommar o spåna lite, se vad vi kan knåpa ihop

Kiyoko, har du någon erfarnhet av att jobba med att utveckla för ögonstyrning? (förstår om du inte kan diskutera så mycket om det pga Tobiis NDA policy)

Jag skulle nog satsa mina pengar på att enklaste, bästa och mest genomförbara lösningen är ett modifierat tangentbord. Röststyrning skulle bli för jobbigt, vem vill sitta och mumla för sig själv framför datorn? Händerna är utan tvekan det bästa kontrollverktyget vi har så varför inte använda dem? Speciellt när vi redan har 105 knappar som vi trycker på med fingrarna

Det är förstås häftigt att kunna hjälpa personer att förbättra sin livskvalité, men det gäller att inte begränsa sig om man vill skapa gränssnitt som är tillräckligt bra även för personer utan funktionshinder. Det är stor skillnad på att konkurrera med interaktionsmetoder som används inom assistive technology och med en fullfjädrad musstyrning. Då är det t.ex. inte längre OK att ha en sämre precision eller fördröjningar.

Jag träffade Oleg på Tobii user meeting för ett par veckor sedan, det han håller på med är nog på några års sikt det mest intressanta som händer inom eye tracking. Min egen vision är att få MS att implementera eye trackinginterface i DirectX och att några år senare släppa ett ET-anpassat Windowsgränssnitt. Det Oleg gör är en grym början på en open source-variant och ett viktigt första steg för att få till en standard för gaze input.

Jag har inte själv jobbat något med utveckling för interaktion men är man omgiven av eye tracking hela dagarna får man rätt bra koll Allt som inte är relaterat till framtida produkter och strategi är förstås inget problem att diskutera. Tobii visade upp en prototyp för Windowsstyrning på CeBit förra året, iBall. Med lite stödfunktioner som snap och metoder för finjustering av position går det att navigera rätt bra i Windows. Kan man få ett OS-gränssnitt som är designat för blickinteraktion så skulle det kunna bli riktigt trevligt. Sen det gäller det bara att få ned priserna på hårdvaran

Visa signatur

Have you witnessed the power of the Twisted Rune?
Linux är bara gratis om din tid är värdelös.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Haghala
"Handen är snabbare än ögat" heter det visst, ska bli kul o se om det stämmer i dator världen nu.

Handen är och kommer alltid att vara snabbare än ögat!

http://www.youtube.com/watch?v=3hDRLJMCyYU