Nvidias forskare ökar kvaliteten på videosamtal med AI

Känns som det finns risk för att kusliga dalen kan infinna sig.

Coolt om vi landar i ett läge i framtiden då bara våra ai-gubbar sitter och har möten med varandra. Och vi....ja jag vete fanken, vi målar väl tavlor eller nått.

I samarbete med Apple, så de slapp sätta i nya webbkameror i sina laptops?

Känns som vi redan är där i många fall. Majoriteten av alla möten jag haft är med mötesdeltagare som valt att stänga av kameran. Jobba hemifrån görs nog rätt mycket i kalsonger

Dude, Do noooot use crappy hotell wifi!
Gäller visserligen all hotell wifi istort sett.

Heeeelt fantastiskt klipp hahaha

Hoppas detta kan användas när man har filmat ett eventuellt spöke eller ett UFO.

Alltid när det kommer ett sådant klipp ser det ut som om det filmades med en potatis från 1800 talet.

Nästa steg är att det räcker med en profilbild i Teams och så sköts det på klientsidan så att alla som pratar blir videomaterial med lipsynk. Alltså ingen video som skickas över nätverket.

Använder du videosamtal i jobbet?
Idag satt jag med en polack där det inte gick att dela skärm, allt annat än ljud så dök hans lina.
En svensk kollega fick stänga av videon förra vecka för ljudet bara klippte annars.
Det är mer regel än undantag att någon har problem med anslutningen på jobbet.

Nu beror det nog mer på deras sunkiga wifin än begränsning i uppkoppling men det här hjälper ju till med att lösa problemet oavsett.

97 kB/frame är drygt 23 Mbps vid 30 fps. För en extremt lågupplöst statisk video med riktigt usel kvalitet. En 4K-stream på Netflix har lägre bitrate och löjligt mycket bättre bildkvalitet.

🤔

Du skämtar, men detta finns tyyyyp idag. Det var en kille som var så trött på att sitta i telefonmöten, så han skrev en bot som gjorde speech-to-text via IBMs Watsons med öppna APIer.

Sen när någon säger hans namn så triggas ett meddelande på hans skärm och han får dom senaste 60 sekundrarna av mötet i textformat, och spelar automatiskt upp en ljudfil som säger "sorry, I was on mute". På så sätt fick han 15 sekunder på sig att läsa ifatt sig i det som hade sagts i mötet, och han behövde inte sitta och lyssna!

https://github.com/joshnewlan/say_what

"This script listens to meetings I'm supposed to be paying attention to and pings me on hipchat when my name is mentioned.

It sends me a transcript of what was said in the minute before my name was mentioned and some time after.

It also plays an audio file out loud 15 seconds after my name was mentioned which is a recording of me saying, "Sorry, I didn't realize my mic was on mute there.""

Döballt men vilken hårdvara behöver klienterna för detta ? låter ju inte direkt som något du gör på en chromebook.

Tekniken har blivit så bra att du inte upptäckte att det inte är det riktiga klippet , utan något som någon gjort för någon kurs...

Det riktiga klippet gick inte och hitta på youtube, så jag fick länka till dailymotion istället...

Undrar om den hade fått bilder inmatade tidigare eller om den "bara" kopierade hans vänstra sida av ansiktet och klistrade in det på hans högra sida.
Bra som sagt om det kan minska bandbreddskravet, men vad krävs det för hårdvara.

...Och efter det har AIn möte med sig själva, så kan man jobba istället för att gå på möten

Nu börjar jag undra, är det bara min krets som tidivs har problem med video kvailitet i samtal(teams, messanger o.s.v)? Jag skulle säga att minst hälften av mötena uppvisar någon form av problem med bilden. Oftast är dock inte kvalitén avgörande i dessa samtal, bara att man ser varandra.

Om saker kan bli bättre, varför inte? Det tar oss kanske en bit närmare framtidien och kanske bidrar det till något avgörande.

Absolut! Men även denna teknik kräver ju kontinuerlig och stabil uppkoppling, den reducerar bara datatrafiken, så kommer inte nödvändigtvis hjälpa mycket i ett sådant scenario.

Alla klienter jag använt senaste åren reducerar redan kvalitet om länken blir sämre, så länge ljudet är okej så är resten sekundärt. Inte så man sitter och kollar efter varandras smilgropar på mötena. Dessutom kräver detta aktivering av gpu och/eller mer cpu/ai att räkna ut allt. Inte alls säkert att det förbättrar t.ex. batteri

Du har så klart rätt i sak och till viss del, men den realistiska skillnaden på just denna nyhet är väl inte ens en promille av total bandbredd?

Har man inget att visa har man kameran avstängd oftast, ingen vill se dina kalsonger...

Dessutom är det sällan folk sitter still med ansiktet som enda rörliga del, det kommer in händer, kaffekoppar, ... dessa saker optimeras inte här.

Som jag sagt i ett annat svar så krävs ju fortfarande en stabil länk med låg latens oavsett, då brukar det också finnas tillgång till lagom mängd bandbredd.

Hade detta kunnat appliceras mer generellt hade jag absolut sett det som mer positivt, men som det presenteras här är det i det närmaste meningslöst. Tekniken kan säkert generaliseras en del för framtiden och ska bli intressant att se vad det blir av det om vi nu får höra om det igen alls.

Just nu känns detta bara som ett sett att få ut Nvidias varumärke utanför nördar och att de ska kännas relevanta för dagens problem. Tror de kommer vara nöjda med denna våg av press (som de även fick för rtx-audio eller vad det hette)

Pessimistisk kanske, men svårt att se att det kommer magiskt förändra världen...

Bra poäng!

Dock känns det ju som dags att uppgradera er it om ni ens riskerar sådana problem... personal-timmar kostar mycket om de läggs på väntetider och annat onödigt.

Jag menade inte alls att tekniken är helt meningslös till allt, bara att det är lätt att missa att det är ett extremt smalt användningsområde och att det lätt övertolkas vad detta kan åstadkomma.

Främst ville jag skapa lite diskussion, och det är alltid kul att läsa andras perspektiv

Då sätter dom väl dit varenda jävel

Det är inte min erfarenhet och jag kör bara 4G nu för tiden. Men mitt bolag kör inte VPN så mycket längre kanske har med det att göra? Eller så är det teams som är överlägset?

Det är väl högst vettiga funderingar från ditt håll tycker jag.

För de som faktiskt sitter med sämre uppkoppling idag - och kommande år kan det säkert göra relevant skillnad. Rätt vanligt med halvsjaskig uppkoppling på global nivå ändå ;).
Jag har exempelvis gigabit till hemmet - men jobbdatorn är långt bort med wifi så jag har rätt så knackig lina för just jobbdatorn.

Om man får gissa lite så tror jag bara vi är i början när det kommer till att förbättra bildkvalité med AI i alla möjliga sammahang. Går väl egentligen att tillämpa på all rörlig bild - och även stillbilder på lite olika sätt.
Aja - vi får väl se vad som händer här närmsta åren