Kinect op de PC: eerste stap naar een Natural Interface

13 reacties
2 besproken producten
Inhoudsopgave
  1. 1. Inleiding
  2. 2. Dieptekaart
  3. 3. Middleware
  4. 4. Games voorbij
  5. 5. Motion capture
  6. 6. Zelf aan de slag
  7. 7. Microsoft SDK vs PrimeSense OpenNI/NITE
  8. 8. Conclusie
  9. 2 besproken producten
  10. 13 reacties

Middleware

Om de datapunten correct te verwerken, is speciale software nodig. Enerzijds heb je dus de software die het 3D-beeld goed registreert, anderzijds software die veranderingen in dat beeld vervolgens correct interpreteert. Eén basis daarvoor is de NITE middleware, een soort softwarelaag tussen de basisdrivers van de Kinect/PrimeSense en de applicatie die van bedieningsinvoer voorzien moet worden. Een eenvoudig voorbeeld wordt meegeleverd door zowel Microsoft als PrimeSense bij de eigen drivers: een algoritme dat op basis van de camera- en dieptedata een geanimeerd ‘skelet’ kan tonen. Dat is mogelijk doordat in de middleware allerlei objecten zijn ‘voorgedefinieerd’, zoals “een lichaam is tussen de X en Y centimeters lang en voorzien van twee benen en twee armen”. Daarnaast zijn allerlei houdingen waarin een lichaam zich kan bevinden al voorgeprogrammeerd om eenvoudig herkend te worden: in de Kinect-software zijn dat er maar liefst 200. Dat helpt ook bij het volgen van je bewegingen: als het beeld even minder duidelijk of geblokkeerd is, kan Kinect de pose waarin je uitkomt vergelijken met een van de voorbeelden en op basis daarvan de gemaakte beweging analyseren.


Een voorbeeld van een ‘middleware component’ is de kant-en-klare NITE API van PrimeSense.

Geluid

Hoewel we het hier voornamelijk hebben over de dieptewerking en bewegingsregistratie van de PrimeSense-technologie, zijn de audiofuncties van de controller, in het bijzonder de stemherkenning, indrukwekkend genoeg om apart te vermelden. In de Kinect bar zitten vier microfoons, alle naar onderen gericht, achter een rooster aan de onderzijde van de sensor. Eentje zit aan de linkerkant, de andere drie rechts – deze positionering is de uitkomst van onderzoek door Microsoft in 250 verschillende huizen met 16 microfoons. De vereiste om de microfoons uit elkaar te plaatsen is ook de reden voor de breedte van de Kinect. Het microfoonarray is geoptimaliseerd voor stemherkenning; geluid van je surround-speakers wordt automatisch weggefilterd. Om nog beter de juiste stem te herkennen, maakt de array gebruik van de lokalisering door de camera. Op basis van deze gegevens versterkt de CPU in de Kinect het geluid op jouw positie, terwijl het omringende geluid juist genegeerd wordt. Net als de positiebepaling en bewegingsdetectie werkt de stemherkenning in realtime.


2 besproken producten

Vergelijk   Product Prijs
Asus Xtion Pro

Asus Xtion Pro

  • ###
Niet verkrijgbaar
Microsoft Xbox 360 Kinect Adventures

Microsoft Xbox 360 Kinect Adventures

Niet verkrijgbaar
0
*