Onderzoekers slagen erin om mono-audio om te zetten naar 2.5D binauraal audio dankzij machine learning

13 reacties

Binaurale audio wordt momenteel vooral gebruikt in vr-toepassingen zoals games, waarbij het voor de luisteraar mogelijk wordt om geluiden in een 3D-omgeving te plaatsen. Dit is mogelijk door het feit dat we de geluiden waarnemen in onze beide oren. Binaurale audio kan worden opgenomen als er twee microfoons aanwezig zijn die op ongeveer eenzelfde afstand geplaatst worden als onze beide oren. Het is echter zo dat de meeste audio 'mono' wordt opgenomen met één microfoon, waardoor het meeslepend 3D-effect niet gereproduceerd kan worden.

Mono audio omvormen tot binaurale audio was totnogtoe een ontzettend moeilijke opgave, maar onderzoekers van de Universiteit van Texas zijn er samen met onderzoekers van Facebook AI Research in geslaagd om '2.5D' geluid te reproduceren uit een mono audiobestand dankzij machine learning. Voor de methode moet de audio echter wel vergezeld worden door een bijpassend videobestand. De combinatie van beiden zorgt ervoor dat de geluiden gesimuleerd kunnen worden in de 3D-ruimte die wordt weergegeven in de video.

Om het verschil in de demonstratie hieronder te horen luister je het best met een headset.

Op deze plaats stond content van een externe website, deze is verwijderd om ongewenste tracking-mogelijkheden te voorkomen.

Bron: SlashGear

« Vorig bericht Volgend bericht »
0
*