Videokonferenzen werden natürlicher

Den beteiligten Projektpartnern ist es gelungen, ein 3D-Kommunikations-
systems zu entwickeln, welches Co-Präsenz bei Online-Treffen ermöglicht. Unter Co-Präsenz wird verstanden, dass die Teilnehmer das Gefühl haben, mit einer Person im selben Raum zu sein und mit ihr natürlich kommunizieren zu können, obwohl sie sich nicht dort befindet.

Der Schlüssel dazu sind Extended Reality-Technologien (XR), mit denen die wahrgenommene Realität computergestützt ergänzt und erweitert wird. Dazu wurden im Projekt MULTIPARTIES realitätsnahe 3D-Avatare der Personen mit ausdrucksstarker Gestik und Mimik sowie räumlich plausibles Audio nahtlos in die reale Umgebung integriert. Ebenso wurden die realen Umgebungen der Teilnehmer miteinander verwoben, was einen gemeinsamen Erlebnisraum schafft. Teilnehmern der MULTIPARTIES-Treffen ist es damit möglich, sich ortsübergreifend in einer gemeinsamen Umgebung zu treffen, sich natürlich zu verständigen und intuitiv miteinander zu interagieren.

Während der Ergebnispräsentation in Weimar konnten sich die rund 20 Gäste und Vertreter der Projektpartner selbst davon überzeugen, wie innerhalb von MULTIPARTIES-Treffen der Eindruck entsteht, sich mit den anderen Gesprächspartnern tatsächlich zu treffen. Für die Demonstration wurde ein Online-Meeting mit Gruppen von Teilnehmern aus Weimar, Ilmenau, Aachen und Lübeck durchgeführt. Die Teilnehmer trafen sich in einem virtuellen Raum, der aus Repräsentationen der realen Räume aller Teilnehmer zusammengesetzt war. Sie waren nicht, wie es von herkömmlichen Online-Meetings bekannt ist, per Kamerabild zugeschaltet, sondern trugen VR-Brillen, um den Raum immersiv zu erleben.             

Darin waren sie als Avatar repräsentiert und konnten sich im virtuellen Raum frei bewegen, interagieren und sogar Hände schütteln. Über Kopfhörer erhielten sie in Echtzeit eine äußerst plausible Wiedergabe räumlichen Klangs, die es erlaubt, Untergruppen zu bilden oder sich zum Gesprächspartner zu lehnen und ihm zuzuflüstern. Das System basiert auf der VR4More Plattform der Consensive GmbH und der Deep Dive-Audio-Technologie von Brandenburg Labs.                      

„Mit dem Projekt sind wir dem Ziel nähergekommen, digitale Arbeits- und Kommunikationsprozesse zu verbessern, weil sie natürlicher werden. MULTIPARTIES ist ein wichtiger Meilenstein, um Barrieren in Videokonferenzen abzubauen und mehr soziale Nähe zu schaffen. Damit öffnen wir auch Freiraum für neue Möglichkeiten der gesellschaftlichen Teilhabe“, resümiert Prof. Dr.-Ing. Karlheinz Brandenburg, CEO von Brandenburg Labs.

Alle Partner des Projekts wollen die Ergebnisse für die Entwicklung zukünftiger Technologien verwenden. Bei Brandenburg Labs fließen die Ergebnisse in die Weiterentwicklung der fortschrittlichen Kopfhörerprodukte der Okeanos-Serie ein. Ebenso sind Projekte im Zusammenhang mit Kommunikationstechnologien und KI-gestützte, volladaptive Kopfhörer geplant.                              

Die Consensive GmbH konnte im Projekt erfolgreich die Anschlussfähigkeit ihres Software Development Kits für Social-XR-Anwendungen evaluieren und alle geplanten Demonstratoren darauf basierend umsetzen. Diese sollen nun zu einem dauerhaft nutzbaren Demonstrator weiterentwickelt werden, um neue technische Möglichkeiten zu präsentieren und gezielt Kunden zu gewinnen. Im Projektverlauf entstanden experimentelle Schnittstellen zu Deep Dive Audio von Brandenburg Labs, zu externen Avatar-Systemen der TU Ilmenau sowie zu browserbasierten Softwarelösungen. Erkenntnisse aus dem Projekt fließen in die Weiterentwicklung der Kernmodule der Social-XR-Anwendung VR4more ein und werden künftig in allen kommerziellen Produkten von Consensive berücksichtigt. Die im Projekt demonstrierte ortsunabhängige und zugleich natürliche Interaktion kleiner Gruppen eröffnet neue Wertschöpfungspotenziale – etwa für Training und Fernunterstützung in der Industrie sowie für museale Bildung und hybride Fachkonferenzen.

Die TU Ilmenau war mit drei Fachgebieten am Projekt beteiligt und lieferte zentrale Bausteine für eine natürlichere Kommunikation in XR‑Meetings. Das Fachgebiet Virtuelle Welten und Digitale Spiele (VWDS) untersuchte, wie unterschiedliche Avatar-Darstellungen – von stilisierten bis zu realitätsnahen Repräsentationen mit erfasster Mimik und Gestik – die Wahrnehmung von Präsenz, Verständlichkeit und sozialer Nähe in XR‑Meetings beeinflussen. Ein besonderer Fokus lag dabei sowohl auf Interaktionen zwischen Personen, als auch auf Interaktionen mit der Umgebung, einschließlich der Bedienung kontextsensitiver Menüs, der gemeinsamen Nutzung virtueller Objekte sowie kollaborativer Arbeitswerkzeuge im geteilten Erlebnisraum. Darüber hinaus untersuchte das Fachgebiet VWDS die effiziente Generierung realitätsnaher Avatare. Dies beinhaltet die Erfassung relevanter Merkmale und die Anpassung der Bewegungsdaten an ein digitales Skelett (Rigging), um vorhandene Bewegungsabläufe übertragen und natürliches Kommunikationsverhalten zu ermöglichen.

Das Fachgebiet Elektronische Medientechnik (EMT) hat im Projekt erfolgreich ein Vorhersagemodell zur Wahrnehmung von räumlichen, immersiven Audio etabliert. Grundlegend dafür war die Entwicklung eines autonomen akustischen Messsystems zur akustisch hochqualitativen Erfassung der Raumakustik an unterschiedlichen realen Orten mit einer hohen räumlichen Auflösung für eine Vielzahl an Schallquellen und Hörerpositionen im Raum. Diese Datensätze, welche frei zugängliche sind, dienen der Datenanalyse durch im Projekt entwickelte Methoden des maschinellen Lernens. Mit den Ergebnissen von parallel dazu durchgeführten Hörtests zur Messung der räumlichen Audioqualität ist eine Vorhersage der Hörwahrnehmung basierend auf physikalisch, akustischen Daten möglich. Dieses findet seine Anwendung in der Anpassung der Audiowidergabe an die aktuell vorliegende akustische Umgebung, um eine nahtlose Integration von virtuellen Audioinhalten in die reale Umgebung zu gewährleisten.

Das Fachgebiet Audiovisuelle Technik (AVT) hat Aspekte der audiovisuellen Qualität und Quality of Experience untersucht, also des Qualitätserlebens aus Sicht der Nutzer der neuen MULTIPARTIES-Technologien. Dafür wurden in mehreren Nutzerstudien unterschiedliche visuelle Repräsentation miteinander verglichen, sowohl direkt anhand von Beurteilungen, als auch indirekt anhand des Verhaltens der Nutzerinnen und Nutzer während der Verwendung. Die Ergebnisse, inklusive eines Open Source Datensatzes ("AMIS: An Audiovisual Dataset for Multimodal XR Research"), wurden erfolgreich auf internationalen Konferenzen gezeigt. Erkenntnisse der Methodenentwicklung wurden zudem in die internationale Standardisierung im Rahmen der International Telecommunication Union, ITU-T Study Group 12 bzw. der Video Quality Experts Group (VQEG), eingebracht. Ziel ist es, allgemein und weltweit abgestimmte Verfahren zur Qualitätsbeurteilung von derartigen Extended Reality (XR)-Technologien zu entwickeln.

Über das Projekt „MULTIPARTIES“

Das Verbundprojekt „MULTIPARTIES“, wurde im Zeitraum September 2022 bis Juli 2025 umgesetzt und im Rahmen von „KMU-innovativ: Interaktive Technologien für Gesundheit und Lebensqualität“ aus Mitteln des Bundes gefördert (Förderkennzeichen 16SV8920). Projektträger ist die VDI/VDE Innovation + Technik GmbH.             

Das interdisziplinäre Konsortium aus zwei Thüringer KMU und der TU Ilmenau bringt langjährige Erfahrung in den jeweiligen Fachbereichen mit. Die Brandenburg Labs GmbH, widmete sich der räumlichen und realistischen Audiowiedergabe über Kopfhörer. Das Weimarer Startup Consensive GmbH brachte seine Expertise für die 3D-Darstellung und Interaktion der Teilnehmenden in der gemischten Realität ein.           

Am Projekt waren zudem drei Fachgebiete der TU Ilmenau beteiligt, koordiniert durch Prof. Dr. rer. nat. Wolfgang Broll. Das von ihm geleitete Fachgebiet für Virtuelle Welten und Digitale Spiele war für die Erforschung von realistischen Avataren verantwortlich. Das Fachgebiet Audiovisuelle Technik unter der Leitung von Prof. Dr.-Ing. Alexander Raake untersuchte, welche Faktoren zu einer möglichst natürlichen Kommunikation beitragen, und wie dies gemessen werden kann. Dabei standen vor allem Hören, Sehen, Sprechen und die Kommunikation durch Mimik und Gestik im Fokus. Das Fachgebiet für Elektronische Medientechnik, beschäftigte sich unter der Leitung von Dr. Stephan Werner mit grundlegenden Untersuchungen zur Erkennung und Beurteilung von relevanten und irrelevanten akustischen Informationen sowie der Entwicklung der Audiowiedergabe.

Über die Brandenburg Labs GmbH

Die Brandenburg Labs GmbH entwickelt immersive Audiolösungen für Kopfhörer, die ein intuitives, lebensechtes Hörerlebnis ermöglichen. Das Start-up wurde 2019 von Prof. Dr.-Ing. Karlheinz Brandenburg gegründet. Mittlerweile umfasst das interdisziplinäre Team im thüringischen Ilmenau über 20 Mitarbeiter.

Das Erzeugen eines immersiven Audioerlebnisses bei der Nutzung von Kopfhörern stellt Wissenschaft und Industrie seit Jahrzehnten vor eine nahezu unlösbare Aufgabe. Brandenburg Labs stellt sich diesen Herausforderungen und will eine Brücke zwischen der digitalen und realen Welt schlagen, um das volle Potenzial des menschlichen Gehörs nutzen zu können. Als Spin-off der Technischen Universität Ilmenau und des Fraunhofer-Instituts für Digitale Medientechnologie kann Brandenburg Labs auf die langjährige Forschung im Bereich Audio an diesen und anderen Einrichtungen zurückgreifen.

Das Unternehmen hat ein Kopfhörersystem entwickelt, welches bereits mehr als 1000 Audioexperten auf Konferenzen und Kongressen weltweit überzeugt und seine Überlegenheit bewiesen hat. Deep Dive Audio ermöglicht es, reale akustische Umgebungen über Kopfhörer nachzubilden oder neue realistische Hörumgebungen zu schaffen. Auf diese Weise fügen sich virtuelle Klänge nahtlos in das Leben der Nutzenden ein und vereinen reale und digitale Welt. Hörende können so komplexe Klanglandschaften erforschen und mit ihnen interagieren. Brandenburg Labs vermarktet derzeit seine Pilotsysteme für die Musikproduktion und Forschung. Bald folgen Business-to-Business-Lösungen u.a. für Augmented-Reality-Systeme, virtuelles Prototyping, und Audioguides.

Weitere Informationen über Brandenburg Labs finden Sie unter www.brandenburg-labs.com.