Als Experten auf den Gebieten KI, Computersehen und Mensch-Maschine-Interaktion möchten wir im Rahmen einer Reihe von Blogbeiträgen einen Einblick in die Zukunft der Fahrzeuginnenraumerfassung bieten. Unser Fokus liegt dabei auf einem Begriff, der die Art und Weise, wie wir Fahrzeuge wahrnehmen und steuern, maßgeblich verändern wird: das Advanced Occupant Monitoring System. In diesem Blogbeitrag werden wir dieses innovative System eingehend beleuchten, seine Funktionsweise erläutern und die potenziellen Auswirkungen auf die Automobilbranche diskutieren.
Die Vision des Advanced Occupant Monitoring Systems
Auf dem prosperierenden Forschungsgebiet des automatisierten Fahrens nimmt die Entwicklung von Verfahren zur Insassenbeobachtung einen zentralen Platz ein. Ziel dieser Technologie ist nicht nur, automatisierte Fahrzeuge durch die visuelle Erfassung des Fahrers und der übrigen Insassen abzusichern, sondern auch den Komfort für alle Passagiere zu verbessern. Mit dem Advanced Occupant Monitoring System (AOMS) des Fraunhofer IOSB zielen wir darauf ab, nicht nur das Verhalten des Fahrers zu erkennen, sondern auch die Aktivitäten aller Insassen im Fahrzeuginneren zu verfolgen und zu interpretieren. Damit setzen wir neue Maßstäbe für die Interaktion zwischen Mensch und Fahrzeug.
Einblick in die Funktionsweise und UseCases
Unser Advanced Occupant Monitoring System nutzt hochentwickelte Kameras und neueste KI-Technologien, um das Innere des Fahrzeugs zu erfassen und nachzuvollziehen, was im Fahrzeuginnenraum geschieht. Die Kamera erfasst Bilder, die dahingehend analysiert werden, das Verhalten des Fahrers zu interpretieren und festzustellen, ob seine Aufmerksamkeit dem Straßenverkehr oder anderen Aktivitäten gilt. Neben der Überprüfung der Einhaltung sicherheitsrelevanter Gesetze und Anpassung von Rückhaltesystemen ermöglicht die Erfassung der Insassen eine Vielzahl von Komfortfunktionen. So kann beispielsweise die Fahrdynamik des Fahrzeugs je nach Aktivitäten der Insassen angepasst werden. Eine andere Möglichkeit ist etwa ein situationsadaptiver Sprachassistent.
Der digitale Zwilling im Fahrzeuginnenraum
Durch die 3D-Erfassung der Insassen, ihrer Körperteile und ergänzend aller Gegenstände im Fahrzeuginneren entsteht ein digitales Abbild des Innenraumzustands, das Grundlage für weiterführende Analysen und Funktionen bildet. Die KI sieht und versteht, wo Insassen sitzen und wie sie sich bewegen. Sie kann nachvollziehen, mit welchen Objekten die Personen im Innenraum interagieren. Der daraus hervorgehende Handlungskontext gibt Aufschluss über die Art der Ablenkung der erfassten Insassen.
Die Zusammenführung aller gesammelten Information in ein maschinenlesbares Abbild erzeugt den digitalen Zwilling des Fahrzeuginnenraums. Und mit wohldefinierten Schnittstellen bildet er die zukünftige Grundlage für daran anknüpfende Funktionalitäten und Assistenzdienste.
Die Vorteile unseres Advanced Occupant Monitorings
Um für größtmögliche Erweiterungsfähigkeit zu sorgen, ist das Advanced Occupant Monitoring System des Fraunhofer IOSB modular aufgebaut und lässt sich flexibel an die Bedürfnisse sämtlicher Kunden anpassen. Bei Bedarf ist es möglich, nur vereinzelte Insassen, wie beispielsweise den Fahrer, oder alle Insassen zu erfassen.
Das Hauptmerkmal hierbei ist die Bestimmung der 3D-Körperpose relativ zum Fahrzeuginnenraum in Echtzeit. Das System ist zudem in der Lage, die 3D-Position von Gegenständen wie zum Beispiel Taschen, elektronischen Geräten oder Lebensmitteln, in Echtzeit zu erfassen. Auf Basis der Ergebnisse findet dann im zweiten Schritt die Aktivitätserkennung der erfassten Insassen statt. Die gesammelten 3D-Merkmale bilden zusammen mit dem statischen Fahrzeuginnenraum die Basis dafür, ein digitales 3D-Abbild des Innenraumzustands zu erstellen – die Grundlage für den digitalen Zwilling. Auf Basis dieses Innenraummodells können anschließend weitere Analysen durchgeführt werden. Mit Hilfe moderner maschineller Lernverfahren, wie Graph Convolution-basierter neuronale Netze, sind wir damit in der Lage, beispielhafte Aktivitäten wie Trinken, Telefonieren, Lesen oder ähnliches für alle Insassen robust und flexibel zu erkennen.
Die durchgängige 3D-Erfassung erlaubt zudem, Merkmale ohne den Einsatz maschineller Lernverfahren abzuleiten, etwa die Sitzplatzbelegung oder welcher Passagier gerade mit dem Infotainment interagiert.
Datenbasis und Weiterentwicklung
Eine solide Datenbasis ist entscheidend für die Entwicklung und Validierung unseres Occupant Monitoring Systems. Aus diesem Grund bauen wir am Fraunhofer IOSB eine umfangreiche kommerziell verfügbare Datenbasis auf, die unter anderem aus Versuchsreihen mit einem statischen Fahrsimulator und realen Fahrsituationen gewonnen wird. Die fortlaufende Datensammlung und Zusammenarbeit mit Projektpartnern ermöglichen es uns, unsere Systeme kontinuierlich zu verbessern und an die Anforderungen der Zukunft anzupassen.
Zukunftsausblick
Seit Neuestem spielen auch Systeme wie Large Language Models (z. B. ChatGPT) eine wachsende Rolle in der Interaktion zwischen Mensch und Fahrzeug. Die Integration sprachbasierter Interaktionen erfordert ein detailliertes Verständnis des Fahrzeuginnenraums und ist ein weiterer Bereich, in dem wir als Experten aktiv forschen und Entwicklungen vorantreiben.
Experten für Ihre Lösungen
Als führende Experten auf dem Gebiet des Advanced Occupant Monitorings sind wir die richtigen Ansprechpartner, um Ihnen bei der Lösung etwaiger Probleme oder der Implementierung dieser zukunftsweisenden Technologie in Ihre Fahrzeuge zu unterstützen. Unsere langjährige Erfahrung, unsere fortlaufende Forschung und unsere Leidenschaft für innovative Lösungen machen uns zu Ihrem idealen Partner in der Automobilindustrie.
Wir laden Sie herzlich ein, sich unverbindlich mit uns in Verbindung zu setzen und gemeinsam die Zukunft der Fahrzeuginnenraumerfassung zu gestalten.
Wenn Sie mehr über das Advanced Occupant Monitoring System, den digitalen Zwilling im Fahrzeuginneren und unsere Expertise erfahren möchten, kontaktieren Sie uns gerne unverbindlich für weitere Informationen und Beratung. Wir freuen uns darauf, mit Ihnen zusammenzuarbeiten und innovative Lösungen zu entwickeln, die Ihre Anforderungen erfüllen.