Die Entwicklung von Fahrzeugüberwachungssystemen hat in den letzten Jahren eine revolutionäre Wendung genommen. Bei der Entwicklung und Optimierung solcher Systeme spielen datengetriebene Ansätze und umfangreiche Datenmengen eine zentrale Rolle. Das Advanced Occupant Monitoring System des Fraunhofer IOSB steht an der Spitze dieser Innovationen und zeigt, wie eine umfassende Datenbasis die Grundlage für die Entwicklung fortschrittlicher Überwachungssysteme für den Fahrzeuginnenraum bildet.
Die Bedeutung einer umfassenden Datenbasis
Qualität und Leistungsfähigkeit eines Fahrzeugüberwachungssystems sind stark von der Datenbasis abhängig, auf der es aufbaut. Für das Advanced Occupant Monitoring System hat das Fraunhofer IOSB eine eigene umfangreiche Datenbasis aufgebaut. die den Grundstein für die Entwicklung und Validierung des Systems darstellt. Diese Datenbasis ist entscheidend, für die Entwicklung des Systems, aber auch um die Funktionen des Systems zu überprüfen, zu verbessern und zu validieren.
Der Weg zur Datengetriebenen Entwicklung: Der Drive&Act-Datensatz
Die datengetriebene Entwicklung solcher Systeme erfordert eine sorgfältige Sammlung und Analyse von Daten. Das Fraunhofer IOSB nutzt moderne Fahrzeugsimulatoren, Mehrkamerasysteme und andere hochmoderne Technologien, um eine Vielzahl von Fahrzeug- und Insassenaktivitäten aufzuzeichnen und zu annotieren.
Das vom BMBF geförderte Projekt PAKoS aus dem Jahr 2019 ist ein hervorragendes Beispiel für diesen Ansatz. Im Rahmen dieses Projekts wurde ein Datensatz für die Aktivitätserkennung des Fahrers erstellt, der eine Vielzahl möglicher Nebentätigkeiten bei automatisierter Fahrt abdeckt. Dafür wurde der Fahrsimulator des Fraunhofer IOSB mit einem Mehrkamerasystem aus Nahinfrarotkameras und Tiefenkameras ausgestattet, so dass Daten aus vielen möglichen Verbaupositionen gesammelt werden konnten. Die Probanden bekamen mehrere Aufgaben gestellt, die sie selbstbestimmt abarbeiteten.
Diese Versuchsaufgaben wurden so gestaltet, dass sich ein natürlicher Ablauf verschiedener feingranularer Nebentätigkeiten ergab. So wurde beispielsweise die Interaktion mit Smartphone und Laptop verknüpft, indem die Probanden zunächst auf dem Smartphone das Wetter in Erfahrung bringen sollten und diese Information anschließend per E-Mail auf dem Laptop verschickten. Eine andere Versuchsaufgabe verknüpfte die Interaktion mit Smartphone und einer Tasche, indem die Aufgabenstellung erforderte, das Smartphone aus der Tasche zu nehmen, es zu nutzen und es anschließend wieder wegzulegen. Insgesamt wurden auf diese Weise 44 Nebentätigkeiten aufgezeichnet und manuell annotiert. Der Datensatz wurde anschließend unter dem Namen Drive&Act zu Forschungszwecken veröffentlicht und bildet mit seinen 44 verschiedenen Nebentätigkeiten die Grundlage für dass entwickelte Advanced Occupant Monitoring System am Fraunhofer IOSB. Mit der Vielzahl der zugrunde liegenden Aktivitäten in unseren Datensätzen übersteigt unser darauf aufsetzendes System den Stand der Technik um ein Vielfaches, womit es sich insbesondere für Forschungsfragen und Studien eignet, die über den reinen Serienverbau hinausgehen.
Die Relevanz annotierter Daten für die Systementwicklung
Die Bedeutung annotierter Daten für die Systementwicklung kann nicht genug betont werden. Durch die sorgfältige manuelle Annotation von Daten können Algorithmen für maschinelles Lernen und KI-gestützte Analyseverfahren trainiert und validiert werden. Dies ermöglicht eine präzisere und zuverlässigere Erkennung von Fahrer- und Insassenaktivitäten im Fahrzeuginnenraum.
Fortlaufende Weiterentwicklung
Die Entwicklung einer umfassenden Datenbasis ist ein fortlaufender Prozess. Das Fraunhofer IOSB arbeitet kontinuierlich an der Erweiterung und Verbesserung seiner Datenbanken durch die Durchführung weiterer Projekte und Kooperationen mit Partnern.
Beispielsweise wurden im Rahmen des vom BMWK geförderten Projekts KARLI Daten zur Erfassung von Reiseübelkeit und SAE-Level-konformem Verhalten gesammelt. Ab 2024 wird dem Fraunhofer IOSB zusätzlich ein Mercedes-Benz EQS als Forschungsfahrzeug zur Verfügung stehen. Da dieses Fahrzeug bis 60 km/h auch eine SAE-Level 3-Automatisierung besitzt, können hiermit erstmalig auch stark ablenkende Nebentätigkeiten im Straßenverkehr sicher durchgeführt und aufgezeichnet werden. Dadurch wird eine noch profundere Datenbasis für das Advanced Occupant Monitoring System, aber auch für Kundensysteme geschaffen werden. Die aufgezeichneten und veredelten Daten werden in eine kommerzielle Datenbasis für interessierte Kunden überführt.