nxtAIM wird das Potenzial der Generativen KI für die Entwicklung des autonomen Fahrens nutzen. Das Projekt will mit neuen generativen Methoden die aktuellen Beschränkungen aufheben und Lösungsansätze für die großen Herausforderungen anbieten.
Projektziel: Was will nxtAIM erreichen?
Die Hürden auf dem Weg zu höheren Graden des automatisierten Fahrens sind immer noch hoch. Besonders im Hinblick auf Skalierbarkeit (Stichwort: Daten, Kosten), Übertragbarkeit (Stichwort: Ausweitung der Betriebsumgebung (ODD)) und Nachvollziehbarkeit (Stichwort: Sicherheit und Akzeptanz) stoßen die derzeit zum Einsatz kommenden KI-Methoden und KI-Werkzeuge an ihre Grenzen. Generative KI bietet vor diesem Hintergrund vielversprechende neue Chancen und alternative Forschungsansätze. Sie hat mittlerweile eine enorme technologische Reife erreicht und ihre Fähigkeiten in den letzten zwei Jahren durch Text-zu-Bild Generatoren und große Sprachmodelle eindrucksvoll demonstriert.
nxtAIM möchte das riesige Potenzial der Generativen KI für die Entwicklung des autonomen Fahrens nutzen. Die Neuausrichtung der eingesetzten Methoden und Werkzeuge könnte die Entwicklung massiv beschleunigen. Im Mittelpunkt des Projekts stehen generative, selbstüberwacht-lernende Grundmodelle als neues Paradigma. Die Partner nutzen die Möglichkeit, KI zum einen für die Situationsinterpretation und -planung heranzuziehen, sowie für eine Systemoptimierung im Rahmen einer differenzierbaren, bidirektionalen Wirkkette.
Welche Methoden werden angewendet?
Im Projekt wird Generative KI in vier Forschungsfeldern des autonomen Fahrens eingesetzt:
1 Generierung multimodaler Sensordaten für Training und Validierung; offline und im Betrieb
2 Generierung von Verkehrsszenarien für Prädiktion und Planung
3 Aufbau von Foundation Models und deren Konditionierung
4 Systemintegration und bidirektionaler Informationsfluss: Rückkanal für die Wirkkette
Die nxtAIM Forschungsbereiche und ihre Teams
Die Arbeit von nxtAIM ist in sechs Teilprojekten organisiert. Die Teilprojekte 1, 2 und 3 fokussieren auf verschiedene Teile der Wirkkette. Teilprojekt 1 hat die Generierung von Sensordaten aus dem Umfeldmodell für einzelne Zeitschritte zum Ziel. Das Teilprojekt 2 erweitert dies um die dynamische Entwicklung der Situation und strebt generative Modelle für Sequenzen von Sensordaten an.
Generative Modelle ermöglichen nicht nur das Sampling von Sensordaten, sondern auch von Zeitreihen im Allgemeinen. Dies wird in Teilprojekt 3 genutzt, um Verkehrsszenarien in geometrisch abstrahierten Umfeldmodellen zu erzeugen und so Prädiktions- und Planungsalgorithmen zu verbessern.
Basis generativer Modelle ist typischerweise ein sogenannter latenter Merkmalsraum. Diesen zu strukturieren und interpretierbar zu gestalten, ist Aufgabe von Teilprojekt 4. Teilprojekt 5 befasst sich damit, wie die neuen Ansätze in ein im Fahrzeug ausführbares System gebracht werden können. Abschließend wird Teilprojekt 6 die in Teilprojekt 1, 2 und 3 entstandenen Systeme hinsichtlich ihres Realitätsgrades bewerten.
1 | Generative Modelle für die Sensorik
2 | Generative autoregressive Modelle für Bildsequenzen
3 | Generative Modelle für abstrakte Szenarien und Planung
4 | Automotive Foundation Models und Latent Space
5 | Automotive Scalability
6 | Plausibilisierung
