nxtAIM wird das Potenzial der Generativen KI für die Entwicklung des autonomen Fahrens nutzen. Das Projekt will mit neuen generativen Methoden die aktuellen Beschränkungen aufheben und Lösungsansätze für die großen Herausforderungen anbieten.
Projektziel: Was will nxtAIM erreichen?
Die Hürden auf dem Weg zu höheren Graden des automatisierten Fahrens sind immer noch hoch. Besonders im Hinblick auf Skalierbarkeit (Stichwort: Daten, Kosten), Übertragbarkeit (Stichwort: Ausweitung der Betriebsumgebung (ODD)) und Nachvollziehbarkeit (Stichwort: Sicherheit und Akzeptanz) stoßen die derzeit zum Einsatz kommenden KI-Methoden und KI-Werkzeuge an ihre Grenzen. Generative KI bietet vor diesem Hintergrund vielversprechende neue Chancen und alternative Forschungsansätze. Sie hat mittlerweile eine enorme technologische Reife erreicht und ihre Fähigkeiten in den letzten zwei Jahren durch Text-zu-Bild Generatoren und große Sprachmodelle eindrucksvoll demonstriert.
nxtAIM möchte das riesige Potenzial der Generativen KI für die Entwicklung des autonomen Fahrens nutzen. Die Neuausrichtung der eingesetzten Methoden und Werkzeuge könnte die Entwicklung massiv beschleunigen. Im Mittelpunkt des Projekts stehen generative, selbstüberwacht-lernende Grundmodelle als neues Paradigma. Die Partner nutzen die Möglichkeit, KI zum einen für die Situationsinterpretation und -planung heranzuziehen, sowie für eine Systemoptimierung im Rahmen einer differenzierbaren, bidirektionalen Wirkkette.
Welche Methoden werden angewendet?
Im Projekt wird Generative KI in vier Forschungsfeldern des autonomen Fahrens eingesetzt:
1 Generierung multimodaler Sensordaten für Training und Validierung; offline und im Betrieb
2 Generierung von Verkehrsszenarien für Prädiktion und Planung
3 Aufbau von Foundation Models und deren Konditionierung
4 Systemintegration und bidirektionaler Informationsfluss: Rückkanal für die Wirkkette
Die nxtAIM Forschungsbereiche und ihre Teams
Die Arbeit von nxtAIM ist in sechs Teilprojekten organisiert. Die Teilprojekte 1, 2 und 3 fokussieren auf verschiedene Teile der Wirkkette. Teilprojekt 1 hat die Generierung von Sensordaten aus dem Umfeldmodell für einzelne Zeitschritte zum Ziel. Das Teilprojekt 2 erweitert dies um die dynamische Entwicklung der Situation und strebt generative Modelle für Sequenzen von Sensordaten an.
Generative Modelle ermöglichen nicht nur das Sampling von Sensordaten, sondern auch von Zeitreihen im Allgemeinen. Dies wird in Teilprojekt 3 genutzt, um Verkehrsszenarien in geometrisch abstrahierten Umfeldmodellen zu erzeugen und so Prädiktions- und Planungsalgorithmen zu verbessern.
Basis generativer Modelle ist typischerweise ein sogenannter latenter Merkmalsraum. Diesen zu strukturieren und interpretierbar zu gestalten, ist Aufgabe von Teilprojekt 4. Teilprojekt 5 befasst sich damit, wie die neuen Ansätze in ein im Fahrzeug ausführbares System gebracht werden können. Abschließend wird Teilprojekt 6 die in Teilprojekt 1, 2 und 3 entstandenen Systeme hinsichtlich ihres Realitätsgrades bewerten.
Die Teilprojekte im Überblick:
TP 1
Generative Modelle für die Sensorik
Ziel des TP1 ist die Entwicklung eines generativen Foundation Models für den Anwendungsfall im Automotive-Bereich. Dieses Modell soll multimodal sein, also die Erzeugung von Daten für verschiedene Sensoren ermöglichen, z.B. Kamera oder Lidar, insbesondere für Szenarien (z.B. schlechtes Wetter, Nacht), die in realen Datensätzen oft unterrepräsentiert sind.
Björn Ommer
(TP CO-LEAD)
“Dieses Teilprojekt entwickelt ein generatives Foundation Model für den Automotive-Bereich, das die Erzeugung multimodaler Sensordaten ermöglicht. Die Innovation besteht darin, bestehende Modelle zur Generierung von Kameradaten anzupassen und auf weitere Sensortypen wie LiDAR und Radar zu erweitern. Damit werden Engpässe bei der Datenverfügbarkeit überwunden. Besonders relevant sind die synthetischen Daten für kritische Domänen wie Nacht- und Schlechtwetterszenarien, da reale Messdaten in solchen Situationen schwer zugänglich und teuer sind. Durch die Definition semantischer Metriken wird die Plausibilität und Realitätstreue der generierten Daten zugänglich und schließlich gewährleistet. Die Integration dieser Metriken in gelernte Modelle ermöglicht Fehlererkennung und -korrektur, während die tiefe Sensorfusion eine umfassendere und präzisere Umweltwahrnehmung unterstützt. Diese Ansätze verbessern die Robustheit und Zuverlässigkeit der Perzeptionsfunktionen in anspruchsvollen Situationen und erweitern die Operational Design Domain (ODD). Dies hat weitreichende Implikationen, nicht nur für die Automobilindustrie, sondern auch für andere Bereiche, die auf präzise und vielfältige Sensordaten angewiesen sind.”
TP 2
Generative autoregressive
Modelle für Bildsequenzen
In TP2 werden wir mit umfangreichen Daten ein umfassendes visuelles Weltmodell für die Welt des Autofahrens erstellen.
Thomas Brox
(TP CO-LEAD)
“Bisher muss beim automatischen Fahren jede noch so seltene Situation explizit modelliert werden. Das werden wir mit dem Projekt ändern.”
TP 3
Generative Modelle für
abstrakte Szenarien und Planung
Im TP 3 erweitern wir den Anwendungsbereich für generative KI im automatisierten Fahren, indem wir Straßenpläne, Zukunftszenarien und Steuerungsbefehle mit generativer KI erzeugen.
Hanno Gottschalk
(TP CO-LEAD)
„Generative KI kann mehr als Sprache oder Bilder erzeugen.“
TP 4
Automotive Foundation Models und Latent Space
TP4 ermöglicht den breiten Einsatz von Foundation Modellen im autonomen Fahren durch Skalierung und die Nutzung von großen Datenmengen. Die wesentlichen Komponenten sind die Integration großer Datenmengen und die hiermit verbundene Anbindung an die immensen Rechenressourcen des Supercomputers in Jülich.
Julian Wiederer
(TP LEAD)
„Die Skalierung von Daten, Modellen und Rechenressourcen hat bei Sprachmodellen zu beeindruckenden Ergebnissen geführt. Wir schöpfen dieses Potenzial für die Weiterentwicklung des autonomen Fahrens aus.“
TP 5
Automotive Scalability
Sollen große KI Systeme im Fahrzeug ausgeführt werden können müssen die Recheneinheiten im Fahrzeug ausreichend Ressourcen, wie Rechenzeit oder Speicher zur Verfügung haben. In diesem Teilprojekt sollen daher Methoden entwickelt werden, welche die KI Systeme vor der Ausführung im Fahrzeug so transformieren können, dass deren Ressourcenbedarf unterhalb der im Fahrzeug verfügbaren Grenzen bleibt.
Arun Thirunavukkarasu
(TP CO-LEAD)
„Wir werden mit allen Partnern gemeinsam eine Entwicklungsplatform erstellen, die es Automotive Entwicklern ermöglicht, ihre KI Anwendungen von Anfang an Hardware- und Ressourcenbewusst zu entwickeln. Damit tragen wir dazu bei, bessere KI-basierte Fahrfunktionen schneller und effizienter ins Fahrzeug bringen.“
Saqib Bukhari
(TP LEAD)
„Einige unserer Hauptschwerpunkte in diesem Teilprojekt sind:
1) Entwicklung eines Optimierungsrahmens für KI-Anwendungen, um sie für die Ausführung auf ressourcenbeschränkter Automobilhardware geeignet zu machen
2) Anpassung der Optimierung von KI-Algorithmen, um den besonderen Anforderungen verschiedener Fahrzeugtypen gerecht zu werden.“
TP 6
Plausibilisierung
Dieses TP vereinheitlicht die Validierung für verschiedene Datentypen mit maßgeschneiderten Plausibilitätstests und vermeidet eine universelle Lösung aufgrund der Vielfalt der Daten. Regulierungsbehörden im Automobilsektor erlauben virtuelle Tests. Um deren Eignung zu prüfen, wird der Unterschied zwischen realen und KI-generierten Daten analysiert. Daher werden Metriken zur Messung und Beschreibung dieser Domain Gap erforscht und entwickelt.
Leonard Schroven
(TP LEAD)
„Datengenerierung mit generativer KI ist nicht perfekt, Methoden zur Validitätsprüfung sind notwendig. Unsere Kerninnovation: Plausibilität ist keine eindimensionale Metrik. Es ist wichtig, Methoden zu erforschen und zu entwickeln, die nicht nur die Plausibilität von Daten bewerten, sondern auch aussagekräftige Erkenntnisse liefern, die für den Anwendungskontext relevant sind.“
Die Teilprojekte im Überblick:
Generative Modelle für die Sensorik
Ziel des TP1 ist die Entwicklung eines generativen Foundation Models für den Anwendungsfall im Automotive-Bereich. Dieses Modell soll multimodal sein, also die Erzeugung von Daten für verschiedene Sensoren ermöglichen, z.B. Kamera oder Lidar, insbesondere für Szenarien (z.B. schlechtes Wetter, Nacht), die in realen Datensätzen oft unterrepräsentiert sind.
Björn Ommer
(TP CO-LEAD)
“Dieses Teilprojekt entwickelt ein generatives Foundation Model für den Automotive-Bereich, das die Erzeugung multimodaler Sensordaten ermöglicht. Die Innovation besteht darin, bestehende Modelle zur Generierung von Kameradaten anzupassen und auf weitere Sensortypen wie LiDAR und Radar zu erweitern. Damit werden Engpässe bei der Datenverfügbarkeit überwunden. Besonders relevant sind die synthetischen Daten für kritische Domänen wie Nacht- und Schlechtwetterszenarien, da reale Messdaten in solchen Situationen schwer zugänglich und teuer sind. Durch die Definition semantischer Metriken wird die Plausibilität und Realitätstreue der generierten Daten zugänglich und schließlich gewährleistet. Die Integration dieser Metriken in gelernte Modelle ermöglicht Fehlererkennung und -korrektur, während die tiefe Sensorfusion eine umfassendere und präzisere Umweltwahrnehmung unterstützt. Diese Ansätze verbessern die Robustheit und Zuverlässigkeit der Perzeptionsfunktionen in anspruchsvollen Situationen und erweitern die Operational Design Domain (ODD). Dies hat weitreichende Implikationen, nicht nur für die Automobilindustrie, sondern auch für andere Bereiche, die auf präzise und vielfältige Sensordaten angewiesen sind.”
Generative autoregressive Modelle für Bildsequenzen
In TP2 werden wir mit umfangreichen Daten ein umfassendes visuelles Weltmodell für die Welt des Autofahrens erstellen.
Thomas Brox
(TP CO-LEAD)
“Bisher muss beim automatischen Fahren jede noch so seltene Situation
explizit modelliert werden. Das werden wir mit dem Projekt ändern.”
Generative Modelle für abstrakte Szenarien und Planung
Im TP 3 erweitern wir den Anwendungsbereich für generative KI im automatisierten Fahren, indem wir Straßenpläne, Zukunftszenarien und Steuerungsbefehle mit generativer KI erzeugen.
Hanno Gottschalk
(TP CO-LEAD)
"Generative KI kann mehr als Sprache oder Bilder erzeugen."
Automotive Foundation Models und Latent Space
TP4 ermöglicht den breiten Einsatz von Foundation Modellen im autonomen Fahren durch Skalierung und die Nutzung von großen Datenmengen. Die wesentlichen Komponenten sind die Integration großer Datenmengen und die hiermit verbundene Anbindung an die immensen Rechenressourcen des Supercomputers in Jülich.
Julian Wiederer
(TP LEAD)
"Die Skalierung von Daten, Modellen und Rechenressourcen hat bei Sprachmodellen zu beeindruckenden Ergebnissen geführt. Wir schöpfen dieses Potenzial für die Weiterentwicklung des autonomen Fahrens aus."
Automotive Scalability
Sollen große KI Systeme im Fahrzeug ausgeführt werden können müssen die Recheneinheiten im Fahrzeug ausreichend Ressourcen, wie Rechenzeit oder Speicher zur Verfügung haben. In diesem Teilprojekt sollen daher Methoden entwickelt werden, welche die KI Systeme vor der Ausführung im Fahrzeug so transformieren können, dass deren Ressourcenbedarf unterhalb der im Fahrzeug verfügbaren Grenzen bleibt.
Arun Thirunavukkarasu
(TP CO-LEAD)
"Wir werden mit allen Partnern gemeinsam eine Entwicklungsplatform erstellen, die es Automotive Entwicklern ermöglicht, ihre KI Anwendungen von Anfang an Hardware- und Ressourcenbewusst zu entwickeln. Damit tragen wir dazu bei, bessere KI-basierte Fahrfunktionen schneller und effizienter ins Fahrzeug bringen."
Saqib Bukhari
(TP LEAD)
"Einige unserer Hauptschwerpunkte in diesem Teilprojekt sind:
1) Entwicklung eines Optimierungsrahmens für KI-Anwendungen, um sie für die Ausführung auf ressourcenbeschränkter Automobilhardware geeignet zu machen
2) Anpassung der Optimierung von KI-Algorithmen, um den besonderen Anforderungen verschiedener Fahrzeugtypen gerecht zu werden."
Plausibilisierung
Dieses TP vereinheitlicht die Validierung für verschiedene Datentypen mit maßgeschneiderten Plausibilitätstests und vermeidet eine universelle Lösung aufgrund der Vielfalt der Daten. Regulierungsbehörden im Automobilsektor erlauben virtuelle Tests. Um deren Eignung zu prüfen, wird der Unterschied zwischen realen und KI-generierten Daten analysiert. Daher werden Metriken zur Messung und Beschreibung dieser Domain Gap erforscht und entwickelt.
Leonard Schroven
(TP LEAD)
"Datengenerierung mit generativer KI ist nicht perfekt, Methoden zur Validitätsprüfung sind notwendig. Unsere Kerninnovation: Plausibilität ist keine eindimensionale Metrik. Es ist wichtig, Methoden zu erforschen und zu entwickeln, die nicht nur die Plausibilität von Daten bewerten, sondern auch aussagekräftige Erkenntnisse liefern, die für den Anwendungskontext relevant sind.“
