nxtAIM ist ein Forschungsprojekt, das alle wesentlichen Elemente für erfolgreiche KI-Entwicklung vereint: umfassende Fahrzeugdaten aus Industrie und Wissenschaft, leistungsstarke Rechenressourcen, technische Expertise und innovative Foundation Models, auf denen aufgesetzt werden kann.
nxtAIM arbeitet mit Künstlicher Intelligenz
und Methoden des Maschinellen Lernens
Menschen und Maschinen teilen sich den Verkehrsraum und interagieren miteinander. Autonome Fahrzeuge müssen hochflexibel und sicher unterwegs sein, Verkehrssituationen gut verstehen und passende Entscheidungen treffen. Das gelingt nur mit dem Einsatz Künstlicher Intelligenz (KI) und Methoden des Maschinellem Lernens (ML). Die jüngsten Fortschritte bei der Entwicklung sogenannter Generativer KI könnten das automatisierte Fahren tatsächlich revolutionieren.
Automatisierte Fahrfunktionen sind bisher nur innerhalb sehr begrenzter Vorgaben und einer definierten Betriebsumgebung nutzbar. Das liegt an den zugrundeliegenden Systemarchitekturen, die Informationen linear, Schritt für Schritt und in eine Richtung verarbeiten und dem Einsatz sogenannter überwachter, diskriminativer Methoden des Maschinellen Lernens (ML), die exakt annotierte, d. h. gelabelte, Daten voraussetzen. Im Gegensatz zu diskriminativen Methoden kann Generative KI häufig ohne präzise Annotation trainiert werden und vorhandene Annotationen zur Steuerung des Samplings nutzen. Generativer KI kann deshalb für Aufgaben wie synthetische Datenerzeugung bei Datenlücken und Simulation eingesetzt werden.
Als herausragendes Ergebnis für die industrieseitige Verwertung werden Foundation Modelle für Fahrdaten entstehen, die es bisher in dieser Form nicht gibt und der weiteren Entwicklung des autonomen Fahrens einen starken Auftrieb verleihen werden.
Erfolgreiche KI-Entwicklung
und -Innovationen im autonomen Fahren
Sampling – 3 Erfolgsfaktoren:
Methoden, Daten, Konsortium
„Generative Methoden ermöglichen es, aus gegebenen Datenpunkten hochkomplexe Wahrscheinlichkeitsverteilungen zu schätzen und daraus neue Beispiele zu ziehen. In den letzten Jahren haben Generative Methoden einen Reifegrad erreicht, mit dem beispielsweise generierte Bilddaten visuell nicht mehr von tatsächlichen Fotos zu unterscheiden sind. Der Sampling-Prozess kann zudem durch eine Vielzahl von Faktoren gesteuert werden.
Ziel von nxtAIM ist es, diese Methoden für den Einsatz beim autonomen Fahren anzupassen und nutzbar zu machen. Neben der angesprochenen technologischen Reife der Methoden sind die im Konsortium vorhandenen Datenmengen, sowie das bei Wissenschafts- und Industriepartnern vorhandene Know-how wichtige Erfolgsfaktoren für dieses Vorhaben.“
Dr. Jörg Reichardt
nxtAIM Projektleiter, Continental
Erfolgreiche KI-Entwicklung
und -Innovationen im autonomen Fahren
Sampling – 3 Erfolgsfaktoren:
Methoden, Daten, Konsortium
„Generative Methoden ermöglichen es, aus gegebenen Datenpunkten hochkomplexe Wahrscheinlichkeits-verteilungen zu schätzen und daraus neue Beispiele zu ziehen. In den letzten Jahren haben Generative Methoden einen Reifegrad erreicht, mit dem beispielsweise generierte Bilddaten visuell nicht mehr von tatsächlichen Fotos zu unterscheiden sind. Der Sampling-Prozess kann zudem durch eine Vielzahl von Faktoren gesteuert werden.
Ziel von nxtAIM ist es, diese Methoden für den Einsatz beim autonomen Fahren anzupassen und nutzbar zu machen. Neben der angesprochenen technologischen Reife der Methoden sind die im Konsortium vorhandenen Datenmengen, sowie das bei Wissenschafts- und Industriepartnern vorhandene Know-how wichtige Erfolgsfaktoren für dieses Vorhaben.“
Dr. Jörg Reichardt
nxtAIM Projektleiter, Continental
Die nxtAIM Story
Die nxtAIM Story
Herausforderung 01
Autonome Fahrfunktionen sind im Nutzen beschränkt
Ingenieure und Wissenschaftler stehen heute vor der Herausforderung, dass vollautomatisierte Fahrfunktionen nur begrenzt nutzbar sind, z. B. beim Autobahnfahren bei schönem Wetter, dem Einparken im Parkhaus und mit Schrittgeschwindigkeit auf festgelegten Routen. Der Grund liegt in der Art und Weise, wie die Daten für das automatisierte Fahren systemseitig verarbeitet werden: Der Informationsfluss ist linear. Daten werden Schritt für Schritt nur in eine Richtung verarbeitet – von der Wahrnehmung und Interpretation bis zur Planung und Umsetzung.
Innovation 01
Bidirektionaler Informationsfluss in der Wirkkette
Das Projektteam setzt neuartig an und arbeitet mit einer innovativen Idee: Es werden Generative KI-Methoden eingesetzt, damit Informationen bidirektional fließen können. Das bedeutet, Informationen können nicht nur weitergegeben, sondern auch zurückgeführt und unmittelbar verifiziert werden. Die Skalierbarkeit und Übertragbarkeit autonomer Fahrfunktionen können damit erhöht und die Nachvollziehbarkeit der Prozesse verbessert werden.
Herausforderung 02
Kognitive Fähigkeiten autonomer Fahrzeuge erhöhen
Eine der größten Herausforderungen besteht darin, wie man die kognitiven Fähigkeiten autonomer Fahrzeuge steigern kann, damit sie jederzeit sicher und zuverlässig im Straßenverkehr unterwegs sind. Diskriminative KI-Methoden benötigen große Mengen präzise annotierter Trainings- und Testdaten, deren Erzeugung wirtschaftlich nur in einer begrenzten Betriebsumgebung möglich ist. Generative KI, die sich bereits in großen Sprachmodellen und Text-zu-Bild-Generatoren bewährt hat, eröffnet neue Möglichkeiten. Die Forscher wollen diese Technologie nutzen, um die Systemarchitektur des automatisierten Fahrens grundlegend zu verändern und voranzutreiben.
Innovation 02
Entwicklung von Foundation Models für autonomes Fahren
Foundation Models sind vielseitig einsetzbar. Sie helfen, Daten effizienter, intelligenter und transparenter zu verarbeiten und Handlungsspielräume zu vergrößern. nxtAIM wird sie mit relevanten Fahrzeugdaten, die an unterschiedlichen Stellen (Sensoren) im Fahrzeug erhoben werden, trainieren und so die Entwicklung autonomer Fahrfunktionen massiv beschleunigen.
Ausblick
Ein Paradigmenwechsel im autonomen Fahren
Am Ende führt das Projekt zu einem Paradigmenwechsel in der Entwicklung des automatisierten Fahrens. Die Realität und Möglichkeit, dass autonome Fahrzeuge uneingeschränkt, sicher und zuverlässig in der Open World unterwegs sein können, rücken näher.
Zahlen & Fakten
Projektbudget
43,5 Mio. €
Konsortialleitung
Dr. Jörg Reichardt
Continental
Dr. Ulrich Kreßel
Mercedes-Benz
Konsortium
20 Partner
Fördervolumen
27 Mio. €
Laufzeit
36 Monate
Januar 2024 – Dezember 2026
Zahlen & Fakten
Projektbudget
43,5 Mio. €
Konsortialleitung
Dr. Jörg Reichardt
Continental
Dr. Ulrich Kreßel
Mercedes-Benz
Konsortium
20 Partner
Fördervolumen
27 Mio. €
Laufzeit
36 Monate
Januar 2024 – Dezember 2026
Überblick Teilprojekte
Ziel des TP1 ist die Entwicklung eines generativen Foundation Models für den Anwendungsfall im Automotive-Bereich. Dieses Modell soll multimodal sein, also die Erzeugung von Daten für verschiedene Sensoren ermöglichen, z.B. Kamera oder Lidar, insbesondere für Szenarien (z.B. schlechtes Wetter, Nacht), die in realen Datensätzen oft unterrepräsentiert sind.
Björn Ommer
TP Co-Lead
“Dieses Teilprojekt entwickelt ein generatives Foundation Model für den Automotive-Bereich, das die Erzeugung multimodaler Sensordaten ermöglicht. Die Innovation besteht darin, bestehende Modelle zur Generierung von Kameradaten anzupassen und auf weitere Sensortypen wie LiDAR und Radar zu erweitern. Damit werden Engpässe bei der Datenverfügbarkeit überwunden. Besonders relevant sind die synthetischen Daten für kritische Domänen wie Nacht- und Schlechtwetterszenarien, da reale Messdaten in solchen Situationen schwer zugänglich und teuer sind.
Durch die Definition semantischer Metriken wird die Plausibilität und Realitätstreue der generierten Daten zugänglich und schließlich gewährleistet. Die Integration dieser Metriken in gelernte Modelle ermöglicht Fehlererkennung und -korrektur, während die tiefe Sensorfusion eine umfassendere und präzisere Umweltwahrnehmung unterstützt. Diese Ansätze verbessern die Robustheit und Zuverlässigkeit der Perzeptionsfunktionen in anspruchsvollen Situationen und erweitern die Operational Design Domain (ODD). Dies hat weitreichende Implikationen, nicht nur für die Automobilindustrie, sondern auch für andere Bereiche, die auf präzise und vielfältige Sensordaten angewiesen sind.”
Bisher noch keine Inhalte
Bisher noch keine Inhalte
Bisher noch keine Inhalte
Bisher noch keine Inhalte
nxtAIM als Teil der KI Familie der VDA Leitinitiative
Die von der Leitinitiative entwickelten Projektfamilien KI Familie, Pegasus und @City adressieren die für die Wettbewerbsfähigkeit besonders wichtigen Forschungs- und Entwicklungsfelder des autonomen und vernetzten Fahrens. Während in der KI Familie der Schwerpunkt auf Datengenerierung und sichere KI liegt, drehen sich die Projektarbeiten in der Pegasus-Familie um Standards für das Testen und die Sicherheitsvalidierung hochautomatisierter Fahrfunktionen. In der @City-Familie steht die Ausweitung der Automatisierung und der Operational Design Domains (ODD) mit dem Schwerpunkt urbaner Verkehr im Mittelpunkt. Die aktuellen Entwicklungen im Bereich der KI führen zu einem Paradigmenwechsel bei der Anwendung autonomer Fahrfunktionen. Die Leitinitiative ergreift mit einer neuen Projektgeneration innerhalb der KI Familie die Chance, durch die breite Kooperation von Partnern aus Industrie und Wissenschaft beim Einsatz Generativer KI für das autonome Fahren erneut eine Führungsrolle einzunehmen.
