5. Dezember 2024

Über die Kooperation im Projekt EVSC (Event Vision Stream Compression) unterstützt die Hochschule Karlsruhe (HKA) Mercedes-Benz in der Weiterentwicklung von Neuromorphic Computing für autonomes Fahren.

Intelligente Kamerasysteme gelten neben der restlichen Sensorik als Kerntechnologie beim autonomen Fahren. Aktuelle Kameras erzeugen in festen zeitlichen Abständen ein Bild. Sie versorgen das autonome Fahrsystem also kontinuierlich mit Momentaufnahmen der Umgebung. In dieser Funktionsweise steckt allerdings bei jenen Systemen ein Nachteil, die ausschließlich Kameras nutzen: Das Fahrsystem erhält in der Zeit, die zwischen der Aufnahme zweier Bilder vergeht, keinerlei Informationen vom Kamerasystem. Eine typische Bildrate aktueller Kameras ist 30 Bilder pro Sekunde. Bei einer Fahrgeschwindigkeit von 100 km/h bewegen wir uns also bereits einen Meter weit, bevor das autonome System neue visuelle Informationen erhält. Außerdem weisen die heutigen Verarbeitungssysteme der Kameradaten einen hohen Energiebedarf auf, da 30 Bilder pro Sekunde komplett verarbeitet werden müssen.

Die Forschungskooperation trägt dazu bei,  die technischen Möglichkeiten zur intelligenten Mobilitätmittels Neuromorphic Computing voranzutreiben. Dieser Ansatz ahmt das menschliche Gehirn nach, KI-Berechnungen intelligenter Systeme werden dadurch energieeffizienter und mit höherer Geschwindigkeit ausgeführt. Sicherheitssysteme könnten zum Beispiel Verkehrszeichen, Fahrspuren und Objekte auch bei schlechter Sicht viel besser erkennen und schneller reagieren. Neuromorphic Computing hat das Potenzial, den Energiebedarf für die Datenverarbeitung beim autonomen Fahren im Vergleich zu heutigen Systemen um bis zu 90 % zu senken.

Ein wesentlicher Baustein von Neuromorphic Computing sind neuromorphe Kameras. Die sogenannten Event-Kameras stehen im Mittelpunkt des Projekts EVSC der HKA. Diese Kameratechnologie stellt einen Paradigmenwechsel dar: Anders als herkömmliche Kameras nehmen Event-Kameras dynamisch Veränderungen in ihrem Blickfeld wahr, statt in festen Abständen ein Bild aufzunehmen. Damit geht eine deutliche Verbesserung der zeitlichen Auflösung einher. Event-Kameras können das autonome Fahrsystem innerhalb weniger Mikrosekunden mit neuen Informationen versorgen. Auf das Beispiel von oben übertragen, verringert eine Event-Kamera die Reaktionsstrecke bei 100 km/h Fahrtgeschwindigkeit etwa auf 3 cm. Dies stellt eine erhebliche Verbesserung von Faktor 30 zu aktuellen Systemen dar. „Die größte Schwierigkeit bei der Umsetzung dieser revolutionären Technologie“, so Prof. Dr. Jan Bauer, Professor für Image Processing & Neural Networks an der Fakultät für Elektro- und Informationstechnik der HKA, „ist die Integration in das Gesamtsystem, die oft mit komplexer Verkabelung und hohem Stromverbrauch der Kameras verbunden ist. Bei unserem Projekt beschäftigen wir uns also auch damit, wie wir die Integrierbarkeit von Event-Kameras in das Auto verbessern können. Unser Hauptziel ist es, durch Kompression die Spitzenbitrate bei der Datenübertragung zu begrenzen und so die Kosten sowie den Nettostromverbrauch für die Übertragung der Event-Kamera-Daten zu senken.“

Mit der Projektkooperation verfolgt die Hochschule Karlsruhe konsequent einen weiteren Schritt in der Mitgestaltung der Zukunft des autonomen Fahrens, denn Prof. Dr. Jan Bauer ist sich sicher, dass der Einsatz von Event-Kameras die Fähigkeit von autonomen Fahrzeugen, die Umwelt schneller und genauer zu erfassen, erheblich erweitern wird. „Und mit dem Projekt EVSC können wir die Integrationsfähigkeit dieser neuen Kameratechnologie in das Fahrzeug deutlich verbessern“, so der HKA-Forscher.