FPGA basierte Fahrerassistenz­systeme

Embedded Software FPGA Entwicklung Messtechnik

Kamera basierte Fahrerassistenzsysteme müssen Videobilder in Echtzeit verarbeiten können. SCS hat verschiedene Bildverarbeitungsalgorithmen wie z.B. SGM-Stereo, optischer Fluss und Stixel auf ein FPGA umgesetz. Diese sind nun im Serieneinsatz und machen die Strasse sicherer.

  • Problemstellung

    Kamera basierte Fahrerassistenzsysteme müssen Videobilder in Echtzeit verarbeitet werden können. Bei neu entwickelten Algorithmen, besteht häufig der Bedarf zur Beschleunigung der Laufzeit.

  • Lösung SCS

    Der Algorithmus des Kunden lag als PC-Programm vor. SCS hat dessen Funktionalität auf eine FPGA Plattform portiert, welche den Algorithmus in Echtzeit ausführt.

  • Mehrwert

    Der Kunde ist nun in der Lage, den Algorithmus im Versuchsfahrzeug in Echtzeit auszuführen und im realen Verkehrsgeschehen zu testen.

Projekteinblicke

Die Entwicklung von Fahrerassistenzsysteme, wie einem Spurhalte- oder Stauassistenten, beinhaltet die Lösung mannigfaltiger Problemstellungen. So muss dem System z.B. die Transformation von Bildpunkten zu bekannten Objekten (Fahrbahn, Markierungen, Fahrzeuge, Fussgänger, etc.) beigebracht werden. Die dabei benötigten Algorithmen werden von den Fachexperten unseres Kunden zur Erforschung als PC-Programme umgesetzt.

Da zum Projektzeitpunkt die Leistungsfähigkeit moderner Prozessoren und Graphikkarten nicht ausgereicht hat, um mit dem Algorithmus das Videobild einer Automotive-Kamera in Echtzeit zu verarbeiten, konnte der Fachexperte die Funktionalität seines Algorithmus nicht im fahrenden Versuchsfahrzeug prüfen. Mehrere solcher Algorithmen wurden von den Ingenieurinnen und Ingenieuren der SCS in ein FPGA implementiert und auf unserer dafür geeigneten Hardware Plattform integriert. Das entstandene System erlaubt die Echtzeit-Verarbeitung der Videobilder. Dabei wurde jeweils zuerst in einer Machbarkeitsstudie in enger Zusammenarbeit mit den Fachexperten des Kunden die Umsetzbarkeit geprüft und der Realisierungsaufwand eruiert.

Anschliessend führte SCS die Umsetzung auf FPGA durch. Mit der Umsetzung auf FPGA sind die Fachexperten des Kunden in der Lage, ihre Algorithmen im Versuchsfahrzeug in Echtzeit auszuführen. Sie können sie zu einem Gesamtsystem zusammenfügen und im realen Verkehrsgeschehen testen. Projekteinblick am Beispiel des Stixel-Algorithmus: Die Verarbeitung von Videobildern auf Pixelbasis erfordert vom Algorithmus die Handhabung erheblicher Datenmengen. Der Stixel-Algorithmus hilft dabei, die Datenmenge zu reduzieren: er fasst die Pixel einer Bildspalte zu „Säulen“, sogenannten Stixeln zusammen. Dabei bildet er Stixel aus senkrecht stehenden Flächen (in Fahrzeugrückfronten, Randsteinen, …), flachen Flächen (Fahrbahn, Gehsteig, …) und Hintergrund.

Neben der Datenreduktion wird eine erste, grobe Gruppierung der Pixel zu Teilobjekten erreicht. Dieser Algorithmus ist mathematisch komplex und entsprechend rechenintensiv. SCS ist es im Rahmen einer Machbarkeitsstudie gelungen, den Algorithmus auf eine Streaming-Architekturfür ein preisgünstiges FPGAs abzubilden. Er wurde anschliessend auf der FPGA-Box von SCS umgesetzt und mit weiteren Algorithmen integriert. Zwei Automotive-Kameras können nun direkt angeschlossen werden. Das Resultat, ein Stixel-Bild, steht via Netzwerkanbindung zur Anzeige oder Weiterverarbeitung am PC zur Verfügung.

Die FPGA-Box von SCS war eines der Teilsysteme der Mercedes-Benz S-Class INTELLIGENT DRIVE, welche als erstes Auto weltweit in einer Pionierleistung komplett autonom eine 100km lange Überlandstrecke gefahren ist. Die ausgewählte Strecke führt von Mannheim durch Dörfer und Kleinstädte bis nach Pforzheim und hat historische Bedeutung: denn Bertha Benz hat genau 125 Jahre früher auf derselben Strecke die Tauglichkeit der patentierten Benz-Motorkutsche demonstriert. Die moderne S-Klasse hat dabei erfolgreich zahlreiche schwierige Verkehrssituationen gemeistert.

Einen Einblick geben Text und Bilder auf folgender Webseite:
Pioneering achievement: Autonomous long-distance drive in rural and: Mercedes-Benz S-Class INTELLIGENT DRIVE drives autonomously in the tracks of Bertha Benz

Verwandte Projekte

Einfacher Balisenleser für den Messzug

Eurobalisen sind auf allen Bahntrassen installiert und identifizieren Zuggleise eindeutig. In erster Linie natürlich für die Zugsicherung, aber ... mehr erfahren

Smart Meter Toolkit

Gemäss Stromversorgungsverordnung muss der Netzbetreiber dem Endkunden ermöglichen, Echtzeitmessdaten des Smart Meter zu erhalten. Das Smart Meter ... mehr erfahren

Vertrauensvolle KI für den Messradsatz

Um die dynamischen Kontaktkräfte zwischen Schiene und Rad zu messen, setzt die SBB sogenannte Messradsätze ein. Sensoren auf den Rädern messen die ... mehr erfahren

Visuelle Innovation durch KI in der Augenheilkunde

Die optische Kohärenz-Tomographie (OCT) ist ein schonendes Laser-Mikroskop und wird von Augenärzten eingesetzt, um die Netzhaut nach Anomalien zu ... mehr erfahren

Visuelle Kontrolle von Eisenbahnwagen

Ist die Klotzbremse abgenutzt? Wie dick ist das Schleifstück des Pantographen? Hängt eine nicht richtig montierte Schraubenkupplung nach unten? Das ... mehr erfahren
Alle Projekte anzeigen
Felix Eberli Embedded Systems & Automotive Wie kann ich Ihnen weiterhelfen?