Die Wahrnehmung der Fahrumgebung bei autonomen Fahrzeugen

Beitrag von Dr.-Ing. Günter Reichart

Eine der zentralen Herausforderungen des autonomen Fahrens ist die verlässliche und korrekte Wahrnehmung und Interpretation der Fahrzeugumgebung. Sensoren im optischen Bereich und im Mikrowellenbereich liefern die entsprechenden Informationen, die zusammengeführt und gemeinsam ausgewertet werden müssen. Mehr über die Anforderungen und Funktionsweise der verschiedenen Sensoren sowie über deren Unterschiede.

Zur Fahrumgebung gehören alle Objekte und Zustände, die für eine sichere Fahrzeugführung und zur Erkennung von Systemgrenzen einzubeziehen sind: die Straße, Kreuzungen und Einmündungen, Ausfahrten, Baustellen, bewegliche oder statische Objekte, Verkehrszeichen, Sichtbedingungen, Straßenzustand und vieles mehr.

Eine weitere wichtige Randbedingung ist der Verkehrsraum, der befahren werden soll. So sind Autobahnen wesentlich einfacher für die Automatisierung zu handhaben als der Verkehr in komplexen, städtischen Umgebungen (parkende Fahrzeuge, Fußgänger, Radfahrer etc.).

Der Mensch als Fahrzeugführer leistet diese Aufgaben primär über die visuelle Wahrnehmung, unterstützt durch das Kontextwissen, das er sich durch die Fahrerfahrung erworben hat. Die menschliche visuelle Wahrnehmung ist einerseits extrem leistungsfähig, aber sie hat gegenüber technischen Sensoren auch Defizite, z. B. bezüglich der Präzision der Entfernungsbestimmung, der Relativgeschwindigkeits-Schätzung oder auch bezüglich der Aufrechterhaltung der Aufmerksamkeit bei Ermüdung oder Ablenkung.

Einen erheblichen Einfluss auf den Aufwand bei der Sensorik hat der Geschwindigkeitsbereich, der durch die Automatisierung abgedeckt werden soll. So kann bei langsam fahrenden People Movern (bis ca. 40 km/h) auf Sensoren mit hoher Reichweite verzichtet werden.

Googles Prototypfahrzeug benutzt beispielsweise nur einen - zwar sehr aufwendigen - Laserscanner, um ein Bild der Fahrumgebung zu erzeugen. Allerdings stellt sich bei einem breiteren Einsatz die Frage, ob nicht allein aus Gründen der Funktionssicherheit eine redundante Sensorik ohnehin zwingend erforderlich wird.

Je nach Automatisierungsumfang eines Automobils müssen die Sensoren den gesamten Bereich der Fahrumgebung erfassen. Wird nur eine Automatisierung des Folgefahrens hinter vorausfahrenden Fahrzeugen in der eigenen Fahrspur beabsichtigt, genügt die Erfassung im Frontbereich. Der Stand der Technik setzt primär auf bildgebende Verfahren, d.h. Stereo- oder Monokamera, LiDAR (scannend oder Multibeam) wie auch auf Radarsensorik. Die physikalischen Eigenschaften dieser Sensoren erlauben keine vollständige Redundanz der Wahrnehmungsleistungen.

Radarsysteme (heute meist Multibeam-Radare) werten die von Objekten reflektierten Signale aus [1]. Die Objektausdehnung lässt sich in aller Regel nicht bestimmen und führt zu einer gewissen Unsicherheit gerade bei querstehenden Objekten.

Mikrowellenradare mit mehreren Sendekeulen (Multibeam) für den Fernbereich bis 150-200 m werden üblicherweise in einem Frequenzbereich um 77 GHz betrieben. Sie sind in der Lage, in einem entfernungsabhängigen Winkelbereich von ca. 12 bis 60°, Abstand und radiale Differenzgeschwindigkeit von Objekten relativ präzise zu messen. Die Winkelposition ist dagegen ungenauer. Je nach Auflösungs- und Trennvermögen können mehrere Ziele gleichzeitig erfasst werden. Diese Radarsysteme sind relativ unempfindlich gegenüber Sichtbeeinträchtigungen durch leichten und mittleren Regen, Nebel, Staub oder Rauch.

Für den Nahbereich bis ca. 40 m sind hochgenaue, weitwinklige Radare verfügbar. Sie arbeiten bei einer Frequenz von 24 GHz und liefern bei Multiple Beam Lösungen oder bei scannenden Verfahren auch die Winkellage des Reflexionsschwerpunktes, sowie dessen Entfernung und Relativgeschwindigkeit zum eigenen Fahrzeug. Diese Systeme sind relativ empfindlich gegenüber starkem Regen, Schneefall und gegenüber der Vereisung des Radoms.

Optische Systeme haben eine deutlich geringere maximale Detektionsentfernung, Kameras können bis zu einem Entfernungsbereich von etwa 80 m eingesetzt werden, LiDAR-Systeme bis ca. 130 m. Sie sind deutlich empfindlicher gegenüber Sichtbeeinträchtigungen.

LiDAR Systeme senden aktiv Lichtimpulse über Laserdioden aus und werten die Laufzeit und Intensität des rückgestreuten Signals aus. Insbesondere scannende LiDAR-Systeme liefern ein relativ präzises Abbild der Objekte in der Fahrumgebung. Allerdings sind derartige Systeme heute aufgrund der geringen Stückzahlen noch sehr teuer. Sie können Abstand und Winkelposition von optischen Reflexionspunkten präzise messen und liefern so ein 3D-Bild. Mehrzielfähigkeit und Trennschärfe sind gut ausgeprägt. Die Relativgeschwindigkeit ist nicht verfügbar oder höchstens indirekt durch modellgestützte Filterung zu erhalten.

In den Detektionseigenschaften unterscheiden sich kamerabasierte Systeme von den LIDAR-Systemen. Das von den Kameras gelieferte Bild wird verschiedenen Methoden der Bildverarbeitung unterworfen, wie Farbauswertung, Graubildauswertung, Filteroperationen, Kanten- und Merkmalsextraktion usw... oder wird über trainierte neuronale Netze sowie über Vergleich mit angelernten Mustern ausgewertet. So können Fahrbahnberandungen, Objekte wie Fahrzeuge oder Fußgänger, oder auch Verkehrszeichen erkannt werden.

Stereokameras haben den Vorteil, dass sie es erlauben, ähnlich dem menschlichen Sehen die Tiefeninformation aus dem Bildpaar zu berechnen. Bei Monokameras ist die Entfernung der detektierten Objekte nur mit zusätzlichen Modellannahmen, wie z.B. konstanter Objektbreite oder auf einer ebenen Straße über die Erkennung der Berandung der Objekte, zu schätzen.

Eine relativ neue Technologie sind sogenannte 3-D-Sensoren auf Basis der PDM-Technologie (Photonic Mixer Device). Diese messen die Laufzeit eines Signals bzw. die Phasenverschiebung eines Dauersignals nach dem Auftreffen und der Reflexion von einem Objekt. Es handelt sich um einen elektrooptischen Misch- und Integrationsprozess, der die pixelweise Korrelation eines modulierten optischen Signals mit einer elektronischen Referenz erlaubt.

Ein Vorteil dieser Sensoren ist ihre Unempfindlichkeit gegen Blendungsattacken oder anderen nicht korrelierten Lichtsignalen, darüber hinaus liefern sie die Tiefeninformation der Objekte direkt. Nachteilig ist die noch sehr begrenzte Reichweite.

Wie diese kurze Diskussion der verschiedenen Sensoren zeigt, gibt es bisher nicht den universell geeigneten Sensor für die hochautomatisierte Fahrzeugführung. Jeder Sensor hat spezifische Eigenschaften und Grenzen, weshalb man für die Kombination eine geschickte Auswahl treffen muss.

Im Frontbereich des Fahrzeugs wird man mit hoher Wahrscheinlichkeit eine Kombination von Fern-Bereichs- und Mittel-Bereichs-Radaren benötigen. Dies kann ergänzt oder vielleicht auch ersetzt werden durch scannende LiDAR Systeme. Zusätzlich braucht man Kameras, die entweder Teilbereiche der Fahrumgebung erfassen oder eine 360°-Erfassung leisten. Im rückwärtigen und seitlichen Bereich können Nahbereichs-Radare oder Kameras eingesetzt werden. Für sehr kleine Distanzen behalten Ultraschallsensoren ihre Bedeutung. Hinzu kommt der Bedarf für Infrarot-Sensorik, um kritische Objekte bei Nachtfahrt sicher zu detektieren.

Aus der Vielzahl von Sensordaten muss ein zu jedem Zeitpunkt stimmiges Gesamtbild der Fahrumgebung erzeugt werden, aus dem dann die Aktionen für die gesamte Vielfalt von Funktionen abzuleiten sind, die heute vom Fahrer bewältigt werden. Durch geschickte Fusion kann ein hinlänglich robustes Bild der Fahrumgebung erzeugt werden.
Die Sensordatenfusion kann auf verschiedenen Ebenen der Signalverarbeitung erfolgen:

• Auf der Ebene der Signale (Rohdaten),
• auf der Ebene der Merkmale,
• auf der Ebene abstrahierter Merkmale oder
• auf der Ebene von Klassifikationen (Objektlisten).

Aus informationstheoretischer Sicht verliert man bei einer Fusion von Sensorrohdaten am wenigsten Information, allerdings zahlt man einen hohen Preis durch den Umfang der Daten, die man fusionieren muss. Es kommt auch noch sehr darauf an, ob die Daten der Sensoren redundant, komplementär (sich gegenseitig ergänzend) oder kooperativ (die Daten erzeugen in der Kombination eine neue Information) zueinander sind.

Eine zusätzliche Schwierigkeit der Fusion rührt daher, dass die Daten nicht zeitsynchron sind. Jeder Sensor hat unterschiedliche Zeiten bis er ein Objekt erkennt und weist auch unterschiedliche Verarbeitungs- und Signallaufzeiten auf. Aus diesem Grund braucht man in heterogenen Sensornetzwerken Verfahren, die es erlauben, die Daten zu definierten Fusionszeitpunkten zusammenzuspielen.

Hierzu ist es aber erforderlich, dass jeder individuelle Sensor eine gewisse Datenvorverarbeitung separat durchführt (z. B. Objekterkennung und Tracking). Diese Ergebnisse können dann fusioniert werden. Um mit der Unsicherheit der Einzeldaten umzugehen, werden verschiedene parametrische Fusionsverfahren eingesetzt, hierzu gehören Kalman-Filter, Bayesche Statistik und die Evidenztheorie nach Dempster-Shafer [2].

Manche Daten, wie Objekte hinter einer Kurve oder der Straßenzustand, lassen sich derzeit nicht über vorausschauende Sensorik erfassen, hier müssen Daten aus anderen Quellen, wie hochauflösendes GPS, hochgenaue digitale Karten und Backenddaten als weitere Informationsquellen genutzt werden. Unter Backendlösungen werden Client-Server Konzepte verstanden, in denen die Fahrzeuge als Clients mit dem oder den Servern über das Internet und eine Datenverbindung kommunizieren.

Aus Verfügbarkeits- und Sicherheitsgründen muss für diese hochvernetzten Sensoren und Datenquellen eine hinreichende Redundanz sichergestellt werden oder über geeignete Degradationskonzepte eine Funktionseinschränkung der Fahrzeuge sichergestellt werden. Manche Fragen, wie zum Beispiel die Reaktion auf Handzeichen von Personen oder eine verlässliche Erkennung der aktuellen Lage, erscheinen derzeit noch nicht hinreichend beantwortet. Auch die Frage, wer nach aufgetretenen Unfällen oder Park-Remplern überhaupt die Sensorik autonomer Fahrzeuge reparieren und wieder freigeben darf, kann derzeit noch nicht klar beantwortet werden.

Der erhebliche Aufwand an Sensorik und Signalverarbeitung, wie auch für die sicherheitstechnische Auslegung lässt für autonome Fahrzeuge deutliche Mehrkosten erwarten. Heutige Schätzungen liegen nach einigen Literaturangaben zwischen 3.000,- und 10.000,- Euro. Ohne eine Absenkung dieser Kosten ist eine eher langsame Marktdurchdringung zu erwarten, die sich erst mit zunehmender Stückzahl und damit einhergehender Kostendegression beschleunigen wird.

Die Entwicklung der Sensoren hat seit den 1990er Jahren immense Fortschritte gebracht. Reichweite, Auflösung und Mehrzielfähigkeit wurden deutlich verbessert, Multibeamlösungen bei Radar oder elektronisch scannende Verfahren sind heute bereits industriell breit eingesetzte Lösungen. Es ist auch weiterhin ein rascher Fortschritt zu erwarten, der hochleistungsfähige Sensoren zu vertretbaren Kosten erwarten lässt.

Literatur

[1] Winner, H., Hakuli, S., Lotz, F., Singer, Ch. (Hrsg.): Handbuch Fahrerassistenzsysteme, Springer Vieweg, Wiesbaden 2015
[2] Beyerer, J., Puente Leon, F., Sommer, K.-D.: Informationsfusion in der Mess- und Sensortechnik, Universitätsverlag, Karlsruhe, 2006

Erstmals erschienen in: TiB Ausgabe 2017 Januar/Februar