Abschied vom toten Winkel
Schattenbasierte Objekterkennung
Beitrag von Felix Naser M.Sc., MIT
Forscher sind mit dem Ziel gestartet, den Wahrnehmungshorizont für (autonome) Fahrzeuge in den nicht direkt sichtbaren Bereich auszuweiten, um die Sicherheit zu erhöhen. Dies kann Auf der IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) wurde im November 2019 aus diesem Grund die neue Computer Vision Pipeline „ShadowCam“ vorgestellt. Wie die ShadowCam Objekte mithilfe einer Kamera erkennt und was es mit der Signalverarbeitung durch Schatten zur frühzeitigen Objekterkennung auf sich hat.
Chancen des autonomen Fahrens
Autonome Fahrzeuge haben das Potenzial, vielen Stakeholdern einen Mehrwert zu bieten, zum Beispiel: Den Usern einen erhöhten Komfort, den Städten weniger Staus durch effizientere Verkehrsführung, den Unternehmen neue Geschäftsmodelle und den Ingenieuren neue Innovationsfelder. Der Erfolg und die gesellschaftliche Akzeptanz für diese neue Technologie werden auch stark von der Sicherheit abhängen. Das Ziel sollte sein, besser als ein menschlicher Fahrer zu werden. Hier wird sich der gesellschaftliche Diskurs Schritt für Schritt in Gesetzen widerspiegeln.
Erkennen möglicher Gefahrensituationen
Algorithmen und Sensoren, die aktuell für Fahrerassistenzsysteme eingesetzt werden, benötigten in der Regel eine direkte Sichtverbindung zu einem dynamischen Objekt, um es zu klassifizieren und entsprechend darauf zu reagieren. Forscher und Studenten am MIT haben sich nun die Frage gestellt, ob es auch möglich wäre, potenzielle Gefahrensituationen zu verhindern, indem Schatten detektiert werden, bevor dynamische Objekte direkt sichtbar sind.
Ein Beispiel hierfür könnte ein Kind sein, das zwischen zwei parkenden Autos auf die Straße läuft. Der Schattenwurf könnte, bevor das Kind direkt sichtbar ist, erkannt werden. Andere Anwendungsgebiete könnten sich für Roboter ergeben, die auf langen Krankenhausfluren Medikamente transportieren und Kollisionen mit Menschen, die aus Zimmern oder anderen Gängen kommen, verhindern sollten.
Aktuelle Signalverarbeitung durch Schatten
Andere Systeme, die auch „um die Ecke“ schauen können, umfassen zum Beispiel eine Drohne, die vor dem Fahrzeug fliegt, Wi-Fi Signale, die durch Wände schauen können oder Ultrafast Imaging. Neben diesen Ideen fokussiert sich bisher die Schattensignalverarbeitung hauptsächlich auf das Entfernen des Signals. In der Regel wird es als Störsignal betrachtet und das Ziel ist, diese Interferenz zu eliminieren. Besonders im Fall einer visuellen Lokalisierung ist Schatteninvarianz wichtig.
Im Gegensatz zu diesen Beispielen beruht das System „ShadowCam“ nur auf einer Kamera. Es detektiert von einer fahrenden Plattform aus dynamische Schatten sich bewegender Objekte, die hinter einem Hindernis wie einer Ecke oder einem geparkten Auto aus Perspektive der Kamera verborgen sind.
Computer Vision Pipeline ShadowCam auf IROS in Macau vorgestellt
Das System, das auf der IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) in Macau im November 2019 vorgestellt wurde, beschreibt Experimente mit einem autonomen Rollstuhl in Gängen und einem autonomen Auto, das in einem Parkhaus fährt. Hier kann die neue Computer Vision Pipeline genannt „ShadowCam“ Objekte vor einem herkömmlichen LiDAR erkennen, wenn auch nur einige zehntel einer Sekunde. Das mag nicht viel erscheinen, aber Bruchteile einer Sekunde können schon einen großen Beitrag zur Sicherheit leisten, erklären die Forscher.
„Bei Anwendungen, bei denen sich Roboter mit anderen sich bewegenden Objekten oder Personen in der Umgebung bewegen, kann unsere Methode den Roboter frühzeitig warnen, dass jemand um die Ecke kommt, sodass das Fahrzeug langsamer werden, seinen Pfad anpassen und sich vorbereiten kann, um eine Kollision zu vermeiden“, fügt Co-Autorin Daniela Rus, Leiterin des Labors für Informatik und künstliche Intelligenz (CSAIL), und die Andrew- und Erna-Viterbi-Professorin für Elektrotechnik und Informatik hinzu.„Die große Vision ist es, Fahrzeugen, die sich schnell auf der Straße bewegen, eine Art ‘X-Ray Vision’ zu ermöglichen.“
Derzeit wurde das System nur in Innenräumen getestet. In Innenräumen sind die Robotergeschwindigkeiten niedriger und die Lichtverhältnisse gleichmäßiger, was es dem System erleichtert, Schatten zu erfassen und zu analysieren.
ShadowCam klassifiziert Video Sequenzen als statisch oder dynamisch
„ShadowCam“ verwendet Sequenzen von Videobildern einer Kamera, die auf einen bestimmten Bereich fokussiert ist, z. B. den Boden vor einer Ecke. So erkennt das System zeitliche Änderungen der Lichtintensität von Bild zu Bild, die auf eine Bewegung oder Annäherung eines Objekts hinweisen können. Einige dieser Änderungen sind möglicherweise schwer zu erkennen oder für das bloße Auge fast unsichtbar. Hier kommt der Teil der Bildverarbeitungspipeline zum Zug, der die Signale der stabilisierten Sequenz verstärkt und filtert. So kann die ShadowCam diese Informationen berechnen und klassifiziert jede Sequenz als statisch oder dynamisch.
Wenn ein dynamisches Objekt erkannt wird, kann eine entsprechende „Handlungsempfehlung“ abgegeben werden und das autonome Fahrzeug leitet zum Beispiel den Bremsvorgang ein. Zuerst werden die Sequenzen mit einer visuellen Odometrie Methode stabilisiert. Als Nächstes folgt die Signalverstärkung, eine Technik, die in der ersten Veröffentlichung (IEEE ITSC 2018) vorgestellt wurde. Pixel, die Schatten enthalten können, erhalten eine Farbverstärkung, die das Signal-Rausch-Verhältnis verbessert. Dies macht extrem schwache Signale von Schattenwechseln weitaus besser erkennbar. Wenn das verstärkte Signal einen bestimmten Schwellenwert erreicht, klassifiziert ShadowCam das Bild als „dynamisch“. Nun kann das System den Roboter anweisen, langsamer zu werden oder anzuhalten.
„Wenn Sie dieses Signal erkennen, können Sie vorsichtig sein. Es kann sich um einen Schatten einer Person handeln, die hinter der Kurve hervorläuft, oder um ein anfahrendes Fahrzeug, sodass das autonome Auto langsamer werden oder ganz anhalten kann“ sagt Naser.
Weiterentwicklung des Systems
Limitationen wie niedrige Geschwindigkeit können in Zukunft adressiert werden Als Nächstes entwickeln die Forscher das System weiter, mit dem Ziel unter verschiedenen Lichtbedingungen im Innen- und Außenbereich zu arbeiten. In Zukunft könnte es auch Möglichkeiten geben, die Schattenerkennung des Systems zu beschleunigen und den Prozess der Annotation von Zielbereichen für die Schattenerkennung zu automatisieren.
Literatur
- Bauverlag BV GmbH, Facility Management, RA Dr. Florian Rammel, Fachanwalt für Bau- und Architektenrecht (2014): Prüfpflicht nach § 15 BetrSichV
- Bundesministerium der Justiz und für Verbraucherschutz, BetrSichV
- Rödl & Partner, Jörg Schielein, LL.M., Rechtsanwalt (2018): Betreiberverantwortung – alles klar?!
Erstmals erschienen in: TiB Ausgabe 2020 März/April