Verschiedenste Technologien kommen zusammen, damit autonome Fahrzeuge ihre Umwelt wahrnehmen und darauf aufbauend Entscheidungen treffen können. Vor allem ist es wichtig, dass Verkehrsteilnehmende wie zu Fuß Gehende verlässlich erkannt werden, um Unfälle zu vermeiden.
© 2022, ArthurHidden auf freepik.com
Für die maschinelle Wahrnehmung werden Sensoren verwendet, die auf Kamera- sowie Radar- und/oder Lidartechnik basieren.
Mithilfe der Kameras wird ein 2D-Abbild der 3D-Umgebung geschaffen, das aus hoch aufgelösten Grauwerten oder aus Farbe besteht. Wichtig ist, dass das Abbild genügend Kontrast hat, damit in der Szene klar differenziert werden kann. Hierfür werden Methoden der Bildverarbeitung angewandt. Was die Entfernungsbestimmung angeht, weisen Kameras über einen hohen Fehler auf, weshalb dafür Radar- und Lidarsensoren verwendet werden. Diese verfügen über einen sehr geringen Messfehler, der unabhängig von der Distanz ist. Da Radar- und Lidarsensoren, im Gegensatz zu Kameras, Objekte schlechter erfassen können, werden die Informationen kombiniert (auch Sensordatenfusion genannt). Ohne eine Kommunikation zwischen Fahrzeugen ist es aber schwierig, die Bewegungsrichtung von beispielsweise zu Fuß Gehenden zu bestimmen.
Neben den physikalischen Eigenschaften der Umwelt ist es für autonome Fahrzeuge allerdings auch wichtig, die semantischen Eigenschaften zu bestimmen und auszuwerten. Denn verschiedene Klassen von Verkehrsteilnehmenden verhalten sich anders (zu Fuß Gehende, Fahrradfahrende, Motorradfahrende, etc.) und auch die Fahrbahnmarkierungen können je nach Kontext verschiedene Bedeutungen haben. Menschen fällt es sehr leicht ihrer Wahrnehmung eine semantische Bedeutung zuzuordnen, aber für autonome Fahrzeuge ist es eine schwierige Aufgabe. Es benötigt zuverlässige Klassifikationsverfahren, die entweder automatisiert gelernt oder manuell vorgegeben werden. Um Objekte wie Fahrbahnmarkierungen, Sperrflächen, Haltelinien, Lichtsignalanlagen und Verkehrsschilder zuverlässig zu identifizieren, werden nach heutigem technischen Stand unterstützend präzise digitale Karten verwendet. Jedoch wird versucht, technische Lösungen zu entwickeln, um auf eine solche Karte verzichten zu können.