DataSOW

Ausgangslage

Die Binnenschifffahrt steht bezüglich eines hohen Automatisierungsgrades bzw. autonomer Operation vor großen Herausforderungen, was sich insbesondere durch die sehr komplexen Umgebungssituationen, in denen Binnenschiffe operieren, erklärt. Neben Restriktionen, die inhärent mit Binnenwasserstraßen verbunden sind (z.B. Querschnitte der Fahrrinnen, Durchfahrtshöhen, Operationsradien etc.), nehmen auch die wachsende Verkehrsdichte und Auslastung der Wasserstraßen sowie die Heterogenität der Verkehrsteilnehmer (vom Ruderboot bis zum Containerfrachter) starken Einfluss auf die Operation eines Binnenschiffs.

Das Ziel des Vorhabens DataSOW war es, einen wichtigen Beitrag dafür zu leisten, dass Binnenschiffe zukünftig assistiert, hochautomatisiert bzw. autonom operieren können.

Karte der Spree-Oder-Wasserstraße

Projektumsetzung und Ergebnisse

Zunächst wurde eine Sensorplattform aus den folgenden Bestandteilen konstruiert: drei Kamerasysteme, ein LiDAR Sensor sowie verschiedene Zustands- und Lokalisierungssensoren. Anschließend wurde über einen Jahreszyklus umfangreiches Datenmaterial der Infrastrukturobjekte entlang der Spree-Oder-Wasserstraße erfasst. Dieses wurde unter unterschiedlichen Licht- und Wetterbedingungen sowie in verschiedenen Vegetationsperioden erfasst und anschließend zu einem Datensatz zusammengeführt. Weiterhin wurden die Bilddaten mit Richtungsinformationen augmentiert.

Die TITUS-Sensorplattform

Aufbauend auf diesen Datensatz wurde ein KI-Modul trainiert, welches die Infrastrukturkomponenten entlang der Spree-Oder-Wasserstraße nahezu in Echtzeit mit einer Wahrscheinlichkeit von nahezu 90 % erkennt und klassifiziert. Dazu zählen z.B. Schifffahrtszeichen, Brücken oder Schleusen. Zudem wurde ein graphenbasierter SLAM-Algorithmus eingesetzt, der durch die gleichzeitige Lokalisierung und Kartierung eine umfassendere Wahrnehmung der Umgebung und die Erstellung einer Umgebungskarte erlaubt.

Beide Komponenten stellen eine wichtige Grundlage für die Navigation autonom operierender Binnenschiffe dar. So können die jeweiligen Ergebnisdaten nicht nur Assistenz- bzw. Steuerungssysteme unterstützen, sondern werden auch in weiterführende Projekte einfließen.

Damit konnte das Projekt DataSOW die Entwicklung hin zu einem vollautonomen Einsatz von Binnenschiffen voranbringen.

TITUS Research wird auch zukünftig weiter zum Thema autonome Binnenschifffahrt forschen. So beabsichtigen wir, im Rahmen von weiteren Forschungsaktivitäten die Datenerfassung auszuweiten. So sollen mit Hilfe zusätzlicher Sensoren neue Daten zu bislang nicht erfassten Objekten wie z.B. anderen Verkehrsteilnehmern auf dem Wasser gesammelt werden.

Das obige Video zeigt, wie das entwickelte KI-Modul auf das auf dem Boot entstandene Videomaterial angewendet wird. Man kann gut erkennen, welche Objekte (z.B. Brücken) durch das KI-Modul mit welcher Wahrscheinlichkeit (Prozentzahl) erkannt werden.

Exkurs: Künstliche Intelligenz & DataSOW

Künstliche Intelligenz (KI) stellt eine Schlüsseltechnologie bei der Umsetzung autonomer Systeme dar. DataSOW nutzte dabei zur Detektion und Klassifizierung der Infrastrukturen eine Teildisziplin der KI, das Machine Learning. Dazu wird ein Algorithmus erstellt, der aus allgemeinen Daten ein Muster, eine Regel ableitet, um vorgegebene Entscheidungs- und Bewertungsprobleme nach einem Trainingsprozess auch bei unbekannten Daten zu bewältigen. Das heißt: Die KI lernt aus vorhandenen Bildern, wie ein bestimmtes Objekt aussieht und überträgt diese Regel dann auf neue Bilder, in denen es das Objekt dann erkennen kann.

Wie arbeitet das KI-Modul?

Das KI-Modul wird auf Basis eines Convolutional Neural Networks (CNN) entwickelt. Ein CNN ist eine Netzarchitektur, die auf Klassifikationsaufgaben bei der Bild- und Videoerkennung spezialisiert ist. Es besteht im Wesentlichen aus sich abwechselnd wiederholenden Filter-Schichten, die primäre Merkmale extrahieren sowie Aggregations-Schichten, die die jeweiligen Merkmale verdichten und zusammenfassen. Jede Schicht präzisiert dabei das Ergebnis der vorherigen Schicht. Die Bilder werden dadurch vom Netz so aufbereitet, dass in einer letzten Schicht die schlussendliche Klassifizierung der Eingabedaten, das Erkennen und Identifizieren eines Objektes, durchgeführt werden kann.

Da das CNN durch diesen Aufbau lediglich in der Lage ist, ein Objekt zur selben Zeit zu detektieren, kann es zu Problemen kommen, wenn sich auf den Eingangsdaten mehr als ein Objekt einer bestimmten Klasse befindet. Um dies zu vermeiden, können Erweiterungen, wie R-CNN, genutzt werden. Das dadurch entstehende Hybridnetzwerk ist nicht nur in der Lage Objekte zu klassifizieren, sondern sie auch zu lokalisieren. Hierfür werden im ersten Schritt Regionen im Bild ermittelt, die sich durch ihre spezielle Struktur vom Hintergrund abzeichnen. Anschließend erfolgt die Objektbestimmung mittels der beschriebenen Schichten eines CNN. Gleichklassifizierte Regionen dienen dabei zur algorithmischen Bestimmung der Objektpositionen. Während das R-CNN auf sehr rechenintensive Algorithmen zurückgreift, gibt es mit Fast R-CNN und Faster R-CNN bereits Nachfolger, die deutlich schneller vorgehen können.

Wie wurde das KI-Modul trainiert?

Zur Entwicklung des KI-Moduls wurde eine Methode des Machine Learnings, das Transfer Learning, genutzt. Dabei wurde ein vortrainiertes neuronales Netz, das bereits unterschiedliche Objektklassen detektieren und klassifizieren kann, für die Lösung der in DataSOW gegebenen Problemstellung, sprich der Erkennung von Infrastrukturkomponenten entlang der SOW, angepasst.

Eine Herausforderung stellten Schifffahrtszeichen (z.B. Geschwindigkeitsbegrenzungen), bei denen sowohl Formen und Farben als auch Ziffern erkannt und ausgelesen werden müssen, dar. Um dem zu begegnen wurden, wie in der Abbildung zu sehen, zwei kooperierende Netze eingesetzt. Zunächst hat das erste Modell das beobachtete Objekt klassifiziert. Aufbauend darauf konnte die Entscheidung getroffen werden, ob es sich um ein Schifffahrtszeichen mit Ziffer handelt. Wenn dem so war, wurde das zweite Modell zur Klassifizierung der Ziffer eingesetzt.

Was war für das Training notwendig?

Zum Training des neuronalen Netztes mussten Trainingsdaten in ausreichend großer Menge und guter Qualität generiert werden.

Um sicherzustellen, dass die relevanten Verkehrszeichen und Infrastrukturkomponenten – auch bei variierenden Wasserstraßen – sicher erkannt wurden, war dementsprechend ein Dataset zu erstellen, das die später zu detektierenden Objekte möglichst präzise abbilden konnte. Das heißt, hier mussten verschiedenste Blickwinkel und Neigungen berücksichtigt werden, aber auch nur teilweise sichtbare bzw. partiell verdeckte Objekte konnten die Robustheit der Bild- und Mustererkennung steigern. Darüber hinaus unterschieden sich die Bildparameter stark über den Jahreszyklus hinweg. Lichtfarbe, Einfallswinkel der Sonnenstrahlen und Schattenbildung führten dabei zur Veränderung der Beleuchtungsbedingungen. Außerdem wurden wetterabhängige Sichtveränderungen, wie Nebel oder Regen, aber auch die unterschiedlichen Vegetationsperioden, bei der Erstellung der Trainingsdaten berücksichtigt.

Die tatsächlich benötigte Anzahl unterschiedlicher Datensätze steht dabei in Korrelation zur Anzahl der erzeugten Klassen sowie deren Komplexität. Bei der Erstellung des Trainingsdatensets wurde zudem darauf geachtet, dass Fehlinterpretationen, wie sie z.B. durch ein Ungleichgewicht in den Daten oder ein Overfitting des neuronalen Netzes entstehen können, vermieden werden.