Communication Networks / Multimedia Communications Lab
Ahmad Khalil forscht mit Federated Learning an Lösungen für das vernetzte und vollautonome Fahren.
October 8, 2024 | Christine Wachter
Auf dem Weg zum vollautonomen Straßenverkehr stellen vor allem Fahrten bei Nacht, Nebel und Regen noch eine große technische Herausforderung dar. Diesem hochkomplexen Themengebiet hat sich Dr.-Ing. Ahmad Khalil in seiner Promotionsarbeit gewidmet. Dabei leitete ihn die Frage, wie sich vollautonome Fahrzeuge im Straßenverkehr effizient für den Datenaustausch vernetzen können, um gemeinsam die Umwelt präziser zu erfassen.
Im autonomen Straßenverkehr bewegen sich die Fahrzeuge, indem sie konstant Informationen austauschen – zum einen mit Edge-Servern in Form sogenannter „Roadside Units“ (die wie Blitzer am Straßenrand stehen), zum anderen mit allen anderen Fahrzeugen in der näheren Umgebung. Dies ist durch Vehicle-to-Everything (V2X)-Kommunikation möglich, welche Grundlage für Anwendungen wie das sogenannte kooperative Bewusstsein und kollektive Wahrnehmung ist.
Ahmads Forschung konzentriert sich auf Probleme, die es bei der Anwendung der kollektiven Wahrnehmung (engl. „Collective Perception“, CP) gibt, sowie auf die Erforschung von Lösungen zur Verbesserung der Wahrnehmung bei besonders schwierigen Rahmenbedingungen wie Regen, Nebel oder Nachtfahrten. Durch den Austausch erkannter Objekter zwischen Fahrzeugen können diese ihren Wahrnehmungsbereich erweitern und auch Objekte außerhalb ihres eigenen Sichtfeldes („Field-of-View“, FOV) zur Verbesserung des autonomen Fahrens nutzen, z. B. solche, die von Gebäuden verdeckt werden. CP steht jedoch vor mehreren Herausforderungen bei der Erfassung, Kommunikation und Zusammenführung von Daten.
Autonome Fahrzeuge erzeugen mit ihren Kamera-, Lidar- und Radarsystemen Daten, welche als Grundlage für alle CP-Aufgaben dienen. Diese Daten werden von tiefen neuronalen Netzwerken (DNNs) verarbeitet, die als Wahrnehmungsmodelle dienen, wie beispielsweise diejenigen, die für die Objekterkennung verwendet werden.
Ein Problem dabei ist jedoch, dass diese Wahrnehmungsmodelle auf herkömmliche Weise offline trainiert werden, dazu oft noch mit Daten aus sehr spezifischen Szenarien. Unter bestimmten Bedingungen wie Nebel oder starkem Regen kann dies zu Problemen bei der Objekterkennung führen. Darüber hinaus wird es zunehmend kostspieliger, die Leistung der tiefen neuronalen Netze zu verbessern; für akkurate Wahrnehmungsmodelle sind sehr viele Trainingsdaten erforderlich.
Deshalb arbeitet Ahmad an einem speziellen Ansatz, der in jüngster Zeit in der Fahrzeugnetzforschung erhebliche Aufmerksamkeit erlangt hat. Beim sogenannten „Federated Learning“( FL) wird das neuronale Netz dezentral trainiert. Der Ansatz besticht vor allem durch die Fähigkeit, für das Training nur wenige Daten übertragen zu müssen. Bisher konzentrierte sich die Forschung jedoch auf den Einsatz von Federated Learning, um generalisierte Wahrnehmungsmodelle im Fahrzeug zu trainieren – was in bestimmten Szenarien wie Nacht- und Nebelfahrten zu einer schlechten Leistung führt.
Dieser Herausforderung stellt sich Ahmad, indem er – inspiriert von den Prinzipien des föderalen Lernens – Ansätze für eine situationsbedingte kollektive Wahrnehmung vorstellt („Situational Collective Perception“, kurz SCP). Diese ermöglichen es, neuronale Netze unter Berücksichtigung des Kontextes online direkt im Fahrzeug zu trainieren.
Hierzu wird das Wahrnehmungsmodell von den Roadside Units an die Fahrzeuge geschickt, sobald eine bestimmte Situationen erkannt wird, zum Beispiel Regenwetter.
Das Fahrzeug nutzt das bereits vortrainierte und validierte Wahrnehmungsmodell, trainiert es aber anhand der Sensordaten im Fahrzeug auch gleichzeitig weiter. Dadurch wird das Modell verbessert, ohne dass umfangreiche Sensordaten an einen zentralen Trainingsserver übermittelt werden müssen. „Dank des Trainings direkt im Fahrzeug kann Wissen zwischen den Fahrzeugen ausgetauscht werden, ohne dass das Kommunikationsnetz mit riesigen Mengen an Sensordaten überflutet wird“, erklärt Ahmad den Vorteil seiner Methode.
Mit dieser Lösung gibt sich Ahmad jedoch nicht zufrieden. Ihn stört, dass der Weg zwischen Cloud-Server und Fahrzeug-Server recht weit und die Übertragung des Wahrnehmungsmodells deshalb entsprechend langsam ist – relativ gesehen zumindest. Zusammen mit KOM-Alumnus und Professor an der TU Ilmenau Boris Koldehofe forscht Ahmad deshalb an einer Lösung, die sich „Clustering“ nennt.
Dabei organisieren sich Fahrzeuge innerhalb eines geografischen Rahmens zu einer Gruppe, innerhalb derer das Wahrnehmungsmodell sehr schnell zirkulieren kann. Ein „Cluster Head“ wird ausgewählt – quasi ein Gruppenoberhaupt, das auf Basis bestimmter Kriterien all diejenigen Fahrzeuge aussucht, die Teil des temporären Clusters werden dürfen. Welche Auswahlkriterien dabei eine wichtige Rolle spielen, erforscht Ahmad zusammen mit Majid Lotfian Delouee und anderen im Paper „Driving Towards Efficiency: Adaptive Resource-aware Clustered Federated Learning in Vehicular Networks“.
Noch mehr Herausforderungen treten auf, wenn man das Kommunikationsnetz mal beiseite lässt und sich nur auf das Training des Wahrnehmungsmodells konzentriert. Ziel ist es, die Genauigkeit des Wahrnehmungsmodells anhand der Daten, die mit den Sensoren der autonomen Fahrzeuge gesammelt werden, permanent zu verbessern. Diese Daten weisen jedoch eine erhebliche Variabilität auf, die auf Faktoren wie der Art des Geländes (z. B. ländlich oder städtisch) und den Fahrbedingungen (z. B. Stadtstraßen oder Autobahnen) beruht. Sind sich die Daten ähnlich, spricht man in der Wissenschaft von IID-Daten („independent and identically distributed data“). Weichen die Daten hingegen von der statistischen Norm ab, spricht man von „Non-IID“-Daten. Diese Unterscheidung ist essenziell, um zu verstehen, warum das Trainieren und Aktualisieren von Wahrnehmungsmodellen auf der Grundlage so unterschiedlicher Daten eine Herausforderung darstellt.
„Jeder Ansatz, der auf föderalem Lernen basiert, würde voraussichtlich mit reinen IID-Daten sehr gut funktionieren“, sagt Ahmad. „Handelt es sich jedoch um Non-IID-Daten, treten komplexe Probleme auf.“ Der wissenschaftlichen Gemeinschaft fehle eine genaue Definition von Non-IID-Daten, insbesondere im Zusammenhang mit der Bewertung von föderierten Lernmethoden. Daher schlagen Ahmad und seine Forscherkollegen in ihrem Paper „Label-Aware Aggregation for Improved Federated Learning“ eine Definition und Methodik vor, um den Umgang mit solchen Daten im Bereich des autonomen Fahrens und des föderierten Lernens durch Einführung des sogenannten „Federated Label-aware (FedLA)“-Algorithmus zu verbessern.
Diese Definition vorzulegen, war für Ahmad & Co deshalb so wichtig, weil sie im Paper einen neuen Ansatz präsentieren, um all die aktualisierten Wahrnehmungsmodelle im Cloud-Server zusammenzuführen. Durchqueren zehn Fahrzeuge beispielsweise eine Kreuzung, so bekommt der Cloud-Server schließlich zehn, mit unterschiedlichen Sensordaten aktualisierte Wahrnehmungsmodelle zurückgespielt. Daraus muss der Cloud-Server ein einheitliches Modell formen, welches er wiederum Fahrzeugen zuspielen kann, die neu an der Kreuzung ankommen. Doch wie gewichtet man die unterschiedlich trainierten Wahrnehmungsmodelle und entscheidet, welche Daten besonders wertvoll für die Erstellung des Gesamtmodells sind?
In der wissenschaftlichen Literatur herrschte dafür bisher ein Algorithmus vor, der darauf basiert, wie groß der Datensatz ist, mit dem das individuelle Wahrnehmungsmodells eines Fahrzeugs trainiert wurde („Federated Averaging“). Ahmad & Co kritisieren, dass dieser Ansatz außer acht lässt, welche Informationen die Daten enthalten und schlagen einen Paradigmenwechsel in der Aggregation der individuellen Modelle für das Training des Gesamtmodells vor. Hierzu kommen die Non-IID-Daten ins Spiel: Ahmads „Federated Label Aware„-Algorithmus gewichtet solche Wahrnehmungsmodelle höher, welche anhand von Objekten möglichst vieler unterschiedlicher Kategorien aktualisiert wurden – und somit ein möglichst breites Spektrum an Daten und Situationen abbilden.
Einfach gesagt ist ein Fahrzeug langweilig, welches genau das gleiche „sieht“ wie sein Vorgänger. Viel effektiver für das Training des neuronalen Netzes ist es, wenn das Fahrzeug nicht nur an parkenden Autos, sondern auch an Fußgängern, Baustellen und sonstigen Hindernissen vorbeifährt und das Wahrnehmungsmodell mit möglichst vielfältigen neuen Daten anreichert.
All diese Ansätze sind durch die Ideen des Sonderforschungsbereichs „MAKI – Multi-Mechanismen-Adaption für das künftige Internet“ geprägt. Angesiedelt im MAKI-Teilprojekt B1 basiert Ahmads Forschung zum autonomen Fahren auf den MAKI-Konzepten von Adaption und Transition. Die Wahrnehmungsmodelle verändern sich durch das kontinuierliche Training unaufhörlich, gleichzeitig werden sie von Fahrzeug zu Fahrzeug weitergereicht. Ein Vorgang, der geschmeidig vonstatten gehen muss. Die Ideen von Adaption und Transition geben Ahmad Werkzeuge an die Hand, um diesen Herausforderungen gerecht zu werden – und uns dem Traum vom vollautonomen Straßenverkehr ein Stück näher zu bringen.