Cooperation under Uncertainty in Adaptive Multi-Agent Systems

October 13, 2020 – /,

Motivation

In der Forschungsgruppe Adaptive Communication Systems (ACS) beim Lehrstuhl Multimedia Communications (KOM) beschäftigen wir uns u.a. mit der Frage, wie sich Kommunikationssysteme an aktuelle Rahmenbedingungen im Netzwerk anpassen lassen. Die Ziele dieser Adaption reichen von der Verbesserung der Dienstgüte (Quality of Service) in Katastrophenszenarien bis hin zur Verbesserung der Nutzererfahrung (Quality of Experience) im alltäglichen Leben. Im Kern dieser Adaption lässt sich Machine Learning (ML) anwenden, beispielsweise um das Verhalten von Netzwerkknoten ohne manuelle Vorgaben dynamisch an neue Rahmenbedungen anpassen zu können.

Die Kombination von Reinforcement Learning (RL) und Deep Learning (DL) [1] ermöglicht in letzter Zeit große Erfolge, insbesondere auch im Netzwerkbereich [2]. Motiviert durch die Adaption von Kommunikationssystemen betrachten wir im Rahmen dieser Ausschreibung das Lernen innerhalb von Systemen mit mehreren Agenten (Multi-Agent Reinforcement Learning, MARL) [3] unter Unsicherheit und kooperativen Zielen. In einer Thesis können jeweils Teilaspekte dieser Problemstellung behandelt werden.

Mögliche Schwerpunkte

Das spezifische Thema der Thesis können wir gemeinsam und in Abhängigkeit von deinen Interessen definieren. Schreib mir dazu einfach eine E-Mail, in der du dich kurz vorstellst. Allgemein sind Themen mit den folgenden Schwerpunkten angedacht:

Cooperation and CommunicationUncertaintly (in MARL)Efficient (MARL) Training
Problemstellungen, welche die Kooperation (und ggf. Kommunikation) mehrerer Agenten voraussetzen.Tatsächlicher Zustand des Systems oder Verhalten anderer Agenten sind (teilweise) unbekannt.Ansätze zur Beschleunigung des Trainings, z.B. durch Planung oder Transfer Learning.

Wichtig: Sehr hilfreich ist es, wenn du bereits ein konkretes Problem im Sinn hast, welches Überschneidungen mit diesen Bereichen aufweist. Beispielsweise ein (Video)Spiel, für welches du eine AI entwickeln möchtest, oder eine netzwerktechnische Problemstellung.

Anforderungen

BachelorarbeitMasterarbeit
  • Interesse an ML und RL
  • Grundlagen Mathematik, formale Methoden, Stochastik
  • Sehr gute Programmierkenntnisse (+ Linux-Grundlagen)
  • Wichtig: Größtenteils selbstständige Arbeitsweise, eigene Ideen entwickeln und diskutieren
  • Vorerfahrung in Deep Learning, insbesondere praktisch mit PyTorch (bevorzugt) oder TensorFlow
  • Siehe Anforderungen für Bachelorarbeit

Literatur zum Einstieg

[1] V. Mnih, et al, "Human-level control through deep reinforcement learning," in nature, vol. 518, no. 7540, pp. 529-533, 2015.
[2] X. Huang, T. Yuan, G. Qiao and Y. Ren, "Deep Reinforcement Learning for Multimedia Traffic Control in Software Defined Networking," in IEEE Network, vol. 32, no. 6, pp. 35-41, 2018.
[3] P. Hernandez-Leal, B. Kartal and M. E. Taylor, "A survey and critique of multiagent deep reinforcement learning," in Autonomous Agents and Multi-Agent Systems, vol. 33, no. 6, pp. 750-797, 2019.

download corresponding tendering

Keywords: Reinforcement Learning, Multi-Agent Systems, Cooperation, Uncertainty, Efficiency

Research Area(s):

Tutor: Weil,

Open Theses