Motivation
In der Forschungsgruppe Adaptive Communication Systems (ACS) beim Lehrstuhl Multimedia Communications (KOM) beschäftigen wir uns u.a. mit der Frage, wie sich Kommunikationssysteme an aktuelle Rahmenbedingungen im Netzwerk anpassen lassen. Die Ziele dieser Adaption reichen von der Verbesserung der Dienstgüte (Quality of Service) in Katastrophenszenarien bis hin zur Verbesserung der Nutzererfahrung (Quality of Experience) im alltäglichen Leben. Im Kern dieser Adaption lässt sich Machine Learning (ML) anwenden, beispielsweise um das Verhalten von Netzwerkknoten ohne manuelle Vorgaben dynamisch an neue Rahmenbedungen anpassen zu können.
Die Kombination von Reinforcement Learning (RL) und Deep Learning (DL) ermöglicht in letzter Zeit große Erfolge, insbesondere auch im Netzwerkbereich. Motiviert durch die Adaption von Kommunikationssystemen betrachten wir im Rahmen dieser Ausschreibung das Lernen innerhalb von Systemen mit mehreren Agenten (Multi-Agent Reinforcement Learning, MARL) unter Unsicherheit und kooperativen Zielen. In einer Thesis werden Teilaspekte dieser Problemstellung behandelt.
Mögliche Schwerpunkte
Das spezifische Thema der Thesis können wir gemeinsam und in Abhängigkeit von deinen Interessen definieren. Schreib mir dazu einfach eine E-Mail, in der du dich kurz vorstellst. Aktuell sind Themen mit den folgenden Schwerpunkten möglich:
Cooperation and Communication | Generalization |
---|---|
Agenten müssen miteinander Kooperieren und Informationen austauschen, um eine gemeinsame Problemstellung zu lösen. | Ansätze zur Verbesserung der Generalisierbarkeit des gelernten Verhaltens, z.B. Übertragbarkeit auf andere Netzwerktopologien. |
Wenn dich davon etwas anspricht, können wir konkretere Themenvorschläge zu den Schwerpunkten besprechen. Alternativ kannst du auch eine eigene Problemstellung vorschlagen, die Überschneidungen mit diesen Bereichen aufweist. Beispielsweise eine für dich interessante netzwerktechnische Problemstellung oder ein (Video)Spiel, für welches du eine AI entwickeln möchtest. Kooperation und Kommunikation sind oft zentrale Aspekte von verteilten Systemen.
Anforderungen
Bachelorarbeit | Masterarbeit |
---|---|
|
|
Literatur zum Einstieg
Allgemeine Literatur zu (Deep) Reinforcement Learning in Multiagentensystemen und Netzwerken:
[1] P. Hernandez-Leal, B. Kartal and M. E. Taylor, "A survey and critique of multiagent deep reinforcement learning," in Autonomous Agents and Multi-Agent Systems, vol. 33, no. 6, pp. 750-797, 2019.
[2] N. C. Luong et al., “Applications of Deep Reinforcement Learning in Communications and Networking: A Survey,” IEEE Communications Surveys Tutorials, vol. 21, no. 4, Art. no. 4, 2019.
Zum Einstieg in RL ist Q-Learning im RL-Standardwerk [3] und Deep Q-Learning [4] zu empfehlen
[3] R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction. MIT press, 2018.
[4] V. Mnih, et al, "Human-level control through deep reinforcement learning," in nature, vol. 518, no. 7540, pp. 529-533, 2015.
Zum Einstieg in Kommunikation ist TarMAC [5] empfehlenswert, eine Übersicht bietet das Survey von Zhu et al. [6]
[5] A. Das et al., “TarMAC: Targeted Multi-Agent Communication,” in Proceedings of the 36th International Conference on Machine Learning, vol. 97, pp. 1538–1546. [Online]. Available: http://proceedings.mlr.press/v97/das19a.html
[6] C. Zhu, M. Dastani, and S. Wang, “A Survey of Multi-Agent Reinforcement Learning with Communication.” arXiv, 2022. doi: 10.48550/ARXIV.2203.08975.