Jannis Weil, M.Sc.

work +49 6151 16-20893
S3|20 218 (2nd floor, left side)
Jannis Weil

Short Bio

Jannis studied computer science at the Technical University of Darmstadt and received his master's degree in 2019 with the thesis "Cooperative Multi-Agent Reinforcement Learning for Role-Based Games using Unity". Since spring 2020, he is a research assistant in the Adaptive Communication Systems (ACS) group at the Multimedia Communications Lab (KOM).

Research Interests

My research interests are centered around Machine Learning and its application in Adaptive Communication Systems and Game Technology, with a focus on Reinforcement Learning in Multi-Agent Systems (MAS). This includes cooperation, open MAS (agents can join/leave the system), communication, opponent modelling, partial observability and uncertainty.

Open Theses

I am looking for motivated students who would like to start with their bachelor's or master's theses. Feel free to write me an email if you are interested in one of the aformentioned topics. It helps if you already have an idea of what you would like to do (e.g. creating an AI for a specific game or solving some networking problem). You can also find a selection of open topics here.

Open Student Assistant Positions

I am looking for motivated student assistants (m/f/d) who want to help with current research problems and programming. Currently open positions include (click on the headers for PDFs):

 

 

Supervised Labs

 
Semester Type Title Co-Supervisors
SoSe23 KOM Lab Generalizable Deep Learning for Networks -
SoSe23 KOM Lab Interactive Network Environment -
WiSe22 KOM Lab Interactive Network Visualization Sebastian Rust
WiSe22 KOM Lab Transition-enabled 2D/360° Streaming in Unity -
WiSe22 KOM Lab Steam Remote Play Profiling -
SoSe22 KOM Lab 360° Video Live Streaming in Unity -
WiSe21 PrKI Learning Approaches for Pommerman (eight groups) Johannes Czech
WiSe21 KOM Lab Multi-Agent Environment Interface for ns-3 Lisa Wernet
SoSe21 KOM Lab (Multi-Agent) Reinforcement Learning in ns-3
SoSe21 KOM Lab Communication in PettingZoo
WiSe20 KOM Lab Point Cloud Streaming with Unity Yassin Alkhalili
WiSe20 KOM Lab Adaptive Coverage Path Planning for UAVs (two groups) Julian Zobel
WiSe20 FB20 Bachelorpraktikum Web-based Exam & Exercise Management Philipp Achenbach
SoSe20 SG Praktikum Mobile-Controlled Cooperative Multiplayer Game

 

Supervised Seminars

 
Semester Type Title
SoSe23 MMCS Sim-to-Real Transfer for Learning Networks
WiSe22 MMCS Routing: A Critical View on Learning-based Approaches
SoSe22 MMCS Cooperative Reinforcement Learning in Networking Applications
WiSe21 MMCS Graph Neural Networks in Networking
SoSe21 MMCS World Models in Deep Reinforcement Learning
WiSe20 SG Seminar Multiplayer Games for AI Research
WiSe20 MMCS Deep Adaptive Video Streaming
SoSe20 SG Seminar Games in Machine Learning Research

 

Supervised Theses

 
Year Type Student Title Co-supervisors
2024 Bachelor Luca Scholz Analyzing the Influence of Network Characteristics on Remote Control
with Reinforcement Learning
-
2023 Bachelor Benedikt Ebert Adaptive Transitions between Render Streaming Mechanisms in Unity -
2023 Master Katja Münch Communication for Distributed
Service Coordination with Deep
Reinforcement Learning
-
2023 Master Yujin Wang Multi-Agent Communication with Selective Information Transmission -
2022 Master Julian Barthel QoE Fairness for Adaptive Video Streaming using Deep Reinforcement Learning -
2022 Bachelor Michail Moroz Simulating Networks for Unity-based Games -
2022 Master Yulian Sun Federated Transfer Learning with Multimodal Data Lisa Wernet (main supervisor), Ahmad Khalil
2021 Master Julia Oxé Publish-Subscribe Communication in Cooperative Multi-Agent Systems in the Context of Industry 4.0 External thesis (Accso), Lisa Wernet
2021 Bachelor Jonas Ringsdorf Adaptive Rule-assisted Deep Reinforcement Learning
2021 Bachelor Minh Vu Pham Object-Oriented Representations in Deep Reinforcement Learning Tobias Meuser

 

Teaching Activities

 
Semester Course Role
SoSe23 Communication Networks I Teaching Assistant
SoSe22 Communication Networks I Teaching Assistant
SoSe21 Communication Networks I Teaching Assistant
SoSe20 Communication Networks I Teaching Assistant

Offene Abschlussarbeiten

Motivation

In der Forschungsgruppe Adaptive Communication Systems (ACS) beim Lehrstuhl Multimedia Communications (KOM) beschäftigen wir uns u.a. mit der Frage, wie sich Kommunikationssysteme an aktuelle Rahmenbedingungen im Netzwerk anpassen lassen. Die Ziele dieser Adaption reichen von der Verbesserung der Dienstgüte (Quality of Service) in Katastrophenszenarien bis hin zur Verbesserung der Nutzererfahrung (Quality of Experience) im alltäglichen Leben. Im Kern dieser Adaption lässt sich Machine Learning (ML) anwenden, beispielsweise um das Verhalten von Netzwerkknoten ohne manuelle Vorgaben dynamisch an neue Rahmenbedungen anpassen zu können.

Die Kombination von Reinforcement Learning (RL) und Deep Learning (DL) ermöglicht in letzter Zeit große Erfolge, insbesondere auch im Netzwerkbereich. Motiviert durch die Adaption von Kommunikationssystemen betrachten wir im Rahmen dieser Ausschreibung das Lernen innerhalb von Systemen mit mehreren Agenten (Multi-Agent Reinforcement Learning, MARL) unter Unsicherheit und kooperativen Zielen. In einer Thesis werden Teilaspekte dieser Problemstellung behandelt.

Mögliche Schwerpunkte

Das spezifische Thema der Thesis können wir gemeinsam und in Abhängigkeit von deinen Interessen definieren. Schreib mir dazu einfach eine E-Mail, in der du dich kurz vorstellst. Aktuell sind Themen mit den folgenden Schwerpunkten möglich:

Cooperation and Communication Generalization
Agenten müssen miteinander Kooperieren und Informationen austauschen, um eine gemeinsame Problemstellung zu lösen. Ansätze zur Verbesserung der Generalisierbarkeit des gelernten Verhaltens, z.B. Übertragbarkeit auf andere Netzwerktopologien.

Wenn dich davon etwas anspricht, können wir konkretere Themenvorschläge zu den Schwerpunkten besprechen. Alternativ kannst du auch eine eigene Problemstellung vorschlagen, die Überschneidungen mit diesen Bereichen aufweist. Beispielsweise eine für dich interessante netzwerktechnische Problemstellung oder ein (Video)Spiel, für welches du eine AI entwickeln möchtest. Kooperation und Kommunikation sind oft zentrale Aspekte von verteilten Systemen.

Anforderungen

Bachelorarbeit Masterarbeit
  • Interesse an ML und RL
  • Grundlagen Mathematik, formale Methoden, Stochastik
  • Sehr gute Programmierkenntnisse (+ Linux-Grundlagen)
  • Größtenteils selbstständige Arbeitsweise, eigene Ideen entwickeln und diskutieren
  • Vorerfahrung in Deep Learning, insbesondere praktisch mit PyTorch
  • Vorerfahrung in Reinforcement Learning oder Control (Theory)
  • Siehe Anforderungen für Bachelorarbeit

Literatur zum Einstieg

Allgemeine Literatur zu (Deep) Reinforcement Learning in Multiagentensystemen und Netzwerken:

[1] P. Hernandez-Leal, B. Kartal and M. E. Taylor, "A survey and critique of multiagent deep reinforcement learning," in Autonomous Agents and Multi-Agent Systems, vol. 33, no. 6, pp. 750-797, 2019.
[2] N. C. Luong et al., “Applications of Deep Reinforcement Learning in Communications and Networking: A Survey,” IEEE Communications Surveys Tutorials, vol. 21, no. 4, Art. no. 4, 2019.

Zum Einstieg in RL ist Q-Learning im RL-Standardwerk [3] und Deep Q-Learning [4] zu empfehlen

[3] R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction. MIT press, 2018.
[4] V. Mnih, et al, "Human-level control through deep reinforcement learning," in nature, vol. 518, no. 7540, pp. 529-533, 2015.

Zum Einstieg in Kommunikation ist TarMAC [5] empfehlenswert, eine Übersicht bietet das Survey von Zhu et al. [6]

[5] A. Das et al., “TarMAC: Targeted Multi-Agent Communication,” in Proceedings of the 36th International Conference on Machine Learning, vol. 97, pp. 1538–1546. [Online]. Available: http://proceedings.mlr.press/v97/das19a.html
[6] C. Zhu, M. Dastani, and S. Wang, “A Survey of Multi-Agent Reinforcement Learning with Communication.” arXiv, 2022. doi: 10.48550/ARXIV.2203.08975.

Veröffentlichungen

Alle Veröffentlichungen anzeigen