| 
Object-Oriented Representations in Deep Reinforcement Learning
June 05, 2020 – ,
Motivation
Aktuell werden in vielen Domänen durch die Kombination von Reinforcement Learning und Deep Learning große Lernerfolge erzielt. Neu entwickelte Methoden betrachten oftmals Problemrepräsentationen, bei welchen die Observations in Form von Bildinformationen bzw. einer Vielzahl an zweidimensionalen Planes vorliegen. Standard-Benchmarks wie die Atari Games Suite sind direkt in dieser Darstellungsform gegeben, andere Probleme wie Schach [2] werden künstlich darauf reduziert. Diese Planes ermöglichen u.a. die Repräsentation einer variablen Anzahl an Objekten (z.B. Spielfiguren in Schach), sind jedoch durch die gewählte Auflösung beschränkt.
Zur Repräsentation mehrerer Objekte existieren alternativ auch objektbasierte Ansätze [1, 4]. Trotz großem Lernerfolg aktueller Methoden unter der Verwendung objektbasierter Repräsentationen [3] wurde bislang nur unzureichend untersucht, welche Auswirkungen diese Repräsentationsart auf das Training und die Performanz der Modelle hat. Diese Arbeit soll mögliche Ansätze zur Repräsentation von Objekten untersuchen und vergleichen, um darauf aufbauend einen eigenen Ansatz zu entwickeln.
Aufgabe
1. Identifikation aktueller Methoden zur Repräsentation von Objektmengen im Zusammenhang mit (Deep) Reinforcement Learning
2. Systematische Analyse und Vergleich dieser Methoden
3. Identifikation/Implementierung einer Benchmark-Umgebung mit variabler Objektanzahl
4. Entwicklung und Evaluation eines eigenen Ansatzes
Anforderungen
- Interesse an aktuellen Methoden aus dem Bereich Reinforcement Learning
- Vorerfahrung in Machine Learning und Optimierung
- Grundlegendes Verständnis von Deep Learning Architekturen
- Sehr gute Programmierkenntnisse
- Ideal: Erfahrung mit Python und Deep Learning Frameworks wie PyTorch oder TensorFlow
Literatur zum Einstieg
[1] C. Diuk, A. Cohen, and M. L. Littman, “An Object-Oriented Representation for Efficient Reinforcement Learning,” in Proc. of the 25th Int. Conf. on Machine Learning, 2008, pp. 240–247.
[2] D. Silver et al., “Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm.” 2017. [Online]. Available: arXiv:1712.01815 [cs.AI].
[3] O. Vinyals et al., “Grandmaster level in StarCraft II using multi-agent reinforcement learning,” Nature, vol. 575, no. 7782, pp. 350–354, 2019.
[4] W. Woof and K. Chen, “Learning to Play General Video-Games via an Object Embedding Network,” in IEEE Conf. on Computational Intelligence and Games (CIG), 2018, pp. 1–8.
download corresponding tendering
Keywords: Reinforcement Learning, Machine Learning, Data Representation, Objects
Research Area(s):
Student: Minh Vu Pham
