PhD Theses at KOM

Mobile Multimodal Serious Games Analytics - The Impact of Using Mobile Multimodal Data on Serious Games Evaluation

Laila Shoukry

Wednesday December 18, 2019

English abstract:

Smartphones have enabled many new data collection opportunities which can be used in research. Unobtrusive integrated sensors, connectivity and wide availability can empower studies in unprecedented ways. This thesis investigates how this can benefit research in the field of Serious Games Evaluation. Video, Audio as well as different sensors have been widely used in recent years for observing gameplay interactions and determining aspects related to engagement, learning, usability and context. It is the hypothesis of this research that capturing these factors can help evaluate a Serious Game from different dimensions and with deeper insights. With the lack of theoretical frameworks covering this area of research, a need for establishing foundations regarding the capturing and use of multimodal data for Serious Game evaluation, especially on smartphones, was found. This thesis first lays down a model describing different evaluation aspects of a Serious Game and their relations, classifying the four dimensions learning, gaming, using and context. In addition, sets of feature states related to these dimensions which can be observed during evaluation are presented. This is needed to investigate how different data modalities can be used to determine which of these features and in how far this can affect the evaluation process and results. Specifying which information can be captured and how this can be done helps establish requirements for a multimodal evaluation platform for Serious Games. Based on this, a prototype which enables this kind of data collection is implemented as a proof of concept. Challenges in multimodal synchronization, linking of quantitative and qualitative data as well as data capturing quality in mobile settings are discussed and possible solutions are provided. Finally, studies using this platform for evaluating mobile educational games are carried out and demonstrate the potential of such techniques for Serious Games evaluation and research.

German abstract:

Smartphones haben viele neue Möglichkeiten zur Datenerfassung eröffnet, die in der Forschung genutzt werden können. Unauffällige integrierte Sensoren, Konnektivität und hohe Verfügbarkeit können Studien auf beispiellose Weise ermöglichen. In dieser Arbeit wird untersucht, inwiefern dies der Forschung im Bereich Serious Games Evaluation zugute kommen kann. Video, Audio sowie verschiedene Sensoren wurden in den letzten Jahren häufig zur Beobachtung von Spielinteraktionen und zur Bestimmung von Aspekten in Bezug auf Engagement, Lernen, Benutzerfreundlichkeit und Kontext verwendet. Es ist die Hypothese dieser Forschung, dass die Erfassung dieser Faktoren dazu beitragen kann, ein Serious Game aus verschiedenen Dimensionen und mit tieferen Einsichten zu bewerten. In Ermangelung theoretischer Rahmenbedingungen für diesen Forschungsbereich wurde die Notwendigkeit festgestellt, Grundlagen für die Erfassung und Verwendung multimodaler Daten für die Bewertung von Serious Games, insbesondere auf Smartphones, zu schaffen. Die vorliegende Arbeit beschreibt zunächst ein Modell, in dem verschiedene Bewertungsaspekte eines Serious Games und ihre Beziehungen beschrieben werden. Dabei werden die vier Dimensionen Lernen, Spielen, Nutzung und Kontext klassifiziert. Außerdem werden Sätze von Merkmalszuständen in Bezug auf diese Dimensionen vorgestellt, die während der Auswertung beobachtet werden können. Dies ist erforderlich, um zu untersuchen, wie unterschiedliche Datenmodalitäten verwendet werden können, um zu bestimmen, welche dieser Funktionen und inwieweit sich diese auf den Bewertungsprozess und die Ergebnisse auswirken kann. Basierend auf der Feststellung, welche Informationen erfasst werden können und wie dies geschehen kann, werden dann die Anforderungen für eine multimodale Evaluierungsplattform für Serious Games festgelegt. Darauf aufbauend wird als Proof of Concept ein Prototyp implementiert, der eine solche Datenerfassung ermöglicht. Herausforderungen bei der multimodalen Synchronisation, der Verknüpfung quantitativer und qualitativer Daten sowie der Datenerfassungsqualität in mobilen Umgebungen werden diskutiert und mögliche Lösungen aufgezeigt. Schließlich werden Studien durchgeführt, die diese Plattform zur Bewertung mobiler Lernspiele verwenden, und das Potenzial solcher Techniken für die Bewertung und Forschung von Serious Games aufgezeigt.

PhD Theses