PROMOTIONSPREIS DES UNIVERSIT?TSBUNDES 2020

Teena Hassan

Dissertation: Towards Robust and Interpretable Practical Applications of Automatic Mental State Analysis Using a Dynamic and Hybrid Facial Action Estimation Approach

Mimik ist einer der wichtigsten Kan?le, über die Menschen nonverbale Signale vermitteln. Affektive Computersysteme analysieren in der Regel menschlichen Gesichtsausdrücke, um die mentalen Zust?nde von Menschen zu erkennen. Dies kann sowohl die Mensch-Maschine-Interaktion verbessern als auch die Entwicklung von Assistenzsystemen zur Verbesserung der Lebensqualit?t von Menschen erm?glichen. In der 188bet亚洲体育备用_188体育平台-投注*官网 wird das Facial Action Coding System (FACS) verwendet, um Gesichtsausdrücke objektiv auf Basis von Gesichtsmuskelbewegungen – die als Action Units (AUs) bezeichnet werden – zu beschreiben. Die Semantik der Gesichtsausdrücke wird dann mithilfe von AUs und deren Ver?nderungen erforscht. Forschende im Bereich des maschinellen Sehens haben mehrere Ans?tze entwickelt, um AUs und ihre Intensit?ten automatisch anhand von Gesichtsbildern oder Videos zu erkennen. Eine Gruppe von Ans?tzen konzentriert sich auf den Einsatz datengetriebener Methoden des maschinellen Lernens. Sie erbringen in der Regel gute Vorhersageleistung, aber sie leisten nicht genug in Bezug auf die Interpretierbarkeit der gelernten Modelle. Eine andere Gruppe von Ans?tzen konzentriert sich auf die Verwendung von ver?nderbaren Gesichtsmodellen, die AUs in Bezug auf Gesichtsformver?nderungen beschreiben und demzufolge interpretierbar sind.

Diese Doktorarbeit untersucht, ob eine Kombination beider Kategorien von Ans?tzen dabei helfen k?nnte, interpretierbare Systeme mit guter Vorhersageleistung zu bauen. Datengetriebene Modelle des maschinellen Lernens und ein ver?nderbares Gesichtsformmodell wurden in ein probabilistisches Framework zur Zustandssch?tzung integriert, um kontinuierliche Intensit?ten von 22 verschiedenen AUs zu sch?tzen. Um die Robustheit und Praxistauglichkeit des Frameworks zu verst?rken, wurden Funktionen entwickelt, die die verschiedenen Herausforderungen bei der automatischen Erkennung der AUs bew?ltigen. Die vorgeschlagene Methode erm?glicht eine feink?rnige Analyse der Gesichtsausdrücke.  Zus?tzlich zur Sch?tzung der AU-Intensit?ten wurde in dieser Doktorarbeit auch die Anwendbarkeit der gesch?tzten AU-Intensit?ten für die automatische Analyse von mentalen Zust?nden wie Schmerz und Ablenkung untersucht. Die Ergebnisse dieser Dissertation zeigen, dass mehr interdisziplin?re Forschung erforderlich ist, um die Herausforderungen auf dem Gebiet der automatischen Analyse der mentalen Zust?nde anzugehen.

Teena Hassan wurde 1984 in Kochi, Indien, geboren und erwarb dort 2006 ihren Bachelor in Informatik und Ingenieurwissenschaften. Anschlie?end war sie bis 2011 als Softwareingenieurin im Bereich Tele- und Datenkommunikation t?tig. Von 2011 bis 2014 absolvierte sie an der Hochschule Bonn-Rhein-Sieg ihr Masterstudium im Fach Autonome Systeme. Darauffolgend war sie bis 2018 als Wissenschaftliche Mitarbeiterin am Fraunhofer Institut für Integrierte Schaltungen IIS in Erlangen besch?ftigt. Seit 2018 arbeitet sie an der Universit?t Bielefeld als Wissenschaftliche Mitarbeiterin und forscht im Bereich soziale Mensch-Roboter-Interaktion. Von 2015 bis 2020 promovierte sie als externe Doktorandin an der Universit?t Bamberg in der Fakult?t Wirtschaftsinformatik und Angewandte Informatik.