Technik und Methoden
Die multi-sensorische Technik des BamLiDs und ihre Methodik im ?berblick
Eine zentrale Aufgabe im Living Lab ist es, aus vielf?ltigen Daten interpretierbare Informationen zu gewinnen. Welche Art von Verhalten führt eine Person aktuell aus, welche Verhaltensabsicht wird dabei umgesetzt und in welchem emotionalen Zustand befindet sich die Person? Hierfür sollen hybride Ans?tze der Künstlichen Intelligenz eingesetzt werden, bei denen maschinelles Lernen und wissensbasierte Inferenz kombiniert werden.
Es ist zentral, dass die multimodale Ableitung m?glich ist, w?hrend sich die Person im BamLiD frei bewegt, sodass Alltagsaktivit?ten und -handlungen unbeeintr?chtigt ausgeführt werden k?nnen. Diese multimodale Ableitung erfolgt über die Erfassung von:
1. Mimik
- Das BamLiD ist mit 12 (mobilen) Kameras ausgestattet, sodass laterale und frontale Aufnahmen des Gesichtes zu jeder Zeit gew?hrleistet sind.
- Die Videoaufnahmen der Kameras werden synchronisiert erfasst (VideoSyncPro von Mangold International).
- Die Mimikreaktionen werden offline mithilfe des Facial Action Coding System manuell analysiert.
- Die Mimikreakionen werden zudem mit automatischen Mimikerkennungssystemen (Face Reader, Pain Face Reader, Open Face) analysiert.
- Parameter: z.B. Art der gezeigten Action Unit (AU), AU Frequenz, AU Intensit?t, AU On- und Offset, AU Dauer
2. Stimme
- Im BamLiD wird mit Hilfe von 5 Stabmikrofonen eine optimale Aufnahmequalit?t von jeder Position im Raum gew?hrleistet.
- Die Audioaufnahmen werden mit den Videoaufnahmen synchronisiert erfasst (VideoSyncPro von Mangold International).
- Die phonetischen Analysen der Audiospuren werden offline mit dem Programm ProsodyPro durchgeführt.
- Parameter: z.B. mittlere Grundfrequenz der Phonation, Frequenzvariation der Phonation, durchschnittliche Intensit?t und Rauigkeit
3. Ganganalysen
- Das BamLiD ist mit einem intelligenten Sensorboden (Smart Floor - Fraunhofer IGD, Darmstadt) ausgestattet. Mithilfe von im bodenverlegten Sensoren kann - basierend auf passiver elektrischer Feldmessung - die Lokalisation einer Person mit hoher Genauigkeit bestimmt werden.
- Die Ganganalysen finden offline statt.
- Parameter: z.B. Geschwindigkeit, Anzahl der Schritte, Schrittl?nge, Varianz der Geschwindigkeit/Schrittl?nge, Asymmetrie zwischen rechts und links
4. Mobiler Biosignalrekorder
- Im BamLiD stehen eine Vielzahl mobiler Sensoren zur Erfassung von Blutdruck, Herzrate, Hautleitf?higkeit und Aktigraphie (motorische Aktiviertheit) zur Verfügung (BioNomadix Wireless Wearable Physiology von BIOPAC, Biosignalrecorder NeXus-10 MKII von Hasomed/MindMedia).
- Die Analysen finden auch hier offline statt.
- Parameter: z.B. Herzrate, Herzratenvariabilit?t, sympathische Erregung, Agitiertheit/Unruhe
5. ?berwachungs-, Trigger- und Speichertechnik im Kontrollraum
- Alle Datenstr?me laufen im Kontrollraum zusammen.
- Eine synchrone Auswertung der Multi-Sensor-Daten wird durch Trigger-Schaltungen gew?hrleistet.
- Im Kontrollraum werden die Multi-Sensor-Daten erfasst und Kameraeinstellungen vorgenommen.
6. Lichtanlage
- Das BamLiD ist mit 42 Leuchten ausgestattet, die einzeln ansteuerbar sind.
- Somit kann gezielt Lichthelligkeit und Farbtemperatur (bis zu 3.000 Lux) gesteuert werden.
7. Umweltbedingungen kontrollieren
- Temperatur: Das BamLiD ist klimatisiert, sodass die gewünschten Temperaturen kontrolliert eingestellt werden k?nnen.
- L?rm/Ger?uschpegel: Das BamLiD ist mit Lautsprechern ausgestattet, sodass jegliche Ger?uschkulisse dargeboten werden kann.