Kann Künstliche Intelligenz verf?lschte Daten in diagnostischen Verfahren erkennen?
Seit mehr als 100 Jahren suchen Wissenschaftler*innen Wege um Verf?lschungsverhalten in diagnostischen Verfahren zu entdecken. Studien verweisen darauf, dass selbst Expert*innen Verf?lschungsverhalten nicht zuverl?ssig erkennen k?nnen. Neuere Forschung l?sst nun vermuten, dass Künstliche Intelligenz, in Form von Maschinellem Lernen, hierbei sinnvoll unterstützen kann. Dieser Versuch wurde in der Publikation unternommen.
Wir re-analysierten sieben Datensets (N = 1,039) mit verschiedenen Bedingungen des Verf?lschungsverhaltens (Verf?lschung hoher Werte und Verf?lschung niedriger Werte, Verf?lschung verschiedener Konstrukte, naives und informiertes Verf?lschen, Verf?lschen mit und ohne ?bung, Verf?lschen verschiedener Messinstrumente [Fragebogen vs. Impliziter Assoziationstest; IAT]) und untersuchten wie gut Verf?lschungsverhalten mit Hilfe Maschinellen Lernens erkannt werden kann. Dabei berücksichtigten und verglichen wir unterschiedliche Datengrundlagen (Antwortmuster, Scores der Verfahren, Verf?lschungs-Indizes) und verschiedene Klassifizierer (Logistische Regression, Random Forest, XGBoost), die zur Detektion genutzt werden k?nnen.
Unsere Ergebnisse zeigen, dass Maschinelles Lernen das Potenzial hat Verf?lschungsverhalten zu detektieren, aber dass die Qualit?t je nach Bedingung zwischen Zufallsniveau und 100 % korrekte Zuordnung variiert. Schlechter als das Erkennen niedriger gef?lschter Werte gelang etwa das Erkennen hoher gef?lschter Werte. Unsere Forschung unterstreicht die Annahme verschiedener Prozesse des Verf?lschungsverhaltens und illustriert warum die Entdeckung von Verf?lschung sehr komplex ist.
Link zum Preprint:
Referenz:
R?hner, J., Thoss, P., & Schütz, A. (2021, December 13). Lying on the dissection table: Anatomizing faked responses. Manuscript accepted for publication. Behavior Research Methods. https://doi.org/10.31234/osf.io/2m5xw