KI-Einsatz in Videointerviews: Was geht, was geht nicht?

In einem Grundsatzbeitrag erklärt Karl-Maria de Molina, CEO von ThinkSimple, Chancen und Grenzen bei der KI-basierten Auswertung von Videointerviews.

Der Einsatz Künstlicher Intelligenz (KI) im Recruiting stand unlängst in der Kritik. Datenjournalisten des Bayerischen Rundfunks hatten zusammen mit dem Politmagazin report München die KI-basierte Software von Retorio unter die Lupe genommen. Das Ergebnis aus Sicht der Tester: Deutliche Schwächen der Technologie.

KI ist in vielen Bereichen der Personalarbeit etabliert. Grund genug für das HR JOURNAL, einmal genauer hinzuschauen. Erfahren Sie in diesem Beitrag mehr über die Anforderungen, Chancen und Grenzen des Einsatzes von KI im Assessment von Talenten und Mitarbeitenden. Hier kommt die Einschätzung von Karl-Maria de Molina, CEO & Gründer von ThinkSimple.

Zusammenfassung

Der Einsatz der KI-Engine für die Personaldiagnostik bietet Chancen, wenn die Grenzen beachtet werden. Sie können den Aufwand bei der Eignungsdiagnostik der Talente im Recruiting-Prozess massiv reduzieren. Die Einschränkung: Es wird von einer automatisierten Auswahl aufgrund von Profilen abgeraten. Die Ergebnisse der KI-Engine dienen vielmehr der Priorisierung der Talente und helfen dabei, sehr konkrete Eindrücke von der Persönlichkeit noch vor dem Interview zu sammeln, um dann tiefergehende Fragen zu stellen. In der nächsten Zeit wollen wir belastbare Ergebnisse über die Fluktuationsreduktion beziehungsweise Performance-Verbesserungen sammeln, die durch den Einsatz der KI-Engine im Recruiting-Prozess erzielt wurden.

1. Einleitung

Seit einigen Jahren findet KI Einzug in viele Arbeitsgebiete, auch in HR. KI vereinfacht heute die Suche nach Talenten im Internet, unterstützt beim Kompetenzmanagement, beim Assessment, beim Entwicklungsprozess. Und weitere Einsatzgebiete werden folgen.

In diesem Artikel möchte ich den Fokus auf das KI-basierte Assessment von Talenten und Mitarbeitenden legen. Und hier speziell auf die KI-basierte Auswertung von Videointerviews für die Analyse von Persönlichkeitsmerkmalen. Laut Aussage von Professor Uwe Kanning (2019) lassen „unstrukturierte Interviews nur 14 Prozent der beruflichen Leistung vorhersagen. Die Erwartungen liegen aber bei 41 Prozent“. Kann hier KI in Kombination mit Big Data Abhilfe leisten?

2. Anforderungen an die KI-basierten Videoanalyse

Bevor wir uns konkret mit der KI-Engine befassen, sollen wir uns mit den modellbasierten Simulationen auseinandersetzen, weil wir hier Erkenntnisse von anderen Disziplinen verwenden können.

Im Rahmen meiner Promotion als Fahrzeugingenieur habe ich mich mit einem damals neuen Simulationsverfahren namens Finite Elemente Methode beschäftigt. Hier geht es darum, Versuche von mechanischen Teilen durch eine Simulation zu ersetzen. In diesem Fall sind die analysierten Variablen zum Beispiel Spannungswerte, Festigkeit.

Bei der Einführung von diesen Simulationen in die Unternehmensprozesse haben wir auf deren Chancen und Grenzen geachtet. Wir haben genau geschaut, unter welchen Rahmenbedingungen sind die Ergebnisse valide? Wie lassen sich die Ergebnisse verifizieren? Wie empfindlich reagiert das System auf Parameteränderungen? Wie lassen sich die Grenzen der Methode erkennen?

All diese Fragen sind auch hier bei der KI-Engine relevant und sollen näher beleuchtet werden.
Es soll geklärt werden, welche Eingangsparameter wie zum Beispiel emotionale Hinführung der Talente beziehungsweise Mitarbeitenden zum Videointerview, Wiederholmöglichkeit, Länge der Fragen beziehungsweise der Antworten, Licht- und Tonverhältnisse, die Qualität der Ergebnisse beeinflussen. Auch der so genannte Trainingseffekt und das sozial erwünschte Ergebnis sollen untersucht werden.

2.1 Inputdaten

a) Hinführung der Testpersonen

Damit die Ergebnisse den realen Eigenschaften der Testpersonen entsprechen, muss deren Verhalten authentisch sein, das heißt Vermeidung von Überraschungen und Überforderungen durch eine schlechte User Experience. Das beinhaltet eine Vorabinformation über den Ablauf: Anzahl der Fragen, Antwortzeiten pro Frage, Gesamtdauer der Aufnahme. Auch dazu Information über die Handhabung der Daten (DIN 91426).

b) Wiederholmöglichkeiten

Es müssen den Testpersonen mehrere Aufnahmen gestattet werden, bevor diese für die Auswertung hochgeladen werden. Bei Bewerbenden wird jedoch so eingeschränkt, dass, sobald die Ergebnisse der Auswertung vorliegen, keine weitere Wiederholung der Aufnahme möglich ist. Damit sollen sozial erwünschte Ergebnisse vermieden werden.

c) Synchronisierung Antwort- und Aufnahmezeiten

Für die Beantwortung der Fragen werden bestimmte Antwortzeiten eingeräumt. Diese Zeiten müssen den Testpersonen vor Beginn der Aufnahme bekannt und während der Aufnahme über eine digitale Uhr sichtbar sein (DIN 91426).

d) Licht- und Tonverhältnisse

Die KI-Engine verarbeitet die Bilder und den Ton der Videoaufnahme. Sind Bild- beziehungsweise Tonqualität schlecht, arbeitet die KI-Engine unzuverlässig. Daher muss die Aufnahmequalität vor der Auswertung mit einer Software für Bilderkennung überprüft und gegebenenfalls das Video abgelehnt werden. Das Gesicht muss mittig und zur Kamera gerichtet sein.

e) Hintergrundobjekte

Hintergrundobjekte können untere Umständen die KI-Engine zu unzuverlässigen Ergebnissen führen, wie neulich Medien berichtet haben. Daher muss eine robuste KI-Engine mit einer Filterfunktion für den Hintergrund ausgestattet sein, so dass nur die Testperson und nicht der Hintergrund ausgewertet wird.

f) Digitale Erfahrung

Für welche Use Cases eignet sich dieses KI-Verfahren? Fach- und Führungskräfte mit einer gewissen Affinität zum Video und Expertise im Umgang mit digitalen Mitteln (Notebook, Internet usw.). Für digitalferne Menschen ist dieses Verfahren ungeeignet.

2.2 Auswertung

Bei der Auswertung von Simulationsergebnissen unterscheidet man grundsätzlich zwischen Relativ- und Absolutwerten.

Der Vorteil von einem Simulationsmodell ist dessen Stabilität. Das heißt, ändert man in den Inputdaten eine einzige Variable, lässt sich deren Einfluss auf die Ergebnisse perfekt identifizieren. Diese Änderungen an den Ergebnissen nennt man Relativwerte. Diese sind zumeist valide, da das Simulationsmodell stabil ist. Im vorliegenden Fall heißt konkret: Es lassen sich die Einflüsse von Ereignissen auf die Emotionen einer Testperson durch Aufnahmen vor und nach dem Ereignis herausrechnen.

Anders verhält es sich mit den Absolutwerten. Damit diese valide sind, muss das Verfahren kalibriert werden. Das heißt, sollten Persönlichkeitseigenschaften von einer und derselben Person mit Hilfe von unterschiedlichen Verfahren ermittelt werden, können die Ergebnisse divergieren. Und das, weil einige Verfahren über Selbsteinschätzung und andere über Fremdeinschätzung arbeiten.

Diese Einschränkungen werden im folgenden Kapitel beschrieben.

3. Chancen der KI-basierten Videoanalyse

Eine KI-basierte Videoanalyse hat einen Vorteil gegenüber den üblichen Fragenbögen: Es handelt sich um eine objektive und stabile Fremdeinschätzung. Objektiv, weil sie nicht von einem Kollegen oder Bekannten durchgeführt wird; und stabil, weil bei Wiederholungen die Bewertungskriterien konstant bleiben. Beide Aspekte sind fürs Recruiting und für die Personalentwicklung sehr relevant.

Lochner und Preuß (2018) zeigen sich optimistisch: „Recruiter werden durch automatisiertes Assessment (…) keineswegs überflüssig. Recruiter werden effizienter, produktiver und erfolgreicher werden“.

Zu den üblichen Präsenzinterviews im Recruiting-Prozess stellt eine KI-basierte Videoanalyse eine sehr interessante Ergänzung dar. Zum einen sehen die Recruiter im Video die Talente und können einen ersten Eindruck gewinnen. Dieser Eindruck wird dann mit den Ergebnissen aus der KI-Engine ergänzt, korrigiert oder bestätigt.

Wir bei ThinkSimple werten mit der KI-Engine die Persönlichkeit (Big 5 – Modell), die Emotionen (Paul Ekman), die Sprache (Karl Bühler) und die Kommunikation (Riggio) aus.

Eine Zeiteinsparung von bis zu 70 Prozent wird von Unternehmen genannt, die dieses Verfahren verwenden (Quelle: Retorio.com). Diese hohe Zeiteinsparung ergibt sich aus der Priorisierung der Bewerbenden, aus dem Entfall des Telefoninterviews, aus der besseren Treffsicherheit der Ergebnisse und aus der Fokussierung beim Präsenzinterview auf die erkannten Schwachpunkte.

Bild 1: Aufschlüsselung der auszuwertenden Attribute je nach Position sowohl für Recruiting von Talenten als für Personalentwicklung für Mitarbeitende.

Die Ergebnisse von Eigenschaften, Emotionen und Sprachen erfordern eine Aufnahmedauer von 3 bis 5 Minuten. Die von HR gestellten Fragen sind Bestandteil des Recruiting-Prozesses und müssen positionskonform sein. Sie sollten die zu ermittelnden Attribute anregen und zur Geltung bringen, damit diese von der KI-Engine erfasst werden können.

Das KI-basierte Videointerview ist technisch disruptiv, das Konzept aber nicht. Videointerviews gibt es seit Jahren und bislang wurden Persönlichkeitsanalysen über Fragebögen durchgeführt. Diese sind jedoch eine Selbsteinschätzung.

Durch die KI-basierte Videoanalyse lässt sich nicht nur eine qualitative, sondern auch eine quantitative Bewertung vornehmen. Diese kann man mit dem Jobprofil matchen. Was hier so leicht klingt, unterliegt klarer Grenzen, wie wir im nächsten Kapitel sehen werden.

„Die Wissenschaft ist sich einig, dass die KI im Recruiting Einzug halten wird, denn sie entwickelt sich zunehmend zu einem validen, reliablen und kostengünstigen Werkzeug, das HR auf dem Weg hin zum strategischen Partner unterstützt (Lochner und Preuß 2018).

Interessant ist letztlich die Kombination aus KI und Big Data. Durch die Erfassung von vielen Profilergebnissen mit der KI-Engine lässt sich eine Datenbank mit Benchmark Daten für die Sollprofile der Stellen im Unternehmen erstellen. Auf deren Basis erhält die Personalabteilung datenbasierte Jobprofile und kann diese so belassen oder neu justieren. Darüber hinaus lassen sich diese Profile mit Performancedaten wie der LEICHTIGKEITS-INDEX korrelieren. Damit verfügt das Unternehmen über relevantes Wissen für die Organisation: Wie sieht das Profil von performanten Mitarbeitenden aus? Dies ist eine wichtige Erkenntnis:

a) Für den Entwicklungsprozess der Mitarbeitende und b) fürs Recruiting. Unternehmen sollten eine Datenbank von High Performer – Profilen erstellen, um dann zielgerichtet bei der Personaldiagnostik und -entwicklung vorzugehen.

Bild 2: Big Data dient der Erzeugung von Benchmark – Daten für die Sollprofile der einzelnen Stellen im Unternehmen für die Mitarbeitende und Bewerbende. Damit lässt sich der Fit für die Persönlichkeit und Sprache mit dem Sollprofil ermitteln.

„IBM gelang es, die Fehlerquote bei der Auswahl der richtigen Kandidaten durch den Einsatz von KI im Recruiting von etwa 7% auf 4% zu reduzieren“ (N. Janzen 2020)

4. Grenzen der KI-basierten Videoanalyse

In einer kleinen Studie (N=61) haben wir erste Erkenntnisse gewonnen: Unter welchen Bedingungen sind die ermittelten Ergebnisse aussagekräftig und unter welchen nicht?

Bild 3: Maßnahmen zur Sicherstellung valider Ergebnisse

Bild 4: Die KI-Engine kann in der Personalarbeit eine Hilfe leisten, wenn die Grenzen der Methode beachtet werden.

Bild 5: Hier einige Empfehlungen.

Campion (2016) „Maschinen sind bei der Auswertung von Lebensläufen genauso reliabel und valide wie ihr menschliches Pendant“.

Im vorigen Jahrhundert sorgten in den USA Verfahren wie das MBTI für große Begeisterung und viele Firmen und Behörden verwendeten das Tool für Assessment der Bewerbenden und Mitarbeitenden, Emre (2018). Dieses Verfahren wie alle anderen, die Menschen einem Persönlichkeitstyp zuzuordnen versuchen, sind nicht valide, auch wenn sie sich auf Psychologen wie Carl Gustav Jung berufen.

„Lessons learned“ bedeutet für uns, dass wir mit der KI-Engine keine typologische Bewertung und Zuordnung vornehmen dürfen, weder einem Persönlichkeitstyp noch einem bestimmten Job.

Möglich und ratsam ist vielmehr ein Vergleich mit einem Sollprofil, das mit der KI-Engine aus aggregierten Werten (Big Data) ermittelt worden ist.

Quellen

(1) DIN SPEC 33430
(2) DIN SPEC 91426
(3) Grasemann, R. in Personalführung 6/2020, S. 4-5
(4) Langer, M.; König C. J.; Paparthanasiou, M. (2019): Highly automated job interviews: Acceptance under the influence of stakes”, International Journal of Selection and Assessment, 27 (3), S. 217-234
(5) Lochner, K.; Preuß, A. (2018): Digitales Recruiting. Gruppe. Interaktion. Organisation. In Zeitschrift für Angewandte Organisationspsychologie (GIO), 49 (3) S. 193-202
(6) Campion, M. C. et al. (2016): Initial investigation into computer scoring of candidate essays for personal selection, in Journal of Applied Psychology, 101 (7), S. 958
(7) Langer, M. et al. (2018) Algorithmen bei der Personalauswahl – eine kritische und hoffnungsvolle Betrachtung, in: Wirtschaftspsychologie aktuell, 1, 36-4
(8) Kanning, U.P. (2016) Über die Sichtung von Bewerbungsunterlagen in der Praxis der Personalauswahl, in: Zeitschrift für Arbeits- und Organisationspsychologie A&O, 60, S. 18-32
(9) Devenport, T. H.; Ronanki, R. (2018) Artificial Intelligence for the real world, in: Harvard Business Review, 1-2, 6.5.2020 (hbr.org/2018).
(10) Costa, P.T.; McCrae R.R. (1992). Revised NEO personality inventory (NEO-PI-R) and NEO five-factor inventory (NEO-FFI) professional manual. Odessa, FI.: Psychological Assessment Resources
(11) Schmidt-Atzert, L. et al. (2014) Emotionspsychologie, Kohlhammer, Stuttgart
(12) Krumm, S.; Schmidt-Atzert, K. (2009), Leistungstests im Personalmanagement, Hogrefe
(13) Schmidt-Atzert, L.; Amelang, M. (2018) Psychologische Diagnostik, Springer
(14) Kanning, U. (2021) Crashkurs Personalpsychologie, Freiburg
(15) Emre, M. (2018) The Personality Brokers – The strange history of Myers-Briggs and the Birth of Personality Testing, Doubleday, New York
(16) Kanning, U. (2019) Völlig absurd, in Personalführung 11/2019, S. 47-51
(17) Janzen, N. Zitat in der Personalführung 4/2020

Über ThinkSimple

ThinkSimple ist ein Spezialist für objektive und diskriminierungsfreie digitale Personaldiagnostik. Wir verwenden eigens entwickelte Fragebögen für Kompetenzanalysen sowie Künstliche Intelligenz für Persönlichkeitsanalysen. Unsere Kunden setzen unsere Software für Recruiting und Talentmanagement ein. Unsere Consultants begleiten den mit der Einführung der Software einhergehenden Transformations- und Entwicklungsprozess in den Unternehmen.