Leuphana: Wie menschlich darf ein Chatbot wirken?
Auf einen BlickAusgangslage
Vergleichbar messen, ohne den Chatbot starr zu machen.
Die Entwicklung wissenschaftlich valider Chatbots stellte mehrere komplexe Herausforderungen dar: Bis dato waren Chatbots in wissenschaftlichen Studien sehr statisch designt und verwendeten vorausgewählte, bereits zurechtgeschriebene Antworten, um Vergleichbarkeit zu erzielen. Diese Vergleichbarkeit ist in der Wissenschaft ein zentrales Kriterium für quantitative Studien: nur so lässt sich vergleichen, inwieweit Unterschiede des Chatbots bei Studierenden verschiedene Wahrnehmungen auslösen.
Lösung
Vier Varianten, die sich in genau zwei Merkmalen unterscheiden.
Die Leuphana Universität, vertreten durch Prof. Dr. Monika Imschloss und Dr. Lennart Seitz, kam mit der Herausforderung auf scoreprise.AI zu, ihre Studie technisch begleiten zu lassen. Geprüft werden sollte, inwieweit Chatbots eine starke Variabilität und gleichzeitig Vergleichbarkeit im wissenschaftlichen Kontext aufweisen können.
Die Lösung lag in der Entwicklung von vier Chatbots auf Basis eines 2x2-Designs: langsam und unpersönlich, schnell und persönlich, schnell und unpersönlich sowie langsam und persönlich. Die technische Herausforderung: Der Chatbot durfte nicht willkürlich auf Basis eines Prompts sprechen, sondern musste den User verstehen, sich seine Charakteristika merken, persönlich auf ihn eingehen und seinen Sprachstil adaptieren. Über 500 Studierende waren am Projekt beteiligt und schufen so eine wissenschaftlich valide Datenbasis.
Aufbau
Vier Varianten im 2x2-Design
Langsam und unpersönlich, schnell und persönlich, schnell und unpersönlich, langsam und persönlich: vier Chatbots, die sich nur in zwei Merkmalen unterscheiden.
Anspruch
Variabel und trotzdem vergleichbar
Der Chatbot durfte nicht willkürlich antworten, sondern musste den Nutzer verstehen, sich Merkmale merken und den Sprachstil adaptieren, ohne die wissenschaftliche Vergleichbarkeit zu verlieren.
Studie
Über 500 Teilnehmende
Am Ende erhielt jeder Teilnehmende eine persönliche Empfehlung für seinen Kurs, zugeschnitten auf Interessen und Sprachstil.
Der Aha-Moment
Eine langsame, durchdachte Antwort wirkt auf den Nutzer stärker als eine schnelle.
Der Nutzer bekommt dadurch das Gefühl, dass die AI-Instanz seine Herausforderung wirklich versteht, darüber nachdenkt und eine eigene Lösung entwickelt. Hohe Geschwindigkeit wird von AI heute erwartet, ist aber nicht immer die beste Art, mit einem Nutzer zu sprechen.
Ergebnis
Was die Studie für AI-Mitarbeiter gezeigt hat.
Die Erkenntnisse aus der Leuphana-Studie zeigen deutlich: Erfolgreiche AI-Implementation hängt entscheidend davon ab, wie gut die Kommunikation zwischen Mensch und AI gestaltet wird. scoreprise.AI hat durch dieses Projekt wertvolle Erfahrungen gesammelt, die direkt in die Entwicklung menschlicher AI-Mitarbeiter einfließen.
Geschwindigkeit der Antworten, Grad der Personalisierung und die Anpassung an individuelle Kommunikationsstile sind entscheidende Faktoren, die scoreprise.AI durch wissenschaftliche Forschung validiert hat. Durch die Erfahrungen aus über 500 Nutzerinteraktionen weiß scoreprise.AI, wie AI-Mitarbeiter gestaltet werden müssen, damit sie sich wirklich menschlich anfühlen und erfolgreich in bestehende Teams integriert werden.
Weitere Use Cases.
Alle Use Cases
M&A-Beratung
KERN Unternehmensnachfolge: Rechnungen, Angebote und NDAs aus einer Teams-Nachricht.
Netzwerk und Weiterbildung · Projekt
Leaders of AI: 60 Fachleute bauen an einem Tag fünf spezialisierte AI-Teams.
Medien und Bildung · Projekt
campus a: Journalistisches Feedback für Österreichs erste bundesweite Schülerzeitung.
Nächster Schritt
Ihr Anwendungsfall, an einem vergleichbaren Fall gezeigt.
Monatlich kündbar · Betrieb in Deutschland