So bewerten wir

Was bewertet wird

Das Bewertungswerkzeug weist 26 Kriterien aus, jedes von 0 bis 100. Zur besseren Lesbarkeit gruppieren wir sie hier; die Gruppierung beeinflusst die Berechnung nicht.

Wie die Gesamtbewertung entsteht

• Die Gesamtbewertung ist kein gewichteter Durchschnitt der 26 Kriterien, und die Kriterien haben keine festen Gewichte. Sie entsteht aus Regeln, die das Transkript lesen.
• Sie beginnt bei einer Basis von 58 und wird nach Schwierigkeit des Szenarios angepasst: +2 für Einsteiger, 0 für Standard, -2 für Fortgeschrittene, -4 für Experten und -6 für den Stresstest.
• Regelsignale addieren oder subtrahieren dann Punkte, zum Beispiel für eine klare Eröffnung, Bedarfsfragen, den Umgang mit einem Preiseinwand, einen konkreten nächsten Schritt, Druck oder eine verbotene Formulierung. Das Ergebnis wird auf 0 bis 100 begrenzt.
• Sicherheitsgrenzen können die Bewertung unabhängig von anderen Stärken senken. Wer zum Beispiel den Wunsch der Kundschaft, nicht angerufen zu werden, ignoriert, wird auf 35 begrenzt (auf 62, wenn der Wunsch milder war), ein riskantes Versprechen auf 55.
• Die Sterne ergeben sich aus der Gesamtbewertung geteilt durch 20, aufgerundet, von 1 bis 5. Eine Firmenadministration kann Kriterien stärker betonen (0,5 bis 2). Das wird als eigene gewichtete Zahl neben der Standardbewertung angezeigt und ersetzt sie nie.

Vorläufige und endgültige Bewertungen

Eine Bewertung ist endgültig, wenn sie mit anderen Bewertungen vergleichbar ist. Andernfalls ist sie als vorläufig gekennzeichnet.

Der KI-Feedbacktext im Bericht erklärt das Ergebnis. Er ändert die Zahl nicht: Die Bewertung stammt vom deterministischen Bewertungswerkzeug, und der Bericht wird daraufhin geprüft, dass die Zahl nach dem Hinzufügen des Feedbacks nicht verändert wurde.

Version und Artefakt des Bewertungswerkzeugs

Jeder Bericht speichert die Methodikversion und den Prüfwert des Codes des Bewertungswerkzeugs, das die Bewertung berechnet hat. Eine Bewertung lässt sich so immer der genauen Version zuordnen. Ältere Berichte werden bei einer Versionsänderung nicht neu berechnet.

Was die KI nicht beurteilt

• Ihre Stimme, Ihren Akzent, Ihr Aussehen, Ihre Emotionen oder Ihre Persönlichkeit. DIRI AI erkennt keine Emotionen: Die Bewertung beruht auf dem Transkript und den Ereignissen des Übungsgesprächs, und Kriterien wie Empathie berücksichtigen nur das Gesagte.
• Ob eine Aussage rechtlich oder regulatorisch korrekt ist. Das Kriterium Regeleinhaltung sucht nach bekannten riskanten Mustern und nach Ihren eigenen verbotenen Formulierungen. Es ist keine Rechts-, Versicherungs- oder Finanzberatung und keine Freigabe.
• Ihre Ergebnisse in echten Kundengesprächen, Ihr Potenzial oder Ihre Eignung für eine Stelle.
• Alles, was das Transkript falsch erfasst hat. Fehler der Spracherkennung können eine Bewertung verändern.

Wie die Methode heute geprüft wird

• Die Entwickler testen das Bewertungswerkzeug mit 15 synthetischen Gesprächen, jeweils in fünf Sprachen verfasst, mit erwarteten Ergebnissen, die die Autoren vorab festgelegt haben. Diese Erwartungen sind Hypothesen, keine Urteile menschlicher Bewerter.
• Einen Vergleich mit unabhängigen menschlichen Bewertern gibt es noch nicht. Er ist als eigene Arbeit geplant, und wir beabsichtigen, seine Ergebnisse zusammen mit der Methodikversion zu veröffentlichen, sobald sie vorliegen.
• Bis dahin sollten Sie eine Bewertung als Coaching-Signal verstehen, das bei der Wahl der nächsten Übung hilft, nicht als Messung mit bekanntem Fehler.

Bestimmungsgemäße Verwendung und Ihre Rechte

Die Bewertungen in DIRI AI sind für das Training gedacht. Sie sind keine Entscheidung über eine Person.

• Die Bewertung dient dem Feedback und Übungsvorschlägen. DIRI AI trifft keine Entscheidungen über Personen, und das Produkt ist nicht für ausschließlich automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung (Artikel 22 DSGVO) konzipiert. Stützt eine Organisation eine solche Entscheidung dennoch allein auf eine Bewertung, ist sie selbst dafür verantwortlich.
• DIRI AI ist nicht für Einstellung, Vergütung, Beförderung, Disziplinarmaßnahmen, Kündigung, Aufgabenzuweisung oder die Überwachung und Bewertung der Arbeitsleistung von Beschäftigten konzipiert oder dafür angeboten. Eine solche Verwendung liegt außerhalb des vorgesehenen Zwecks.
• Nach der EU-KI-Verordnung (AI Act) gelten KI-Systeme, die für diese Zwecke im Beschäftigungsverhältnis bestimmt sind, als Hochrisiko-KI-Systeme (Anhang III Nummer 4). DIRI AI wurde nicht als Hochrisiko-KI-System bewertet oder in Verkehr gebracht, und wir behaupten nicht, dass es die dafür geltenden Anforderungen erfüllt. Eine Organisation, die es für solche Zwecke einsetzt, handelt außerhalb des vorgesehenen Zwecks und übernimmt die damit verbundenen Pflichten.
• Teilnehmende sehen ihren eigenen Bericht und die Erklärung dazu. Führungskräfte sehen die Berichte, die ihre Rolle zulässt. Wenn Ihr Arbeitgeber den Arbeitsbereich verwaltet, ist er in der Regel Verantwortlicher für Ihre Trainingsdaten und entscheidet, wer Berichte sehen kann.
• Wenn Sie ein Transkript, eine Bewertung oder einen Bericht für falsch halten, können Sie dies melden und unter support@diriai.com eine Prüfung durch einen Menschen anfordern. Ihre Datenschutzrechte, darunter Auskunft, Berichtigung und Widerspruch, beschreibt die Datenschutzerklärung.

Führungskräfte: Verwenden Sie eine Bewertung nicht als alleinige Grundlage für eine Personalentscheidung. Jede Entscheidung über eine Person muss auf menschlichem Urteil und weiteren Erkenntnissen beruhen, und die betroffene Person muss sie besprechen können.

KI-Transparenz

• Die Kundschaft im Übungsgespräch ist eine von KI simulierte Figur, keine echte Person.
• Die Bewertung berechnet ein deterministisches, regelbasiertes Werkzeug aus dem Gesprächstranskript (bei Sprachgesprächen entsteht das Transkript durch automatische Spracherkennung). Die Erklärungen im Bericht schreibt ein KI-Modell, das sich irren kann. Gleichen Sie sie daher mit Ihrem Gespräch ab.
• Diese Seite ist eine Zusammenfassung in einfacher Sprache und wird mit jeder Methodikversion aktualisiert.

Verwandte Seiten

• Datenschutzerklärung
• Hinweis zur KI-Transparenz
• Fragen zur Methodik