Jak oceniamy

Co jest oceniane

Narzędzie oceniające stosuje 26 kryteriów, każde od 0 do 100. Dla czytelności grupujemy je tutaj; grupowanie nie wpływa na obliczenia.

Jak powstaje wynik łączny

• Wynik łączny nie jest średnią ważoną 26 kryteriów, a kryteria nie mają stałych wag. Powstaje z reguł, które czytają zapis rozmowy.
• Zaczyna się od podstawy 58 i jest korygowany o trudność scenariusza: +2 dla początkującego, 0 dla standardowego, -2 dla zaawansowanego, -4 dla eksperckiego i -6 dla testu stresowego.
• Sygnały z reguł dodają lub odejmują punkty, na przykład za jasne otwarcie, pytania o potrzeby, obsłużenie obiekcji cenowej, konkretny kolejny krok, presję lub zakazane sformułowanie. Wynik jest ograniczony do zakresu od 0 do 100.
• Limity bezpieczeństwa mogą obniżyć wynik niezależnie od innych mocnych stron. Na przykład zignorowanie prośby klienta, by do niego nie dzwonić, ogranicza wynik do 35 (do 62, jeśli prośba była łagodniejsza), a ryzykowna obietnica do 55.
• Gwiazdki to wynik łączny podzielony przez 20 i zaokrąglony w górę, od 1 do 5. Administrator firmy może nadać kryteriom większy nacisk (od 0,5 do 2). Jest to pokazane jako osobna liczba ważona obok standardowego wyniku i nigdy go nie zastępuje.

Wyniki wstępne i ostateczne

Wynik jest ostateczny, gdy można go porównywać z innymi wynikami. W przeciwnym razie jest oznaczony jako wstępny.

Tekst informacji zwrotnej od AI w raporcie wyjaśnia wynik. Nie zmienia liczby: wynik pochodzi z deterministycznego narzędzia oceniającego, a raport jest sprawdzany pod kątem tego, czy liczba nie zmieniła się po dodaniu informacji zwrotnej.

Wersja i artefakt narzędzia oceniającego

Każdy raport zapisuje wersję metodyki i skrót kodu narzędzia oceniającego, które obliczyło wynik. Wynik zawsze można więc przypisać do dokładnej wersji. Starsze raporty nie są przeliczane po zmianie wersji.

Czego AI nie ocenia

• Twojego głosu, akcentu, wyglądu, emocji ani osobowości. DIRI AI nie rozpoznaje emocji: wynik opiera się na zapisie i zdarzeniach rozmowy treningowej, a kryteria takie jak empatia biorą pod uwagę tylko to, co zostało powiedziane.
• Czy wypowiedź jest poprawna prawnie lub regulacyjnie. Kryterium przestrzegania zasad szuka znanych ryzykownych wzorców i Twoich własnych zakazanych sformułowań. To nie jest porada prawna, ubezpieczeniowa ani finansowa i nie jest akceptacją.
• Twoich wyników w prawdziwych rozmowach z klientami, Twojego potencjału ani przydatności do pracy.
• Wszystkiego, co zapis rozmowy odtworzył błędnie. Błędy rozpoznawania mowy mogą zmienić wynik.

Jak metoda jest sprawdzana dzisiaj

• Twórcy testują narzędzie oceniające na 15 syntetycznych rozmowach, każdej napisanej w pięciu językach, z oczekiwanymi wynikami, które autorzy zapisali z góry. Te oczekiwania są hipotezami, a nie ocenami ludzkich oceniających.
• Porównania z niezależnymi ludzkimi oceniającymi jeszcze nie ma. Jest planowane jako osobna praca, a jego wyniki zamierzamy opublikować razem z wersją metodyki, gdy będą dostępne.
• Do tego czasu traktuj wynik jako sygnał coachingowy, który pomaga wybrać, co ćwiczyć dalej, a nie jako pomiar ze znanym błędem.

Przeznaczenie i Twoje prawa

Wyniki w DIRI AI powstają do treningu. Nie są decyzją o człowieku.

• Ocena służy do informacji zwrotnej i propozycji ćwiczeń. DIRI AI nie podejmuje decyzji o ludziach, a produkt nie jest zaprojektowany do podejmowania decyzji opartych wyłącznie na zautomatyzowanym przetwarzaniu, które wywołują skutki prawne lub w podobny sposób istotnie wpływają na osobę (art. 22 RODO). Jeśli organizacja mimo to oparłaby taką decyzję wyłącznie na wyniku, sama za nią odpowiada.
• DIRI AI nie jest zaprojektowane ani oferowane do rekrutacji, ustalania wynagrodzeń, awansów, postępowań dyscyplinarnych, zwolnień, przydzielania zadań ani do monitorowania i oceny wyników pracy pracowników. Takie użycie jest poza zamierzonym przeznaczeniem.
• Zgodnie z unijnym aktem w sprawie sztucznej inteligencji (AI Act) systemy AI przeznaczone do tych celów w zatrudnieniu są systemami wysokiego ryzyka (załącznik III pkt 4). DIRI AI nie zostało ocenione ani wprowadzone do obrotu jako system wysokiego ryzyka i nie twierdzimy, że spełnia dotyczące ich wymogi. Organizacja, która użyje go do takich celów, działa poza zamierzonym przeznaczeniem i przejmuje związane z tym obowiązki.
• Uczestnik widzi własny raport i wyjaśnienie, na którym się opiera. Menedżerowie widzą raporty, na które pozwala im ich rola. Jeśli przestrzenią roboczą zarządza Twój pracodawca, zwykle to on jest administratorem Twoich danych treningowych i decyduje, kto widzi raporty.
• Jeśli uważasz, że zapis, wynik lub raport jest błędny, możesz go zgłosić i poprosić o weryfikację przez człowieka pod adresem support@diriai.com. Twoje prawa dotyczące danych osobowych, w tym prawo dostępu, sprostowania i sprzeciwu, opisuje polityka prywatności.

Menedżerowie: nie używajcie wyniku jako jedynej podstawy decyzji kadrowej. Każda decyzja o człowieku musi opierać się na ludzkim osądzie i innych dowodach, a osoba, której dotyczy, musi mieć możliwość jej omówienia.

Przejrzystość AI

• Klient w rozmowie treningowej jest postacią symulowaną przez AI, a nie prawdziwym człowiekiem.
• Wynik oblicza deterministyczne narzędzie oparte na regułach na podstawie zapisu rozmowy (w rozmowach głosowych zapis powstaje przez automatyczne rozpoznawanie mowy). Wyjaśnienia w raporcie pisze model AI, który może się mylić, dlatego porównaj je z własną rozmową.
• Ta strona to podsumowanie prostym językiem i jest aktualizowana z każdą wersją metodyki.

Powiązane

• Polityka prywatności
• Informacja o przejrzystości AI
• Zapytaj o metodykę