Jak hodnotíme

Co se hodnotí

Hodnoticí nástroj vykazuje 26 kritérií, každé od 0 do 100. Pro přehlednost je tady seskupujeme; seskupení výpočet neovlivňuje.

Jak vzniká celkové skóre

• Celkové skóre není vážený průměr 26 kritérií a kritéria nemají pevné váhy. Vzniká z pravidel, která čtou přepis hovoru.
• Začíná se základem 58 a upravuje se podle obtížnosti scénáře: +2 pro začátečníka, 0 pro standardní, -2 pro pokročilou, -4 pro expertní a -6 pro zátěžový test.
• Signály z pravidel pak body přidávají nebo ubírají, například za jasné zahájení, otázky na potřeby, zvládnutí cenové námitky, konkrétní další krok, tlak nebo zakázanou frázi. Výsledek se omezí na 0 až 100.
• Bezpečnostní stropy mohou skóre snížit bez ohledu na ostatní silné stránky. Například ignorování žádosti zákazníka, aby mu nikdo nevolal, ho omezí na 35 (na 62, pokud byla žádost mírnější) a riskantní slib na 55.
• Hvězdičky jsou celkové skóre dělené 20, zaokrouhlené nahoru, od 1 do 5. Správce firmy může některým kritériím dát důraz (0,5 až 2). Zobrazí se jako samostatné vážené číslo vedle standardního skóre a nikdy ho nenahrazuje.

Předběžné a konečné skóre

Skóre je konečné, když ho lze porovnávat s jinými skóre. Jinak je označeno jako předběžné.

Text zpětné vazby od AI v reportu výsledek vysvětluje. Číslo nemění: skóre vychází z deterministického hodnoticího nástroje a report se kontroluje, zda se číslo po přidání zpětné vazby nezměnilo.

Verze a artefakt hodnoticího nástroje

Každý report ukládá verzi metodiky a otisk kódu hodnoticího nástroje, který skóre spočítal. Skóre lze tak vždy dohledat k přesné verzi. Starší reporty se při změně verze nepřepočítávají.

Co AI nehodnotí

• Váš hlas, přízvuk, vzhled, emoce ani osobnost. DIRI AI nerozpoznává emoce: skóre vychází z přepisu a událostí tréninkového hovoru a kritéria jako empatie posuzují jen to, co zaznělo.
• Zda je tvrzení právně nebo regulatorně správné. Kritérium dodržení pravidel hledá známé rizikové vzorce a vaše vlastní zakázané fráze. Není to právní, pojistné ani finanční poradenství a není to schválení.
• Vaše výsledky v ostrých hovorech se zákazníky, váš potenciál ani vhodnost pro práci.
• Cokoli, co přepis zaznamenal chybně. Chyby rozpoznávání řeči mohou skóre změnit.

Jak se metoda dnes ověřuje

• Vývojáři testují hodnoticí nástroj na 15 syntetických rozhovorech, každý napsaný v pěti jazycích, s očekávanými výsledky, které autoři napsali předem. Tato očekávání jsou hypotézy, ne posudky lidských hodnotitelů.
• Srovnání s nezávislými lidskými hodnotiteli zatím neexistuje. Je plánováno jako samostatná práce a jeho výsledky chceme zveřejnit spolu s verzí metodiky, až budou k dispozici.
• Do té doby berte skóre jako koučovací signál, který pomáhá vybrat, co trénovat dál, ne jako měření se známou chybou.

Zamýšlené použití a vaše práva

Skóre v DIRI AI vzniká pro trénink. Není rozhodnutím o člověku.

• Hodnocení slouží ke zpětné vazbě a návrhům tréninku. DIRI AI nerozhoduje o lidech a produkt není navržen k rozhodování založenému výhradně na automatizovaném zpracování, které má právní nebo obdobně významné účinky (článek 22 GDPR). Pokud by organizace přesto takové rozhodnutí opřela jen o skóre, odpovídá za ně sama.
• DIRI AI není určeno ani nabízeno pro přijímání, odměňování, povyšování, kázeňské řízení, propouštění, přidělování úkolů ani pro sledování a hodnocení pracovního výkonu zaměstnanců. Takové použití je mimo zamýšlený účel.
• Podle evropského nařízení o umělé inteligenci (AI Act) patří systémy AI určené k těmto účelům v zaměstnání mezi vysoce rizikové (příloha III, bod 4). DIRI AI nebylo posouzeno ani uvedeno na trh jako vysoce rizikový systém a netvrdíme, že splňuje požadavky, které se na ně vztahují. Organizace, která je k takovým účelům použije, jedná mimo zamýšlený účel a přebírá povinnosti, které s tím souvisejí.
• Účastník vidí svůj vlastní report a vysvětlení, na kterém stojí. Manažeři vidí reporty, které jim dovoluje jejich role. Pokud pracovní prostor spravuje váš zaměstnavatel, je zpravidla správcem vašich tréninkových údajů a rozhoduje o tom, kdo reporty vidí.
• Pokud si myslíte, že přepis, skóre nebo report je chybný, můžete ho označit a požádat o lidské přezkoumání na support@diriai.com. Vaše práva k osobním údajům, včetně přístupu, opravy a námitky, popisují zásady ochrany osobních údajů.

Manažeři: nepoužívejte skóre jako jediný podklad pro rozhodnutí v oblasti lidských zdrojů. Každé rozhodnutí o člověku musí stát na lidském úsudku a dalších podkladech a dotčený člověk o něm musí moci diskutovat.

Transparentnost AI

• Zákazník v tréninkovém hovoru je postava simulovaná AI, ne skutečný člověk.
• Skóre počítá deterministický hodnoticí nástroj založený na pravidlech z přepisu hovoru (u hlasových hovorů přepis vzniká automatickým rozpoznáváním řeči). Vysvětlení v reportu píše model AI, který se může mýlit, proto je porovnejte se svým hovorem.
• Tato stránka je shrnutí srozumitelným jazykem a aktualizuje se s každou verzí metodiky.

Související

• Zásady ochrany osobních údajů
• Informace o transparentnosti AI
• Zeptat se na metodiku