Ako hodnotíme

Čo sa hodnotí

Hodnotiaci nástroj vykazuje 26 kritérií, každé od 0 do 100. Pre prehľadnosť ich tu zoskupujeme; zoskupenie výpočet neovplyvňuje.

Ako vzniká celkové skóre

• Celkové skóre nie je vážený priemer 26 kritérií a kritériá nemajú pevné váhy. Vzniká z pravidiel, ktoré čítajú prepis hovoru.
• Začína sa základom 58 a upravuje sa podľa náročnosti scenára: +2 pre začiatočníka, 0 pre štandardnú, -2 pre pokročilú, -4 pre expertnú a -6 pre záťažový test.
• Signály z pravidiel potom body pridávajú alebo uberajú, napríklad za jasné otvorenie, otázky na potreby, zvládnutie cenovej námietky, konkrétny ďalší krok, tlak alebo zakázanú frázu. Výsledok sa obmedzí na 0 až 100.
• Bezpečnostné stropy môžu skóre znížiť bez ohľadu na ostatné silné stránky. Napríklad ignorovanie žiadosti zákazníka, aby mu nikto nevolal, ho obmedzí na 35 (na 62, ak bola žiadosť miernejšia) a riskantný sľub na 55.
• Hviezdičky sú celkové skóre delené 20, zaokrúhlené nahor, od 1 do 5. Správca firmy môže niektorým kritériám nastaviť dôraz (0,5 až 2). Zobrazí sa ako samostatné vážené číslo vedľa štandardného skóre a nikdy ho nenahrádza.

Predbežné a konečné skóre

Skóre je konečné, keď ho možno porovnávať s inými skóre. Inak je označené ako predbežné.

Text spätnej väzby od AI v reporte výsledok vysvetľuje. Číslo nemení: skóre vychádza z deterministického hodnotiaceho nástroja a report sa kontroluje, či sa číslo po pridaní spätnej väzby nezmenilo.

Verzia a artefakt hodnotiaceho nástroja

Každý report ukladá verziu metodiky a odtlačok kódu hodnotiaceho nástroja, ktorý skóre vypočítal. Skóre sa tak vždy dá dohľadať k presnej verzii. Staršie reporty sa pri zmene verzie neprepočítavajú.

Čo AI nehodnotí

• Váš hlas, prízvuk, vzhľad, emócie ani osobnosť. DIRI AI nerozpoznáva emócie: skóre vychádza z prepisu a udalostí tréningového hovoru a kritériá ako empatia posudzujú len to, čo zaznelo.
• Či je tvrdenie právne alebo regulačne správne. Kritérium dodržania pravidiel hľadá známe rizikové vzorce a vaše vlastné zakázané frázy. Nie je to právne, poistné ani finančné poradenstvo a nie je to schválenie.
• Vaše výsledky v ostrých hovoroch so zákazníkmi, váš potenciál ani vhodnosť na prácu.
• Čokoľvek, čo prepis zaznamenal chybne. Chyby rozpoznávania reči môžu skóre zmeniť.

Ako sa metóda dnes overuje

• Vývojári testujú hodnotiaci nástroj na 15 syntetických rozhovoroch, každý napísaný v piatich jazykoch, s očakávanými výsledkami, ktoré autori napísali vopred. Tieto očakávania sú hypotézy, nie posudky ľudských hodnotiteľov.
• Porovnanie s nezávislými ľudskými hodnotiteľmi zatiaľ neexistuje. Je plánované ako samostatná práca a jeho výsledky chceme zverejniť spolu s verziou metodiky, keď budú k dispozícii.
• Dovtedy berte skóre ako koučovací signál, ktorý pomáha vybrať, čo trénovať ďalej, nie ako meranie so známou chybou.

Zamýšľané použitie a vaše práva

Skóre v DIRI AI vzniká na tréning. Nie je rozhodnutím o človeku.

• Hodnotenie slúži na spätnú väzbu a návrhy tréningu. DIRI AI nerozhoduje o ľuďoch a produkt nie je navrhnutý na rozhodovanie založené výlučne na automatizovanom spracúvaní, ktoré má právne alebo podobne významné účinky (článok 22 GDPR). Ak by organizácia napriek tomu takéto rozhodnutie oprela len o skóre, zodpovedá zaň sama.
• DIRI AI nie je určené ani ponúkané na prijímanie, odmeňovanie, povyšovanie, disciplinárne konanie, prepúšťanie, prideľovanie úloh ani na sledovanie a hodnotenie pracovného výkonu zamestnancov. Takéto použitie je mimo zamýšľaného účelu.
• Podľa európskeho nariadenia o umelej inteligencii (AI Act) patria systémy AI určené na tieto účely v zamestnaní medzi vysokorizikové (príloha III, bod 4). DIRI AI nebolo posúdené ani uvedené na trh ako vysokorizikový systém a netvrdíme, že spĺňa požiadavky, ktoré sa na ne vzťahujú. Organizácia, ktorá ho na takéto účely použije, koná mimo zamýšľaného účelu a preberá povinnosti, ktoré s tým súvisia.
• Účastník vidí svoj vlastný report a vysvetlenie, na ktorom stojí. Manažéri vidia reporty, ktoré im umožňuje ich rola. Ak pracovný priestor spravuje váš zamestnávateľ, je spravidla prevádzkovateľom vašich tréningových údajov a rozhoduje o tom, kto reporty vidí.
• Ak si myslíte, že prepis, skóre alebo report je chybný, môžete ho označiť a požiadať o ľudské preskúmanie na support@diriai.com. Vaše práva k osobným údajom vrátane prístupu, opravy a námietky opisujú zásady ochrany osobných údajov.

Manažéri: nepoužívajte skóre ako jediný podklad na rozhodnutie v oblasti ľudských zdrojov. Každé rozhodnutie o človeku musí stáť na ľudskom úsudku a ďalších podkladoch a dotknutý človek o ňom musí môcť diskutovať.

Transparentnosť AI

• Zákazník v tréningovom hovore je postava simulovaná AI, nie skutočný človek.
• Skóre počíta deterministický hodnotiaci nástroj založený na pravidlách z prepisu hovoru (pri hlasových hovoroch prepis vzniká automatickým rozpoznávaním reči). Vysvetlenia v reporte píše model AI, ktorý sa môže mýliť, preto ich porovnajte so svojím hovorom.
• Táto stránka je zhrnutie zrozumiteľným jazykom a aktualizuje sa s každou verziou metodiky.

Súvisiace

• Zásady ochrany osobných údajov
• Informácia o transparentnosti AI
• Spýtať sa na metodiku