Comment le score est calculé

Ce qui est évalué

Le calculateur rend compte de 26 critères, chacun de 0 à 100. Nous les regroupons ici pour la lecture ; ce regroupement n’influe pas sur le calcul.

Comment le total est construit

• Le total n’est pas une moyenne pondérée des 26 critères, et les critères n’ont pas de poids fixes. Il est construit à partir de règles qui lisent la transcription.
• Il part d’une base de 58 et est ajusté selon la difficulté du scénario : +2 pour débutant, 0 pour standard, −2 pour avancé, −4 pour expert et −6 pour test de stress.
• Des signaux de règles ajoutent ensuite ou retirent des points, par exemple pour une ouverture claire, des questions sur les besoins, le traitement d’une objection sur le prix, une prochaine étape concrète, la pression ou une formule interdite. Le résultat est limité à l’intervalle de 0 à 100.
• Des plafonds de sécurité peuvent abaisser le total quels que soient les autres points forts. Par exemple, ignorer la demande d’un client de ne pas être rappelé le plafonne à 35 (62 si la demande était moins ferme), et une promesse risquée le plafonne à 55.
• Les étoiles correspondent au total divisé par 20, arrondi au supérieur, de 1 à 5. Un administrateur de l’entreprise peut accentuer certains critères (de 0,5 à 2). Cela s’affiche comme un nombre pondéré distinct, à côté du total standard, et ne le remplace jamais.

Scores préliminaires et définitifs

Un score est définitif lorsqu’il peut être comparé à d’autres. Sinon, il est signalé comme préliminaire.

Le texte de retour de l’IA dans un rapport explique le résultat. Il ne modifie pas le nombre : le score provient du calculateur déterministe, et un contrôle confirme que le nombre n’a pas été modifié après l’ajout du retour.

Version et artefact du calculateur

Chaque rapport enregistre la version de la méthodologie et l’empreinte du code du calculateur qui l’a produit. Un score peut ainsi toujours être rattaché à la version exacte. Les anciens rapports ne sont pas recalculés lorsque la version change.

Ce que l’IA ne juge pas

• Votre voix, votre accent, votre apparence, vos émotions ou votre personnalité. DIRI AI ne reconnaît pas les émotions : le score s’appuie sur la transcription et les événements de l’appel d’entraînement, et des critères comme l’empathie ne regardent que ce qui a été dit.
• Si une affirmation est juridiquement ou réglementairement correcte. Le critère de conformité recherche des schémas à risque connus et vos propres formules interdites. Ce n’est ni un conseil juridique, d’assurance ou financier, ni une validation.
• Vos résultats lors de vrais appels clients, votre potentiel ou votre aptitude à un poste.
• Tout ce que la transcription a mal retranscrit. Les erreurs de reconnaissance vocale peuvent modifier un score.

Comment la méthode est vérifiée aujourd’hui

• Les développeurs testent le calculateur avec 15 conversations synthétiques, chacune écrite en cinq langues, avec des résultats attendus rédigés d’avance par les auteurs. Ces attentes sont des hypothèses, pas des jugements d’évaluateurs humains.
• Il n’existe pas encore de comparaison avec des évaluateurs humains indépendants. Elle est prévue comme un travail distinct, et nous avons l’intention d’en publier les résultats avec la version de la méthodologie dès qu’ils existeront.
• D’ici là, considérez un score comme un signal de coaching qui aide à choisir quoi travailler ensuite, et non comme une mesure dont l’erreur serait connue.

Usage prévu et vos droits

Les scores de DIRI AI sont conçus pour l’entraînement. Ils ne constituent pas une décision concernant une personne.

• Le score sert à donner des retours et à suggérer des entraînements. DIRI AI ne prend pas de décisions concernant des personnes, et le produit n’est pas conçu pour prendre des décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou affectant de manière significative de façon similaire (article 22 du RGPD). Si une organisation fondait néanmoins une telle décision sur un seul score, elle en serait responsable.
• DIRI AI n’est ni conçue ni proposée pour le recrutement, la rémunération, la promotion, les sanctions disciplinaires, le licenciement, la répartition des tâches ni pour la surveillance et l’évaluation des performances professionnelles des salariés. L’utiliser à ces fins sort de sa finalité prévue.
• En vertu du règlement européen sur l’IA, les systèmes d’IA destinés à ces usages en matière d’emploi sont classés à haut risque (annexe III, point 4). DIRI AI n’a pas été évaluée ni mise sur le marché comme système à haut risque, et nous n’affirmons pas qu’elle satisfait à ces exigences. Une organisation qui l’utilise à ces fins agit en dehors de la finalité prévue et assume les obligations attachées à cet usage.
• Chaque participant peut consulter son propre rapport et l’explication qui l’accompagne. Les managers voient les rapports que leur rôle autorise. Lorsque votre employeur gère l’espace de travail, il est généralement le responsable du traitement de vos données d’entraînement et décide qui peut voir les rapports.
• Si vous pensez qu’une transcription, un score ou un rapport est erroné, vous pouvez le signaler et demander un examen humain à support@diriai.com. Vos droits en matière de protection des données, dont l’accès, la rectification et l’opposition, sont décrits dans la politique de confidentialité.

Managers : n’utilisez pas un score comme seul fondement d’une décision RH. Toute décision concernant une personne doit reposer sur un jugement humain et d’autres éléments, et la personne doit pouvoir en discuter.

Transparence sur l’IA

• Le client d’un appel d’entraînement est un personnage simulé par l’IA, et non une personne réelle.
• Le score est calculé par un calculateur déterministe fondé sur des règles, à partir de la transcription de l’appel (dans les appels vocaux, la transcription est produite par reconnaissance vocale automatique). Les explications du rapport sont rédigées par un modèle d’IA, qui peut se tromper ; vérifiez-les donc au regard de votre propre appel.
• Cette page est un résumé en langage clair et elle est mise à jour à chaque version de la méthodologie.

À consulter aussi

• Politique de confidentialité
• Avis de transparence sur l’IA
• Poser une question sur la méthodologie