Como pontuamos

O que é pontuado

O avaliador informa 26 critérios, cada um de 0 a 100. Aqui os agrupamos para facilitar a leitura; o agrupamento não afeta o cálculo.

Como o total é construído

• O total não é uma média ponderada dos 26 critérios, e os critérios não têm pesos fixos. Ele é construído a partir de regras que leem a transcrição.
• Parte de uma base de 58 e é ajustado pela dificuldade do cenário: +2 para iniciante, 0 para padrão, −2 para avançado, −4 para especialista e −6 para teste de estresse.
• Depois, sinais das regras somam ou subtraem pontos, por exemplo por uma abertura clara, perguntas sobre necessidades, o tratamento de uma objeção de preço, um próximo passo concreto, pressão ou uma frase proibida. O resultado fica limitado entre 0 e 100.
• Limites de segurança podem reduzir o total independentemente de outros pontos fortes. Por exemplo, ignorar o pedido de um cliente para não ser contatado limita o total a 35 (62 se o pedido foi mais brando), e uma promessa arriscada o limita a 55.
• As estrelas são o total dividido por 20, arredondado para cima, de 1 a 5. Um administrador da empresa pode dar mais ênfase a critérios (de 0,5 a 2). Isso aparece como um número ponderado separado ao lado do total padrão e nunca o substitui.

Pontuações preliminares e finais

Uma pontuação é final quando pode ser comparada com outras. Caso contrário, é identificada como preliminar.

O texto de feedback da IA em um relatório explica o resultado. Ele não altera o número: a pontuação vem do avaliador determinístico, e o relatório é verificado para confirmar que o número não foi modificado depois da inclusão do feedback.

Versão e artefato do avaliador

Cada relatório armazena a versão da metodologia e o resumo do código do avaliador que o gerou. Assim, uma pontuação sempre pode ser rastreada até a versão exata. Relatórios antigos não são recalculados quando a versão muda.

O que a IA não julga

• Sua voz, sotaque, aparência, emoções ou personalidade. A DIRI AI não reconhece emoções: a pontuação parte da transcrição e dos eventos da ligação de prática, e critérios como empatia olham apenas o que foi dito.
• Se uma afirmação está correta do ponto de vista legal ou regulatório. O critério de conformidade procura padrões de risco conhecidos e as suas próprias frases proibidas. Não é aconselhamento jurídico, de seguros ou financeiro, nem uma autorização.
• Seus resultados em ligações reais com clientes, seu potencial ou sua adequação a um cargo.
• Qualquer coisa que a transcrição tenha captado errado. Erros de reconhecimento de fala podem alterar uma pontuação.

Como o método é verificado hoje

• Os desenvolvedores testam o avaliador com 15 conversas sintéticas, cada uma escrita em cinco idiomas, com resultados esperados que os autores definiram de antemão. Essas expectativas são hipóteses, não julgamentos de avaliadores humanos.
• Ainda não há comparação com avaliadores humanos independentes. Ela está planejada como um trabalho separado, e pretendemos publicar os resultados junto com a versão da metodologia quando existirem.
• Até lá, trate uma pontuação como um sinal de coaching que ajuda você a escolher o que praticar em seguida, e não como uma medição com erro conhecido.

Uso previsto e seus direitos

As pontuações da DIRI AI são feitas para o treinamento. Elas não são uma decisão sobre uma pessoa.

• A pontuação é usada para dar feedback e sugerir prática. A DIRI AI não toma decisões sobre pessoas, e o produto não foi projetado para tomar decisões baseadas exclusivamente em tratamento automatizado que produzam efeitos jurídicos ou igualmente significativos (artigo 22 do GDPR). Se, mesmo assim, uma organização baseasse uma decisão desse tipo apenas em uma pontuação, ela seria responsável por essa decisão.
• A DIRI AI não foi projetada nem é oferecida para contratação, remuneração, promoção, medidas disciplinares, demissão, distribuição de tarefas nem para monitorar e avaliar o desempenho profissional de funcionários. Usá-la para essas finalidades está fora do seu propósito previsto.
• Pelo Regulamento de IA da UE, sistemas de IA destinados a essas finalidades trabalhistas são classificados como de alto risco (anexo III, ponto 4). A DIRI AI não foi avaliada nem colocada no mercado como sistema de alto risco, e não afirmamos que atenda a esses requisitos. Uma organização que a use para tais finalidades age fora do propósito previsto e assume as obrigações decorrentes desse uso.
• Cada participante pode ver o próprio relatório e a explicação por trás dele. Os gestores veem os relatórios que o seu perfil permite. Quando o seu empregador administra o espaço de trabalho, ele costuma ser o controlador dos seus dados de treinamento e decide quem pode ver os relatórios.
• Se você achar que uma transcrição, pontuação ou relatório está errado, pode sinalizar e pedir uma revisão humana em support@diriai.com. Seus direitos de proteção de dados, incluindo acesso, retificação e oposição, estão descritos na política de privacidade.

Gestores: não usem uma pontuação como única base de uma decisão de RH. Qualquer decisão sobre uma pessoa deve se apoiar em julgamento humano e em outras evidências, e a pessoa deve poder discuti-la.

Transparência sobre a IA

• O cliente de uma ligação de prática é um personagem simulado por IA, não uma pessoa real.
• A pontuação é calculada por um avaliador determinístico, baseado em regras, a partir da transcrição da ligação (nas ligações de voz, a transcrição é gerada por reconhecimento automático de fala). As explicações do relatório são escritas por um modelo de IA, que pode errar; por isso, confira-as com a sua própria ligação.
• Esta página é um resumo em linguagem simples e é atualizada a cada versão da metodologia.

Relacionado

• Política de privacidade
• Aviso de transparência sobre a IA
• Perguntar sobre a metodologia