Toda ligação de prática no DIRI AI termina com um número de 0 a 100. Sobre esse número, ouvimos principalmente duas perguntas: quem decide o número e se dá para confiar nele. Neste artigo explicamos por que a rubrica foi construída assim e como ler sua pontuação para que ela ajude na próxima ligação.
Duas tarefas, separadas de propósito
O relatório faz duas coisas: dá um número e explica esse número em palavras. Mantemos essas tarefas separadas de propósito.
- O número vem de regras. Um sistema de pontuação baseado em regras lê a transcrição da ligação e calcula o total. A mesma transcrição sempre dá a mesma pontuação.
- As palavras vêm de um modelo de IA. Ele explica o que funcionou, o que corrigir e como dizer melhor. Ele não pode mudar o número, e cada relatório é verificado para confirmar isso.
Por que separar? Um modelo de linguagem explica bem, mas tem dificuldade em ser consistente. Se ele definisse a pontuação, duas ligações idênticas poderiam receber números diferentes, e você nunca saberia se melhorou ou se o modelo mudou de ideia.
O que a rubrica observa
O sistema informa 26 critérios, cada um de 0 a 100. Para facilitar a leitura, agrupamos os critérios em cinco áreas: abertura, descoberta de necessidades e escuta, objeções e valor, fechamento e próximo passo, e condução da ligação e postura.
O total não é a média desses 26 critérios. Ele parte de uma base de 58 e se ajusta à dificuldade do cenário, de +2 no nível iniciante até −6 no teste de estresse. Depois, sinais das regras somam ou subtraem pontos: um motivo claro para a ligação, perguntas sobre necessidades, uma objeção de preço bem tratada, um próximo passo concreto, pressão ou uma frase proibida.
Por que alguns erros colocam um teto
Alguns comportamentos devem pesar mais que uma boa técnica. Por isso a rubrica tem tetos, que mantêm a pontuação baixa mesmo que o resto tenha ido bem:
- Ignorar o pedido do cliente para não ligar mais limita o total a 35 (a 62 se o pedido foi mais suave).
- Uma promessa arriscada limita o total a 55.
- Monólogos longos deixam o total na faixa fraca. Na versão atual do método, uma fala com mais de 60 palavras conta como monólogo. Duas ou mais, enquanto você ocupa 85% ou mais da conversa, mantêm o total em 40 ou menos.
Uma ligação que soa fluida, mas passa por cima de um "não", não deve parecer uma boa ligação. Os tetos garantem isso.
Quando não há pontuação
A ligação precisa de pelo menos 3 falas suas e cerca de 25 palavras no total. Ligações mais curtas mostram "Sem pontuação (curta demais)" em vez de um número, e sons de hesitação não contam para essas 25 palavras. Uma pontuação feita com duas frases não diria nada.
Com versão e claro sobre seus limites
Cada relatório guarda a versão do método e uma impressão digital do código que o calculou. Quando o método muda, relatórios antigos não são recalculados, então você sempre sabe quais regras geraram cada número.
Também há coisas que não afirmamos:
- O método ainda não foi validado em comparação com avaliadores humanos, por isso não publicamos números de precisão.
- O tcheco é o idioma de referência. Pontuações em outros idiomas de ligação são marcadas como preliminares, ficam fora das médias e não são comparadas entre idiomas.
- O sistema lê a transcrição. Um erro do reconhecimento de voz pode mudar a pontuação.
- A pontuação serve para treinar. Ela não foi feita para decisões sobre pessoas.
O método completo está em Como pontuamos.
Como ler sua pontuação
- Compare você com você mesmo. Repita o mesmo cenário e compare os dois totais. Um 64 diz mais ao lado do seu último 52 do que ao lado do 70 de um colega.
- Leia primeiro as duas maiores oportunidades. Cada uma aponta um momento da ligação. Corrija uma, não cinco coisas de uma vez.
- Confira a explicação com suas próprias palavras. A explicação pode errar. A prova é a transcrição.
- Se a pontuação parecer errada, avise. Escreva para hello@diriai.com e peça uma revisão feita por uma pessoa.
Se o relatório apontar o próximo passo, teste esta frase na próxima tentativa: "Podemos reservar 20 minutos na quinta às 10 para eu mostrar as duas opções lado a lado?"
Perguntas frequentes
Uma IA decide minha pontuação?
Não. Um sistema baseado em regras calcula o número a partir da transcrição. O modelo de IA só escreve a explicação e não pode mudar a pontuação.
Minha empresa pode alterar a rubrica?
Um administrador da empresa pode dar mais ou menos peso aos critérios, de 0,5 a 2. Isso aparece como um número ponderado separado, ao lado do total padrão, e nunca o substitui.
Por que minha pontuação é preliminar?
O tcheco é o idioma de referência do sistema. Ligações em outros idiomas ainda não passaram na verificação de paridade com o tcheco, por isso a pontuação é preliminar e não é comparada entre idiomas.
Relacionados
- Como pontuamos: o método completo
- Um relatório de exemplo
- Avaliamos palavras, não vozes: por que praticar em voz alta
- Idioma da interface e idioma da ligação
Experimente uma ligação no plano Free: 3 ligações de voz por mês, de até 5 minutos cada. Detalhes em Preços.