Quando usar
- Você quer subir o CSAT do projeto e não sabe por onde começar
- Você precisa entender erros comuns da ClaudIA e como corrigi-los
- Você quer um roteiro estruturado para auditoria com foco em qualidade
Pré-requisitos
- Acesso ao Painel da ClaudIA com permissão para auditar e editar conteúdos
- Tickets encerrados disponíveis para auditoria
Sobre este artigo
Este tutorial ensina como analisar a qualidade das respostas da ClaudIA (CSAT), detalhando métricas no dashboard, impacto de tags e seções e auditoria de tickets. Aborda erros comuns, causas e soluções.
Vídeos de referência
🎥
🎥
Boas práticas em auditoria
1. O que devo analisar ao auditar um ticket
-
Verifique se a resposta está correta e completa
-
Resposta correta → registre voto positivo
-
Resposta com erro → identifique a causa:
-
IA usou a seção errada?
-
Resposta estava incompleta?
-
Era necessário um passo de qualificação antes de responder?
-
2. Tipos de problemas mais comuns
Estas são as opções disponíveis na tela de auditoria. Marcar a opção certa é o que permite agrupar os erros depois.
1. Deveria ter usado outra seção
A IA usou fonte de informação incorreta — deveria ter consultado uma seção mais adequada.
2. A resposta estava incompleta
A IA respondeu parcialmente, deixando de abordar pontos importantes pedidos pelo cliente.
3. Precisava ter clarificado antes
A IA interpretou mal ou adivinhou a intenção, sem buscar esclarecimento — comprometeu a precisão.
4. Não deveria ter clarificado
A IA pediu clarificação desnecessária quando já havia informações suficientes.
5. Alucinação
A IA inventou dados que não estavam em nenhuma das fontes disponíveis.
6. Deveria clarificar de forma diferente
A IA tentou esclarecer, mas a pergunta saiu confusa, genérica ou mal direcionada, e travou a conversa.
7. Deveria escalar por falta de conteúdo
A IA não tinha base suficiente no conteúdo atual e deveria ter encaminhado para outro fluxo ou para um humano.
8. Problema no conteúdo da IDS
O conteúdo usado pela IA estava incorreto, desatualizado ou mal estruturado.
9. Outro
Fora do padrão: erro técnico, linguagem inadequada, confusão na lógica de atendimento ou comportamento inesperado.
3. Como saber se deveria ter transferido para N2
-
Verifique se a IA tinha todas as informações necessárias para resolver em N1
-
Resposta satisfatória e completa em N1 → não havia necessidade de transferir
-
Caso contrário, a auditoria deve registrar que a IA deveria ter encaminhado para N2
4. Casos de abandono de atendimento
-
Fluxo correto e sem erro na auditoria → registre como fluxo correto
-
Havendo pontos de melhoria, anote para ajuste posterior
Como ler o CSAT no dashboard
O dashboard da ClaudIA reúne as visões que apontam onde a qualidade está caindo, antes de você abrir ticket a ticket.
-
Visão geral do CSAT — leitura ampla da qualidade das respostas
-
Comparativo humano x ClaudIA — respostas da IA contra tickets escalados para humano
-
CSAT por tag — desempenho por assunto
-
Histórico das últimas cinco semanas — evolução ao longo do tempo
-
Visualização em tabela — agregado por tag, com total de respostas e o CSAT de cada uma
Impacto de tags e Fluxos Controlados
Existe uma visão específica para identificar se uma Tag ou um Fluxo Controlado está puxando o CSAT para baixo — é o caminho mais rápido para achar o conteúdo que está prejudicando a qualidade.
Impacto das seções usadas
Cruzando as seções utilizadas nas conversas com o resultado do CSAT, dá para ver se uma seção específica está associada a avaliação negativa.
Como o CSAT é categorizado
-
Positivos — notas 4 e 5
-
Negativos e neutros — notas 1, 2 e 3
Qualidade geral
Na aba de qualidade geral você vê o percentual total de erros, a classificação dos erros, a análise de tags corretas e incorretas e os temas que mais impactam negativamente. Os links da tela levam ao detalhamento por tag.
Próximos passos
Use os insights de auditoria para:
-
Ajustar títulos das seções
-
Criar variações de pergunta para mesma resposta
-
Eliminar duplicidades que confundem o modelo
-
Atualizar conteúdo desatualizado
Observações
-
Para boas práticas de auditoria: Quais as melhores práticas para auditar a ClaudIA
-
Para entender o processo completo: Como funciona a ClaudIA e o processo de auditorias
-
Para Gen CX Score como métrica auxiliar: Como usar da melhor forma o Gen CX Score
-
Para tempo ideal de fechamento: Como definir o tempo de fechamento ideal dos atendimentos N1
-
Para boas práticas de conteúdo: Boas práticas na criação e manutenção de conteúdos