Como melhorar a qualidade da Claudia

Nesse tutorial você irá aprender como analisar a qualidade das respostas da Claudinha (CSAT), detalhando métricas disponíveis no dashboard, impacto de tags e seções, e auditoria dos tickets. Também aborda erros comuns na Claudia, suas causas e soluções, ajudando a otimizar as respostas e melhorar a experiência do cliente.

Abaixo temos dois vídeos e, posteriormente, uma explicação em texto para melhorar a qualidade da Claudia:

Boa práticas de auditoria, CSAT e Análise das auditorias:

Boas Práticas em Auditoria

1. O que devo analisar ao auditar um ticket?

Verifique se a resposta da IA está correta e completa.
Se a resposta estiver correta, registre um voto positivo.
Se houver erro, identifique a causa:
- A IA usou a seção errada?
- A resposta estava incompleta?
- Era necessário um passo de qualificação antes de responder?
Para auditar as mensagens, siga essa explicação das opções:
- 1. Deveria ter utilizado outra seção para responder
  A IA utilizou uma fonte de informação incorreta e deveria ter consultado uma seção mais adequada ou relevante do conteúdo disponível para responder corretamente ao cliente.
  
  2. A resposta estava incompleta
  A IA respondeu parcialmente à solicitação, deixando de abordar pontos importantes ou solicitados pelo cliente na mensagem original.
  
  3. Precisava ter clarificado antes de responder
  A IA interpretou mal ou adivinhou a intenção do cliente sem antes buscar esclarecimentos, o que comprometeu a precisão da resposta.
  
  4. Não deveria clarificar
  A IA fez uma pergunta de clarificação desnecessária, quando já havia informações suficientes para formular uma resposta útil.
  
  5. Alucinação
  A IA incluiu informações que não estavam presentes em nenhuma das fontes disponíveis, inventando dados ou fazendo afirmações sem base no conteúdo autorizado.
  
  6. Deveria clarificar de forma diferente
  A IA tentou esclarecer a dúvida do cliente, mas a forma como fez a pergunta foi confusa, genérica ou mal direcionada, dificultando a continuação da conversa.
  
  7. Deveria escalar por falta de conteúdo
  A IA não possuía base suficiente no conteúdo atual para responder corretamente e, por isso, deveria ter encaminhado o atendimento para outro fluxo ou para um humano.
  
  8. Problema no conteúdo da IDS
  O conteúdo utilizado pela IA (informação da IDS) estava incorreto, desatualizado ou mal estruturado, prejudicando a qualidade da resposta.
  
  9. Outro
  Problemas fora dos padrões comuns, como erro técnico, linguagem inadequada, confusão na lógica de atendimento ou comportamento inesperado da IA.

2. Como identificar uma resposta incompleta?

Compare a resposta dada com o conteúdo disponível.
Se a seção correta foi usada, mas a resposta não abordou todas as informações necessárias, marque o erro como resposta incompleta.
Utilize o prompt led section para evitar esse problema no futuro.

3. O que fazer se a IA não tiver o conteúdo necessário?

Verifique se existe uma seção relevante para a dúvida.
Caso não exista, crie um novo conteúdo para cobrir esse caso.
Registre o erro como "conteúdo ausente" no detalhamento do erro.

4. Como auditar respostas numéricas ou cálculos?

Confirme se a IA utilizou a seção correta para realizar o cálculo.
Caso o cálculo esteja correto, marque a resposta como válida.
Se a IA poderia ter usado outra seção mais adequada, ajuste a auditoria.

5. Como saber se a IA deveria ter transferido um atendimento para N2?

Verifique se a IA tinha todas as informações necessárias para resolver a questão dentro do nível N1.
Se a resposta foi satisfatória e completa dentro de N1, não há necessidade de transferência.
Caso contrário, a auditoria deve indicar que a IA deveria ter encaminhado para N2.

6. Como tratar casos de abandono de atendimento?

Se o fluxo de atendimento funcionou corretamente e a auditoria não apontou erros, registre o caso como fluxo correto.
Se houver pontos de melhoria, anote para ajustes futuros.

7. O que fazer se a IA não tiver informações sobre um tema?

Se o cliente perguntar sobre algo que não está na base de conhecimento, Registre o erro como "conteúdo ausente" no detalhamento do erro
Caso um conteúdo relevante exista, mas não tenha sido utilizado, ajuste o title da seção para garantir melhor recuperação da informação.

8. Como lidar com respostas genéricas ou pouco esclarecedoras?

Se a IA respondeu algo vago ou que não esclareceu totalmente a dúvida do cliente, o ideal é que ela peça mais informações antes de responder.
Caso necessário, ajuste os conteúdos para incluir perguntas mais específicas e melhorar a contextualização da resposta.

9. Quando devo modificar um título de conteúdo?

Se a IA não encontrou uma seção relevante, mas um conteúdo semelhante existe, pode ser necessário ajustar o título para facilitar a recuperação.

Siga as boas práticas de criação e manutenção de conteúdos disponível nesse link

Análise de Qualidade da Claudinha (CSAT)

1. O que é a análise de qualidade da Claudinha?

A análise de qualidade tem como objetivo avaliar o desempenho das respostas da Claudinha, identificando oportunidades de melhoria com base nos ajustes que podemos fazer e nas melhorias que vocês também podem implementar.

2. Como visualizar os dados do CSAT no dashboard?

No dashboard da Claudinha, vocês podem acessar:

Visão geral do csat: uma análise ampla da qualidade das respostas.
Comparativo entre humanos e a Claudinha: comparação entre respostas dadas pela Claudinha e tickets que foram escalados para atendimento humano.
CSAT por tag: desempenho da Claudinha para diferentes assuntos.
Histórico das últimas cinco semanas: permite acompanhar a evolução da qualidade das respostas ao longo do tempo.
Visualização em tabela: exibição agregada por tag, mostrando o total de respostas e o respectivo CSAT.

4. Como analisar o impacto das tags e do Eddie no CSAT?

Há uma visualização específica no dashboard que permite entender se um determinado EDDIE ou Tag está impactando negativamente o CSAT. Isso ajuda a identificar se um conteúdo específico está prejudicando a qualidade das respostas.

5. Como entender o impacto das seções usadas no CSAT?

Podemos cruzar as seções utilizadas na conversa com os clientes com os resultados do CSAT. Isso nos permite verificar se uma determinada seção está associada a um CSAT negativo, ajudando a identificar quais conteúdos estão afetando negativamente a experiência do cliente.

6. Como visualizar os CSAT gerais?

Os CSAT são categorizados em:

Positivos ("goods" 4 e 5)
Negativos e neutros (1, 2 e 3)

Os tickets de cada categoria podem ser analisados para entender se a Claudinha teve um desempenho abaixo do esperado ou se o cliente não ficou satisfeito com a resposta.

7. O que fazer após a análise do CSAT?

Após essa análise, podemos auditar os tickets para identificar os principais motivos dos erros da Claudinha e atuar sobre eles. Essa auditoria será abordada no próximo passo da melhoria contínua da Claudinha.

Auditoria e Qualidade da Claudia

1. O que podemos aprender a partir da auditoria dos tickets?

A auditoria dos tickets de CSAT e outros tickets nos permite identificar erros e áreas de melhoria na Claudia. Com essa análise, conseguimos reduzir falhas e otimizar as respostas fornecidas pela IA.

2. Como visualizar a qualidade geral da Claudia?

Na aba de qualidade geral do dashboard, é possível ver:

O percentual total de erros da Claudia
Classificação dos erros (Erro 1, 2 ou 3)
Análise das tags corretas e incorretas
Temas e tags que mais impactam negativamente

Os links disponibilizados permitem acessar detalhamentos dos erros por tag selecionada.

3. Como identificar os conteúdos que geram mais erros?

A seção "percentual de erro por conteúdo" do dashboard permite visualizar quais conteúdos estão mais propensos a gerar erros na Claudia. Essa informação é útil para priorizar correções.

4. O que significa a "quebra por mensagem enviada"?

Essa seção detalha os erros cometidos pela Claudia na geração de mensagens. Para cada resposta, a Claudia recebe um conjunto de 15 a 20 conteúdos (TopK) e, com base neles, constrói a resposta.

Os erros podem ocorrer de diferentes formas:

Seção correta fora do TopK: a resposta ideal não estava no conjunto recebido.
Escolha errada: a Claudia recebeu a seção correta, mas escolheu outra incorretamente.
Resposta incompleta: a Claudia utilizou a resposta certa, mas omitiu partes críticas.

5. Como analisar erros por seção utilizada?

A tabela apresenta:

Ticket analisado
Seção usada na resposta
Seção correta que deveria ter sido usada
Descrição dos erros cometidos

6. O que os erros podem indicar?

Confusão entre seções similares: Seções com títulos parecidos podem dificultar a escolha correta da Claudia.
- Solução: Revisar os títulos das seções seguindo as boas práticas de manutenção e criação de conteúdos disponível nesse link ou utilizar a funcionalidade Prompt Led Section disponível nesse link para especificar melhor o uso de cada seção.
Respostas incompletas: Quando a Claudia omite informações críticas.
- Solução: Ajustar as seções ou usar Prompt Led Section para reforçar a importância do conteúdo completo.
Seções não aparecem no TopK: O conteúdo correto não está entre os 15 a 20 mais relevantes.
- Solução: Ajustar os títulos para que apareçam melhor em determinadas buscas do cliente.

7. Como essas informações ajudam na melhoria da Claudia?

Com a análise detalhada dos erros e dos conteúdos utilizados, é possível:

Melhorar a precisão das respostas
Reduzir erros de classificação
Garantir respostas mais completas
Ajustar títulos para melhorar a indexação e relevância
Usar a funcionalidade Prompt Led Section para aprimorar a escolha das seções corretas

Dessa forma, conseguimos otimizar a performance da Claudia e aprimorar a experiência do cliente.

Acesse aqui o mapa mental das boas práticas!