Principal Melhorando ainda mais a ClaudIA
🎖️

Melhorando ainda mais a ClaudIA

Passo a passo avançado sobre como melhorar ainda mais os resultados de retenção e qualidade da ClaudIA
Fabrício Rissetto
Por Fabrício Rissetto and 2 outros
4 artigos

Casos de Teste (Test Cases) na ClaudIA: O que são, como usar e por que fazem a diferença

https://www.loom.com/share/8355ed9aee974f8a9174bc9a7f47cd3e O que são Test Cases? Casos de Teste (ou Test Cases) são uma funcionalidade que permite testar mudanças na ClaudIA de forma rápida, segura e replicável. Eles simulam atendimentos reais com base em tickets históricos e verificam se a ClaudIA responde como esperado após mudanças em sessões ou prompt. Para que servem? Você pode usar Test Cases para: - Corrigir comportamentos inadequados (ex: respostas incompletas); - Garantir que mudanças em sessões não quebrem outras respostas; - Medir o impacto de um ajuste antes de colocá-lo em produção; - Testar novos fluxos, respostas ou instruções com mais rapidez. Exemplo de uso Problema: ClaudIA está usando a sessão certa, mas omitindo parte do conteúdo na resposta ao cliente. Solução com Test Case: 1. Marcar os tickets com esse problema. 2. Criar um Test Case com esses tickets. 3. Fazer ajustes nas sessões (ex: instrução para sempre enviar o conteúdo completo). 4. Rodar o Test Case e verificar se o problema foi resolvido. 5. Garantir que nenhum outro comportamento desejado foi afetado. Como criar um Test Case (passo a passo) 1. Acesse um ticket com resposta inadequada. 2. Clique no ícone 🧪 ao lado da mensagem da ClaudIA. 3. Clique em “Novo” para criar um novo Test Case. - Dê um nome descritivo (ex: “Resposta Incompleta”). 1. Configure: - Checkbox “Reutilizar seções retornadas”: - Marque se quiser usar as mesmas seções da época do ticket original. - Desmarque se quiser testar com novas seções ou alterações recentes. - Número de execuções por ticket (ex: 5x) para garantir consistência. 5. Escolha o tipo de verificação: - LLM: Usa um prompt avaliador da resposta. - Embeddings: Compara a resposta original com a atual por distância vetorial. - Regex: Verifica se certas palavras devem ou não aparecer. Aqui tem um link explicando sobre Regex Tipos de teste disponíveis LLM - Uso principal: Avaliar se a nova resposta cumpre regras definidas via prompt - Exemplo: “A resposta contém 100% do texto da sessão?” Embeddings - Uso principal: Comparar similaridade entre a resposta original e a nova - Exemplo: Distância vetorial menor que 0.2 Regex - Uso principal: Garantir que a ClaudIA usa (ou evita) certas palavras - Exemplo: não pode conter “desculpe” Como adicionar mais tickets a um Test Case 1. Acesse o segundo (ou terceiro, quarto…) ticket com o mesmo problema. 2. Clique no ícone 🧪. 3. Vá para a aba “Existente” e selecione o Test Case já criado. 4. Salve. Como interpretar os resultados Após rodar o Test Case: - ✅ Passou: A resposta da ClaudIA está conforme a regra. - ❌ Falhou: A resposta ainda está incorreta ou incompleta. Você pode ver: - Quais execuções passaram ou falharam. - Histórico completo do desempenho do Test Case. Garantindo que outras respostas não foram afetadas Depois de rodar um teste específico, clique em “Rodar todos” no topo da página de Test Cases. Isso executa todos os casos existentes e verifica se nenhuma mudança que você fez quebrou outros fluxos. Como agendar execuções periódicas Você pode agendar seus Test Cases para rodar automaticamente: - A cada 6 horas - Diariamente - Semanalmente Isso ajuda a detectar quebras causadas por mudanças não previstas. E a função de Teste A/B? Se você quer testar sem impactar a produção, use o modo de Teste A/B. Nele, você pode rodar Test Cases com uma nova versão do prompt ou sessão sem alterar o comportamento da ClaudIA para os clientes finais. Para habilitar, é só entrar em contato com o time da Cloud Humans. TL;DR (resumo final) - Test Cases são como testes automatizados para garantir que a ClaudIA está respondendo certo. - Eles ajudam a corrigir problemas mais rápido e com segurança. - Você pode criar, editar, reexecutar e agendar testes com base em tickets reais. - É possível testar diferentes tipos de validação (LLM, regex, embeddings). - Use o botão “Rodar todos” para garantir que nada foi quebrado após ajustes.

Última atualização em Aug 09, 2025

Como aumentar a retenção em 3 etapas

Etapa 1: Analisar a métrica atual e seu objetivo A primeira etapa consiste em identificar qual o nível de retenção atual e quanto falta para alcançar o nível desejado. Para isso, basta acessar o Dashboard através do Cloud Humans Hub e procurar pelo gráfico "% de retenção/transferência por agregação de tempo", na aba "Métricas de Retenção". Após adicionar filtros como data e agregação, será possível identificar os níveis de retenção atual. Etapa 2: Entender principais razões de transferência Entendendo os níveis de retenção atual e a meta desejada, o próximo passo é entender quais são os principais motivos pelos quais a ClaudIA está transferindo o atendimento. Compreendê-los permitirá mapear as oportunidades de maior impacto no aumento da retenção. Para isso, basta acessar o gráfico "Proporção de razões de transferência em tickets N2", na aba "Métricas de Retenção". Nele, você poderá observar que cada cor representa uma diferente razão pela qual a ClaudIA transferiu um atendimento, como "Eddie Transferiu" ou "Claudia usou conteúdo N2" - todas as razões e seu detalhamento podem ser encontrados diretamente no Dashboard, logo acima do gráfico. Geralmente, há uma ou duas razões de transferência que representam a maioria dos tickets escalados. Essas razões podem ser priorizadas para a implementação de melhorias visto que terão um maior impacto na retenção. Para identificá-las, basta mapear a razão de transferência (a cor no gráfico) com maior % nos tickets. No exemplo acima, as principais razões de transferência são Claudia usou conteúdo N2 e Claudia detectou ação de transferência. Além disso, é possível analisar os tickets escalados por cada uma das razões através da tabela "Quantidade de tickets/Razão de Transferência", logo abaixo, na mesma aba. Etapa 3: Implementar ações de melhoria Depois de entender as principais razões de transferência, deve-se entender sua natureza para iniciar a implementação de melhorias. Diferentes razões demandarão diferentes estratégias. Por exemplo, se observado que a principal razão de N2 for Erro na chamada do Eddie, a estratégia de contenção envolverá ajustes no fluxo do Eddie em questão. Caso as transferências estejam ocorrendo por conta de Claudia usou um conteúdo N2, a base de conteúdo da ClaudIA deverá ser revisada. Abaixo, detalhamos as principais ações de melhoria sugeridas por razão de transferência: Melhorias envolvendo conteúdo Claudia usou conteúdo N2 Dentre os conteúdos que voltaram para a Claudia responder, ela escolheu utilizar um conteúdo N2 para responder o cliente. Para reduzir este tipo de transferência é necessário reduzir o número de seções N2. Ou seja, se houver uma proporção menor de seções N2 - junto à conteúdo N1 que possa resolver as questões do cliente - há uma probabilidade menor de seções N2 serem utilizadas e, consequentemente, uma potencial redução nos tickets escalados. Há algumas estratégias possíveis para fazer isso garantindo qualidade no atendimento: (i) excluir seções N2 que não estejam sendo utilizadas corretamente Você pode excluir seções que não estejam sendo utilizadas corretamente, além de seções duplicadas. Consulte este artigo para conhecer as boas práticas de criação e manutenção de conteúdo, garantindo que as seções sejam acionadas corretamente. (ii) transformar seções N2 em N1 Sabemos que a existência de seções N2 é necessária, principalmente em casos onde há a necessidade de execução de um processo interno. Porém, em alguns casos, é possível adaptar uma seção N2 para um passo a passo N1, que permitirá ao cliente executar tais ações. Se utilizarmos uma seção de "status do pedido" como exemplo, a adaptação poderia ser feita da seguinte maneira: Antes (seção N2) - Title: Onde está meu pedido? - Response: Para verificar o status do seu pedido, vou te encaminhar para um atendente. Depois (seção N1) - Title: Onde está meu pedido? - Response: Para verificar o status do seu pedido, você pode acessar o link (www.linkstatusdopedido.com) e inserir o código de rastreio recebido em seu e-mail de compra. Depois disso, você poderá visualizar onde seu pedido se encontra e qual sua previsão de entrega. (iii) transformar seções N2 em INTERACTIVE Caso não seja possível excluir ou transformar seções N2 em seções de N1, é possível torná-las INTERACTIVE, ou seja, fazer com que elas acionem Eddies que poderão reter os tickets. Utilizando o exemplo do status do pedido com uma seção INTERACTIVE, o cliente poderia já enviar o código de rastreio, e a ClaudIA (através do Eddie) retornaria o status do pedido em tempo real. Para mais informações sobre como construir Eddies, basta acessar os artigos desta pasta. Claudia detectou ação de transferência Cliente foi transferido após Claudia enviar alguma mensagem indicando que iria transferir o atendimento para um agente/suporte. Estes casos tendem a ocorrer quando uma seção de N2 contém em sua resposta alguma frase indicando que o atendimento será transferido, por exemplo "vou te transferir para um atendente". Ou seja, esses casos também representam situações onde a ClaudIA escalou um ticket através de uma seção N2. Com isso, para entender estratégias adequadas para essas situações, basta consultar as informações acima, referentes à razão de transferência Claudia usou um conteúdo N2. Melhorias envolvendo Conteúdo e/ou Feature Cliente Pediu Humano Cliente insistiu em falar com humano e a Claudia escalou. Para reduzir este tipo de transferência é necessário reduzir a necessidade de um usuário pedir para falar com humano. Normalmente, os usuários solicitam o contato com um agente por dois motivos: (1) porque não confiam que a IA pode resolver sua questão - esses casos geralmente podem ser identificados quando um cliente pede para falar com humano logo no início do atendimento, sem ter exposto sua questão; ou (2) porque a IA, de fato, não está conseguindo auxiliá-lo. Para mitigar estes casos, recomendamos duas principais estratégias: (i) Ativar "Venda da IA" A "Venda da IA" é uma feature que, quando um cliente solicitar para falar com um humano, ao invés de transferi-lo automaticamente, envia uma mensagem "vendendo a ClaudIA", ou seja, indicando ao cliente que ele pode enviar sua questão e que a IA tentará resolvê-la. Se, em sua segunda mensagem, o cliente pedir para falar com um humano novamente, a ClaudIA irá transferir o atendimento. Ou seja, com essa feature, um cliente precisa pedir duas vezes para falar com um humano para que seja transferido. Exemplo de atendimento com a feature "Venda da IA": Os tickets transferidos para N2 por esta feature terão sua razão indicada como Multiprompt handover. Para ativar esta feature e definir a mensagem da "Venda da IA", entre em contato com a equipe Cloud Humans. (ii) Identificar casos onde IA não resolveu a questão do cliente e criar ou melhorar seções com base nos problemas do atendimento observado. Esta estratégia é útil para casos onde a ClaudIA tentou resolver a questão do cliente, mas sem sucesso, o que o fez pedir para falar com humano. Estes casos tendem a ocorrer porque o conteúdo disponível (seções N1) não foi útil para o cliente. Para identificar as seções de N1 que não foram efetivas e geraram a necessidade de um atendimento humano, basta acessar o gráfico "Conteúdo usado antes do cliente pedir humano", na aba "Métricas de Retenção" Depois de localizar as principais seções que não estão sendo efetivas, deve-se entender o que pode ser melhorado em seu conteúdo para que ela resolva as questões dos clientes. Melhorias envolvendo Eddie Eddie Transferiu Cliente foi transferido dentro de um fluxo dentro do Eddie Para reduzir este tipo de transferência, é necessário diminuir os cards de "Forward to Human [N2]" nos fluxos de Eddie, ou seja, reduzir a possibilidade de um atendimento acabar em uma ramificação do fluxo que será escalado. Para isso, recomendamos (1) identificar os Eddies que mais escalam atendimentos, (2) identificar ramificações que terminam com "Forward to Human [N2]" e (3) entender o que deve ser feito para transformar os cards de N2 em cards de N1. Para localizar os Eddies que mais escalam, basta a acessar o gráfico “Volume de tickets no Eddie” na aba “Informações Gerais - Projetos Live” do Dashboard no Hub. Transformar um card N2 em N1 pode ser tão simples quanto fazer um ajuste no texto que antecede o card e fazer a atualização na integração com a ClaudIA. Porém, algumas situações podem demandar a criação de APIs e outros requisitos de infraestrutura de backoffice. Caso tenha dúvidas sobre a possibilidade de criar uma ramificação N1 dentro de um Eddie N2, sugerimos que entre em contato com a sua equipe de tecnologia. Demais razões de transferência (em construção)

Última atualização em Aug 09, 2025

Como melhorar a qualidade da Claudia

Nesse tutorial você irá aprender como analisar a qualidade das respostas da Claudinha (CSAT), detalhando métricas disponíveis no dashboard, impacto de tags e seções, e auditoria dos tickets. Também aborda erros comuns na Claudia, suas causas e soluções, ajudando a otimizar as respostas e melhorar a experiência do cliente. Abaixo temos dois vídeos e, posteriormente, uma explicação em texto para melhorar a qualidade da Claudia: Boa práticas de auditoria, CSAT e Análise das auditorias: https://youtu.be/sRt_eA-qqJ8 https://youtu.be/7V0gmlEP5xo https://youtu.be/_caaHdoMUuk Boas Práticas em Auditoria 1. O que devo analisar ao auditar um ticket? - Verifique se a resposta da IA está correta e completa. - Se a resposta estiver correta, registre um voto positivo. - Se houver erro, identifique a causa: - A IA usou a seção errada? - A resposta estava incompleta? - Era necessário um passo de qualificação antes de responder? - Para auditar as mensagens, siga essa explicação das opções: - 1. Deveria ter utilizado outra seção para responder A IA utilizou uma fonte de informação incorreta e deveria ter consultado uma seção mais adequada ou relevante do conteúdo disponível para responder corretamente ao cliente. 2. A resposta estava incompleta A IA respondeu parcialmente à solicitação, deixando de abordar pontos importantes ou solicitados pelo cliente na mensagem original. 3. Precisava ter clarificado antes de responder A IA interpretou mal ou adivinhou a intenção do cliente sem antes buscar esclarecimentos, o que comprometeu a precisão da resposta. 4. Não deveria clarificar A IA fez uma pergunta de clarificação desnecessária, quando já havia informações suficientes para formular uma resposta útil. 5. Alucinação A IA incluiu informações que não estavam presentes em nenhuma das fontes disponíveis, inventando dados ou fazendo afirmações sem base no conteúdo autorizado. 6. Deveria clarificar de forma diferente A IA tentou esclarecer a dúvida do cliente, mas a forma como fez a pergunta foi confusa, genérica ou mal direcionada, dificultando a continuação da conversa. 7. Deveria escalar por falta de conteúdo A IA não possuía base suficiente no conteúdo atual para responder corretamente e, por isso, deveria ter encaminhado o atendimento para outro fluxo ou para um humano. 8. Problema no conteúdo da IDS O conteúdo utilizado pela IA (informação da IDS) estava incorreto, desatualizado ou mal estruturado, prejudicando a qualidade da resposta. 9. Outro Problemas fora dos padrões comuns, como erro técnico, linguagem inadequada, confusão na lógica de atendimento ou comportamento inesperado da IA. 2. Como identificar uma resposta incompleta? - Compare a resposta dada com o conteúdo disponível. - Se a seção correta foi usada, mas a resposta não abordou todas as informações necessárias, marque o erro como resposta incompleta. - Utilize o prompt led section para evitar esse problema no futuro. 3. O que fazer se a IA não tiver o conteúdo necessário? - Verifique se existe uma seção relevante para a dúvida. - Caso não exista, crie um novo conteúdo para cobrir esse caso. - Registre o erro como "conteúdo ausente" no detalhamento do erro. 4. Como auditar respostas numéricas ou cálculos? - Confirme se a IA utilizou a seção correta para realizar o cálculo. - Caso o cálculo esteja correto, marque a resposta como válida. - Se a IA poderia ter usado outra seção mais adequada, ajuste a auditoria. 5. Como saber se a IA deveria ter transferido um atendimento para N2? - Verifique se a IA tinha todas as informações necessárias para resolver a questão dentro do nível N1. - Se a resposta foi satisfatória e completa dentro de N1, não há necessidade de transferência. - Caso contrário, a auditoria deve indicar que a IA deveria ter encaminhado para N2. 6. Como tratar casos de abandono de atendimento? - Se o fluxo de atendimento funcionou corretamente e a auditoria não apontou erros, registre o caso como fluxo correto. - Se houver pontos de melhoria, anote para ajustes futuros. 7. O que fazer se a IA não tiver informações sobre um tema? - Se o cliente perguntar sobre algo que não está na base de conhecimento, Registre o erro como "conteúdo ausente" no detalhamento do erro - Caso um conteúdo relevante exista, mas não tenha sido utilizado, ajuste o title da seção para garantir melhor recuperação da informação. 8. Como lidar com respostas genéricas ou pouco esclarecedoras? - Se a IA respondeu algo vago ou que não esclareceu totalmente a dúvida do cliente, o ideal é que ela peça mais informações antes de responder. - Caso necessário, ajuste os conteúdos para incluir perguntas mais específicas e melhorar a contextualização da resposta. 9. Quando devo modificar um título de conteúdo? - Se a IA não encontrou uma seção relevante, mas um conteúdo semelhante existe, pode ser necessário ajustar o título para facilitar a recuperação. Siga as boas práticas de criação e manutenção de conteúdos disponível nesse link Análise de Qualidade da Claudinha (CSAT) 1. O que é a análise de qualidade da Claudinha? A análise de qualidade tem como objetivo avaliar o desempenho das respostas da Claudinha, identificando oportunidades de melhoria com base nos ajustes que podemos fazer e nas melhorias que vocês também podem implementar. 2. Como visualizar os dados do CSAT no dashboard? No dashboard da Claudinha, vocês podem acessar: - Visão geral do csat: uma análise ampla da qualidade das respostas. - Comparativo entre humanos e a Claudinha: comparação entre respostas dadas pela Claudinha e tickets que foram escalados para atendimento humano. - CSAT por tag: desempenho da Claudinha para diferentes assuntos. - Histórico das últimas cinco semanas: permite acompanhar a evolução da qualidade das respostas ao longo do tempo. - Visualização em tabela: exibição agregada por tag, mostrando o total de respostas e o respectivo CSAT. 4. Como analisar o impacto das tags e do Eddie no CSAT? Há uma visualização específica no dashboard que permite entender se um determinado EDDIE ou Tag está impactando negativamente o CSAT. Isso ajuda a identificar se um conteúdo específico está prejudicando a qualidade das respostas. 5. Como entender o impacto das seções usadas no CSAT? Podemos cruzar as seções utilizadas na conversa com os clientes com os resultados do CSAT. Isso nos permite verificar se uma determinada seção está associada a um CSAT negativo, ajudando a identificar quais conteúdos estão afetando negativamente a experiência do cliente. 6. Como visualizar os CSAT gerais? Os CSAT são categorizados em: - Positivos ("goods" 4 e 5) - Negativos e neutros (1, 2 e 3) Os tickets de cada categoria podem ser analisados para entender se a Claudinha teve um desempenho abaixo do esperado ou se o cliente não ficou satisfeito com a resposta. 7. O que fazer após a análise do CSAT? Após essa análise, podemos auditar os tickets para identificar os principais motivos dos erros da Claudinha e atuar sobre eles. Essa auditoria será abordada no próximo passo da melhoria contínua da Claudinha. Auditoria e Qualidade da Claudia 1. O que podemos aprender a partir da auditoria dos tickets? A auditoria dos tickets de CSAT e outros tickets nos permite identificar erros e áreas de melhoria na Claudia. Com essa análise, conseguimos reduzir falhas e otimizar as respostas fornecidas pela IA. 2. Como visualizar a qualidade geral da Claudia? Na aba de qualidade geral do dashboard, é possível ver: - O percentual total de erros da Claudia - Classificação dos erros (Erro 1, 2 ou 3) - Análise das tags corretas e incorretas - Temas e tags que mais impactam negativamente Os links disponibilizados permitem acessar detalhamentos dos erros por tag selecionada. 3. Como identificar os conteúdos que geram mais erros? A seção "percentual de erro por conteúdo" do dashboard permite visualizar quais conteúdos estão mais propensos a gerar erros na Claudia. Essa informação é útil para priorizar correções. 4. O que significa a "quebra por mensagem enviada"? Essa seção detalha os erros cometidos pela Claudia na geração de mensagens. Para cada resposta, a Claudia recebe um conjunto de 15 a 20 conteúdos (TopK) e, com base neles, constrói a resposta. Os erros podem ocorrer de diferentes formas: - Seção correta fora do TopK: a resposta ideal não estava no conjunto recebido. - Escolha errada: a Claudia recebeu a seção correta, mas escolheu outra incorretamente. - Resposta incompleta: a Claudia utilizou a resposta certa, mas omitiu partes críticas. 5. Como analisar erros por seção utilizada? A tabela apresenta: - Ticket analisado - Seção usada na resposta - Seção correta que deveria ter sido usada - Descrição dos erros cometidos 6. O que os erros podem indicar? - Confusão entre seções similares: Seções com títulos parecidos podem dificultar a escolha correta da Claudia. - Solução: Revisar os títulos das seções seguindo as boas práticas de manutenção e criação de conteúdos disponível nesse link ou utilizar a funcionalidade Prompt Led Section disponível nesse link para especificar melhor o uso de cada seção. - Respostas incompletas: Quando a Claudia omite informações críticas. - Solução: Ajustar as seções ou usar Prompt Led Section para reforçar a importância do conteúdo completo. - Seções não aparecem no TopK: O conteúdo correto não está entre os 15 a 20 mais relevantes. - Solução: Ajustar os títulos para que apareçam melhor em determinadas buscas do cliente. 7. Como essas informações ajudam na melhoria da Claudia? Com a análise detalhada dos erros e dos conteúdos utilizados, é possível: - Melhorar a precisão das respostas - Reduzir erros de classificação - Garantir respostas mais completas - Ajustar títulos para melhorar a indexação e relevância - Usar a funcionalidade Prompt Led Section para aprimorar a escolha das seções corretas Dessa forma, conseguimos otimizar a performance da Claudia e aprimorar a experiência do cliente. Acesse aqui o mapa mental das boas práticas!

Última atualização em Aug 09, 2025