Principal Conversas e Dashboard | Monitorando a ClaudIA
👀

Conversas e Dashboard | Monitorando a ClaudIA

Faça auditorias para otimizar o conteúdo da ClaudIA e monitore todas suas conversas e dados gerados
Fabrício Rissetto
Por Vany and 4 outros
8 artigos

Sessões utilizadas pela ClaudIA: o que são, por que importam e como auditar

Nessa FAQ e vídeo apresentamos em detalhe como funciona a lógica por trás da seleção de seções utilizadas pela ClaudIA e a funcionalidade de tagueamento (Tagger) ao encerrar um ticket. Também explicamos como auditar esse dado diretamente no Hub, para que você possa receber insights através do Dashboard da Claudia para melhorar o tagueamento. https://www.loom.com/share/f6601cbe38b6400da3830e8fd0d52230 Sessões utilizadas pela ClaudIA: o que são, por que importam e como auditar O que são “sessões utilizadas”? Toda vez que a ClaudIA responde a um cliente, ela consulta uma ou mais seções do seu conteúdo base (N1 ou N2) para construir a resposta. Essas seções são chamadas de sessões utilizadas. Ou seja, são os blocos de conhecimento que a IA usou para formular a resposta enviada ao cliente. 🎯 Por que isso é importante? Essa informação é fundamental para: 1. Entender como a ClaudIA está raciocinando em cada resposta. 2. Auditar se ela está de fato utilizando o conteúdo certo. 3. Treinar e melhorar o comportamento da IA, identificando quando sessões estão sendo usadas incorretamente. 4. Definir a tag da conversa: a sessão com maior peso influencia o algoritmo de tagueamento automático. 5. Detectar quando há transferência para N2, e se ela foi feita com base em conteúdo correto. O que foi lançado Agora, você pode: - Ver diretamente quais sessões foram utilizadas em cada resposta da ClaudIA. - Dar feedback positivo ou negativo sobre o uso dessas sessões. - Auditar a tag final da conversa com base nas sessões utilizadas. Como visualizar as sessões utilizadas 1. Acesse qualquer tíquete no Hub. 2. Encontre a resposta da ClaudIA. 3. Clique no ícone ℹ️ para abrir o detalhe da resposta. 4. Você verá: - O raciocínio da ClaudIA (termo consultado + intenção). - As sessões utilizadas para compor a resposta. - Um ícone identificando quais sessões foram usadas (ex: ✅ ou ícone destacado). - Se houver sessões N2, elas também aparecem com destaque. Exemplo prático Pergunta do cliente: “Vocês integram com o Zendesk e o Intercom?” Resposta da ClaudIA: “Sim! Temos integração nativa com o Intercom. No caso do Zendesk…” Sessões utilizadas: - N1 - Integrações Intercom - N2 - Zendesk Integração via API Resultado: - A ClaudIA usou conteúdo de duas sessões. - Como uma delas era N2, a conversa foi automaticamente escalada. - A tag da conversa ficou como: Interesse em contratação, pois era a sessão mais relevante. Como auditar sessões utilizadas 1. Ao revisar uma conversa, clique no ícone ℹ️ de qualquer resposta. 2. Veja quais sessões foram marcadas como utilizadas. 3. Avalie se realmente fazem sentido com base na resposta. 4. Clique em 👍 ou 👎 para dar seu feedback sobre o uso da sessão. Importante: Isso avalia apenas se a sessão marcada foi usada corretamente, não se a resposta foi boa ou ruim. 5. Caso a resposta esteja errada, siga com a auditoria normal no fim do tíquete. O que acontece com esse feedback? - Serve para melhorar o comportamento da ClaudIA, ajustando o uso das sessões. - É usado para calibrar o algoritmo de tagueamento automático. - Ajuda nosso time a entender se sessões N2 estão sendo usadas corretamente — o que afeta tanto a performance da IA quanto os critérios de escalada. Dicas rápidas - ⚠️ Às vezes, ClaudIA consulta uma sessão para confirmar algo, mesmo que a resposta não tenha trechos literais do conteúdo. Isso ainda conta como uso válido. - Se você não reconhece o conteúdo de uma sessão na resposta, marque 👎 e descreva brevemente por quê. - O feedback de sessão não substitui a auditoria da conversa. Ele complementa. O que influencia a tag da conversa? Ao fim do ticket, ClaudIA atribui uma tag baseada na sessão utilizada com maior score (relevância). Você pode revisar essa tag no processo de auditoria: 1. Vá até o final da conversa. 2. Revise se a tag atribuída corresponde ao conteúdo e intenção. 3. Caso queira alterar, selecione a tag correta e envie a auditoria. Onde tudo isso impacta? - Dashboards de temas atendidos - Indicadores de retenção e escalada - Performance da ClaudIA por sessão ou assunto - Qualidade das sugestões automáticas de melhoria - Faturamento (em alguns contratos baseados em sessões)

Última atualização em Aug 09, 2025

📊 Visão Completa da Seção de Retenção no Dashboard Cloud

Explicação de cada aba, gráfico e tabela, além de observações importantes sobre como usar e interpretar os dados. 🧭 Estrutura Geral da Seção de Retenção 📌 Importante: - Os filtros de data de início e fim não se aplicam se aplicam apenas à aba de métricas gerais. Os dados são organizados em semanas fixas e completas, para garantir performance e padronização das análises. - Todos os percentuais apresentados nas tabelas são relativos ao total de tickets daquela semana. Por exemplo, se um motivo de escalonamento aparece com 2%, isso significa que 2% de todos os tickets daquela semana tiveram essa causa. 🧩 Aba 1 – Métricas de Retenção - Geral Essa é a aba gerencial, usada para acompanhar evolução, metas e ofensores de forma consolidada. 🔶 Gráfico: “Total de Tickets × % Retidos por Semana” - Barras laranjas: total de tickets recebidos por semana. - Linha laranja: percentual de tickets retidos pela ClaudIA (sem escalonamento). - Permite entender tendências de volume e eficácia da IA. 🔶 Indicadores laterais: - Meta de retenção (fixada na meta atual da operação) - Diferença da última semana vs meta - Retenção da última semana - Retenção máxima nas últimas 8 semanas - Média de retenção nas últimas 8 semanas 🔶 Tabela: “Percentual de Tickets por Motivo de N2” - Exibe os principais motivos de escalonamento para N2, semana a semana. - Destaque para o ofensor principal das últimas 4 semanas, com valor médio. - Permite identificar padrões ou motivos persistentes, como uso de conteúdo N2 ou transferência pela Eddie. 🛠 Abas Táticas / Operacionais Estas abas têm como objetivo apoiar ajustes finos, revisão de conteúdos e análise de casos concretos. A estrutura é similar em todas elas: 📁 Aba: Conteúdos N2 Usados 🔶 Tabela: “Potencial de Ganho de Retenção por Conteúdo – Últimas 8 Semanas” - Mostra os artigos N2 mais recorrentes em tickets escalados. - Colunas semanais indicam o percentual de contribuição de cada conteúdo em relação ao total de tickets atendidos pela IA. - Use para priorizar ajustes e migração de conteúdos para N1 ou interativos (Eddie). 🔶 Tabela: “Potencial de Ganho de Retenção por Tags – Últimas 8 Semanas” - Mostra as tags mais recorrentes em tickets escalados. - Colunas semanais indicam o percentual de contribuição de cada conteúdo em relação ao total de tickets atendidos pela IA. - Use para priorizar ajustes relacionados aos temas/tags. 🔶 Gráfico: “Top Conteúdos e % Potencial de Retenção – últimos 14 dias” - Mostra o percentual acumulado de retenção que seria possível ao otimizar os Top N conteúdos. - Exemplo: otimizar os 10 principais conteúdos daria um ganho de ~7,7% na retenção. - Mostra claramente o impacto de priorizar ajustes nos artigos certos. 🔶 Tabela: “Erros de Seleção de Seções – Usada vs Correta” - Mostra quando a Claudia usou um conteúdo incorreto, com base em feedback de atendimento. - Exibe qual era a seção usada e qual deveria ter sido usada (N1 ou INTERACTIVE). - Ajuda a identificar problemas de uso de conteúdo. 📁 Aba: Transferido por Eddie (by design) 🔶 Tabela: “Potencial de Retenção (%) por Fluxo Eddie” - Indica quais fluxos do Eddie mais aparecem nos escalonamentos. - Valores por semana, permitindo ver tendências. - Usado para priorizar ajustes de conteúdo ou estrutura dos fluxos. 🔶 Tabela: “Tickets Escalados por Fluxo” - Lista os tickets reais, com motivo de transferência e link do fluxo. - Serve para validação e revisão de contexto. 📁 Aba: Cliente Pediu Humano 🔶 Gráfico: “Interações de Agente Antes do Handover” - Mostra quantas mensagens o cliente trocou com a ClaudIA antes de pedir atendimento humano. - Se a maioria dos casos estiver na faixa de 3 a 5 interações, pode indicar falta de engajamento inicial ou conteúdo pouco eficaz. 🔶 Tabela: “Tickets por faixa de interação” - Lista os tickets correspondentes à faixa de interação do gráfico. 🔶 Gráfico: “Top 5 temas que o cliente pede humano” - Mostra os temas mais comuns onde o cliente pede humano. - Coluna: volume absoluto de tickets | Linha: % do total de pedidos. - Ajuda a identificar temas com baixa performance percebida pelo cliente. 🔶 Tabela: “Conteúdo usado antes do cliente pedir humano” - Indica quais conteúdos foram exibidos pela ClaudIA antes do cliente solicitar atendimento. - Útil para entender se o conteúdo contribuiu para frustração ou confusão. 📁 Aba: Transferido por falha na chamada do Eddie 🔶 Tabela: “% de Erros de Chamada do Eddie por Fluxo” - Mostra os fluxos que falharam na chamada técnica, gerando escalonamento. - Usado para identificar falhas de infraestrutura ou bugs. 🔶 Tabela: “Tickets com erro de chamada por fluxo” - Lista os tickets e fluxos com erro. - Ideal para validação com o time técnico e correções específicas. 📁 Aba: Transferido por repetição do Eddie 🔶 Tabela: “% de Repetição de Fluxos do Eddie por Período” - Indica quais fluxos chegaram ao limite de tentativas de execução, sem resolver. - Mostra problemas de efetividade de conteúdo ou necessidade de ajuste no número de tentativas. 🧠 Boas práticas de análise - Use a aba geral para acompanhar evolução, metas e ofensores principais. - Use as abas táticas para explorar causas específicas e priorizar ajustes de conteúdo, fluxo ou modelo de resposta. - Consulte os links de tickets sempre que precisar validar com exemplo real. Se tiver dúvidas sobre como interpretar algum dado ou quiser sugerir melhorias no dashboard, fale com o nosso time! Estamos aqui para ajudar 🧡

Última atualização em Aug 13, 2025