Principal Conversas e Dashboard | Monitorando a ClaudIA
👀

Conversas e Dashboard | Monitorando a ClaudIA

Faça auditorias para otimizar o conteúdo da ClaudIA e monitore todas suas conversas e dados gerados
Fabrício Rissetto
Por and 3 outros
7 artigos

Sessões utilizadas pela ClaudIA: o que são, por que importam e como auditar

Nessa FAQ e vídeo apresentamos em detalhe como funciona a lógica por trás da seleção de seções utilizadas pela ClaudIA e a funcionalidade de tagueamento (Tagger) ao encerrar um ticket. Também explicamos como auditar esse dado diretamente no Hub, para que você possa receber insights através do Dashboard da Claudia para melhorar o tagueamento. https://www.loom.com/share/f6601cbe38b6400da3830e8fd0d52230 Sessões utilizadas pela ClaudIA: o que são, por que importam e como auditar O que são “sessões utilizadas”? Toda vez que a ClaudIA responde a um cliente, ela consulta uma ou mais seções do seu conteúdo base (N1 ou N2) para construir a resposta. Essas seções são chamadas de sessões utilizadas. Ou seja, são os blocos de conhecimento que a IA usou para formular a resposta enviada ao cliente. 🎯 Por que isso é importante? Essa informação é fundamental para: 1. Entender como a ClaudIA está raciocinando em cada resposta. 2. Auditar se ela está de fato utilizando o conteúdo certo. 3. Treinar e melhorar o comportamento da IA, identificando quando sessões estão sendo usadas incorretamente. 4. Definir a tag da conversa: a sessão com maior peso influencia o algoritmo de tagueamento automático. 5. Detectar quando há transferência para N2, e se ela foi feita com base em conteúdo correto. O que foi lançado Agora, você pode: - Ver diretamente quais sessões foram utilizadas em cada resposta da ClaudIA. - Dar feedback positivo ou negativo sobre o uso dessas sessões. - Auditar a tag final da conversa com base nas sessões utilizadas. Como visualizar as sessões utilizadas 1. Acesse qualquer tíquete no Hub. 2. Encontre a resposta da ClaudIA. 3. Clique no ícone ℹ️ para abrir o detalhe da resposta. 4. Você verá: - O raciocínio da ClaudIA (termo consultado + intenção). - As sessões utilizadas para compor a resposta. - Um ícone identificando quais sessões foram usadas (ex: ✅ ou ícone destacado). - Se houver sessões N2, elas também aparecem com destaque. Exemplo prático Pergunta do cliente: “Vocês integram com o Zendesk e o Intercom?” Resposta da ClaudIA: “Sim! Temos integração nativa com o Intercom. No caso do Zendesk…” Sessões utilizadas: - N1 - Integrações Intercom - N2 - Zendesk Integração via API Resultado: - A ClaudIA usou conteúdo de duas sessões. - Como uma delas era N2, a conversa foi automaticamente escalada. - A tag da conversa ficou como: Interesse em contratação, pois era a sessão mais relevante. Como auditar sessões utilizadas 1. Ao revisar uma conversa, clique no ícone ℹ️ de qualquer resposta. 2. Veja quais sessões foram marcadas como utilizadas. 3. Avalie se realmente fazem sentido com base na resposta. 4. Clique em 👍 ou 👎 para dar seu feedback sobre o uso da sessão. Importante: Isso avalia apenas se a sessão marcada foi usada corretamente, não se a resposta foi boa ou ruim. 5. Caso a resposta esteja errada, siga com a auditoria normal no fim do tíquete. O que acontece com esse feedback? - Serve para melhorar o comportamento da ClaudIA, ajustando o uso das sessões. - É usado para calibrar o algoritmo de tagueamento automático. - Ajuda nosso time a entender se sessões N2 estão sendo usadas corretamente — o que afeta tanto a performance da IA quanto os critérios de escalada. Dicas rápidas - ⚠️ Às vezes, ClaudIA consulta uma sessão para confirmar algo, mesmo que a resposta não tenha trechos literais do conteúdo. Isso ainda conta como uso válido. - Se você não reconhece o conteúdo de uma sessão na resposta, marque 👎 e descreva brevemente por quê. - O feedback de sessão não substitui a auditoria da conversa. Ele complementa. O que influencia a tag da conversa? Ao fim do ticket, ClaudIA atribui uma tag baseada na sessão utilizada com maior score (relevância). Você pode revisar essa tag no processo de auditoria: 1. Vá até o final da conversa. 2. Revise se a tag atribuída corresponde ao conteúdo e intenção. 3. Caso queira alterar, selecione a tag correta e envie a auditoria. Onde tudo isso impacta? - Dashboards de temas atendidos - Indicadores de retenção e escalada - Performance da ClaudIA por sessão ou assunto - Qualidade das sugestões automáticas de melhoria - Faturamento (em alguns contratos baseados em sessões)

Última atualização em Aug 09, 2025

Filtros e sistema de Busca na Conversa

Filtros 1. O que é o filtro ID da sessão usada? Esse filtro permite que você busque conversas com base no ID da sessão (ou seja, qual conteúdo ou seção a Claudia utilizou na resposta). Para usar esse filtro, é preciso habilitá-lo nas configurações do Hub: vá em Configurações → Outras configurações → Mostrar filtro do ID da sessão. 2. Como funciona o filtro por Helpdesk ID? Esse filtro permite buscar conversas pelo identificador externo que o seu sistema de atendimento (como Zendesk, Freshchat etc.) atribui ao ticket. No caso de Freshchat, há uma particularidade: o ID que aparece na URL (o “internal ID”) pode ser diferente do ID usado no filtro da Claudia. Para fazer a busca correta, pode ser necessário converter o internal ID para o ID utilizado pelo filtro usando a API do Freshchat ou solicitar essa conversão via suporte. 3. Para que servem os filtros de Data inicial / Data final? Esses filtros limitam o período de tempo da análise, exibindo apenas conversas que foram encerradas dentro do intervalo definido. Eles são fundamentais para buscas temporais, comparações mensais, análises de tendência e auditorias específicas. 4. O que significa o filtro Tags? Permite filtrar apenas aquelas conversas que receberam determinadas etiquetas (tags) em seu fluxo ou no encerramento. Por exemplo: erro_login, cobrança, reclamação. Se nenhum filtro de tag for especificado (ou “Todas” estiver selecionado), todas as conversas serão exibidas independentemente de terem tag ou não. 5. Qual o propósito do filtro Auditoria? Esse filtro pode ser usado para segmentar entre conversas que já foram auditadas e aquelas que ainda não foram. Útil para equipes de qualidade, revisão ou controle, para focar apenas nas conversas que passaram por análise ou aquelas que precisam ser analisadas. 6. O que pode significar o filtro Identificador (Cliente / Agente / IA)? Esse campo provavelmente define quem iniciou a conversa: - Cliente — conversa iniciada pelo usuário final - Playground — conversas de teste criadas na tela Playground - Optimizer — conversas criadas em lote com base em histórico do sistema para avaliação. Geralmente feito antes de lançar novas operações Esse filtro ajuda a separar fluxos automatizados daqueles iniciados por humanos. 7. Para que serve o filtro Resolução (N1 / N2)? Embora não esteja documentado explicitamente, é razoável supor que esse filtro classifique o tipo de resolução da conversa: - N1 — conversas resolvidas pela IA (ClaudIA) - N2 — conversas que precisaram de intervenção humana (handover) Com isso, você pode medir a autonomia da Claudia versus casos que demandaram escalonamento. 8. O que significa Motivo da Resolução? Esse filtro lista as razões registradas ao encerrar uma conversa. Ela indica qual funcionalidade foi utilizada para finalizar em N1 ou para transferir para N2 em cada conversa. Para ter um parâmetro mais claro pode acessar nossa categoria de FAQ de "Encerramento de conversas" ou visualizar o "Resolution Reason" na nota interna de cada conversa. Isso ajuda você a entender por que as conversas foram finalizadas, além do status. 9. Para que serve o filtro Teste A/B? Esse filtro permite selecionar conversas pertencentes a um dos grupos de experimento (A ou B), caso você ou o time esteja testando diferentes versões de fluxo, prompt ou modelo de IA. É uma ferramenta útil quando se quer comparar desempenho entre variações. 10. O que significa Intenção / Tópicos? Esse filtro deve permitir selecionar conversas de acordo com o ÚLTIMO tópico ou intenção identificada pela Claudia. Principal caso de uso é filtrar casos em que: Claudia identificou o fechamento e precisou fechar OU "Venda do bot (Forward to Human Check e Forward to Human Multiprompt)" 11. O que pode ser o Gen CX Score? Esse campo representa uma pontuação de experiência ou sentimento gerado pela IA (algo como avaliação da conversa pelo cliente ou uma métrica interna). Se existir, permite filtrar conversas segundo a avaliação da IA (positiva, neutra, negativa). Ela serve para auxiliar a priorização de auditorias que estejam em risco de ser detratoras ou casos em que a IA não se comportou da maneira mais adequada. 12. Para que serve o filtro Apenas Eddie? Também é uma suposição razoável que esse filtro permita ver apenas as conversas respondidas pelo modelo “Eddie” — uma versão avançada ou específica da Claudia. Isso serviria para comparar a performance de Eddie vs as respostas padrão da IA.

Última atualização em Oct 06, 2025