Quando usar
- Um Agente Especialista novo vai entrar no ar de forma gradual (por exemplo, "ativado em 30%")
- Você quer comparar o resultado de conversas com e sem um Agente Especialista específico
- Você quer auditar o desempenho de um Agente Especialista
- O Replay de uma conversa não funcionou e você quer entender por quê
Sobre este artigo
Um Agente Especialista recém-publicado normalmente não entra no ar para 100% dos atendimentos de uma vez — ele é ativado de forma gradual, como um teste A/B, para permitir comparar o resultado antes de expandir para todos os atendimentos.
Como funciona
Como a porcentagem de ativação funciona
Quando um especialista está em ativação gradual (ex.: 30%), cada nova conversa é sorteada, uma única vez, no momento em que ela começa, para cair no grupo com o especialista ativo ou no grupo controle (sem o especialista). Esse sorteio vale para a conversa inteira, do início ao fim.
:::info O sorteio é por conversa, não por cliente. Isso significa que o mesmo cliente pode cair no grupo com o especialista num atendimento e no grupo controle em outro atendimento diferente — não existe uma regra que sempre coloque a mesma pessoa no mesmo grupo. :::
Como comparar o grupo com o especialista e o grupo controle
A comparação é feita olhando as métricas gerais do teste A/B do projeto (por exemplo, retenção) separadamente para o grupo com o especialista ativo e para o grupo controle, no mesmo período. Isso mostra se o especialista está de fato melhorando o resultado antes de aumentar a porcentagem de ativação.
Auditando o desempenho de um especialista
Hoje a auditoria é feita conversa a conversa: a tela de auditoria/tracing de cada atendimento mostra se o Supervisor acionou um Agente Especialista naquela conversa e o raciocínio por trás da decisão. Para avaliar um especialista, o caminho recomendado é revisar uma amostra dos atendimentos em que ele foi acionado no período — não existe hoje um relatório agregado pronto filtrando só por um especialista.
Por que o Replay às vezes não funciona
O Replay permite reprocessar a resposta de uma conversa antiga com uma configuração nova, para comparar o resultado. Essa funcionalidade não está disponível quando a resposta original envolveu um Agente Especialista (ou seja, quando o Supervisor delegou o atendimento a um especialista naquela mensagem). O Replay hoje sabe reproduzir a resposta de um único agente — ele ainda não reproduz o fluxo de delegação do Supervisor para um especialista.
:::warning Se o Replay falhar com esse motivo, isso não é um erro: é uma limitação conhecida para conversas atendidas por um Agente Especialista. A conversa continua disponível normalmente na auditoria/tracing — só o Replay em si fica indisponível para esse caso. :::
Observações
- Para o passo a passo de criar, vincular e publicar um Agente Especialista, veja "Como criar, editar e publicar um Agente Especialista".
- Para entender como o Supervisor decide acionar um especialista, veja "O que são Agentes Especialistas e como o Supervisor decide quem responde".