Conhecendo a ClaudIA e o processo de auditorias
1) Como funciona a ClaudIA
ClaudIA é a IA generativa da Cloud Humans, projetada para oferecer atendimento mais humanizado e ágil;
Utiliza Modelos de Linguagem de Grande Escala (LLMs), treinados com milhões de textos da internet, livros e artigos;
Seu uso é personalizado e restrito à empresa específica que está atendendo;
Tem liberdade para adaptar conteúdos, desde que respeite o tom de voz e as políticas da empresa;
Ao receber uma solicitação, ClaudIA analisa a dúvida do cliente e consulta sua base de dados, chamada IDS;
Realiza uma análise semântica e ranqueia os melhores conteúdos para usar no atendimento.
****Para verificar a base de conteúdo que a IA está utilizando é necessário acessar o Hub da Cloud Humans através desse
link aqui (caso ainda não possua acesso basta sinalizar no canal principal do projeto).
Após acessar, clique em Conteúdos no menu lateral, como indicado na imagem abaixo:
Dessa forma a tela de conteúdos será aberta e será possível realizar tanto a busca exata da informação como a busca
semântica - simulando a forma como o cliente pode trazer sua dúvida. Os conteúdos com maior probabilidade de uma
resposta correta retornarão no topo.
Para testar um atendimento do início ao fim é possível utilizar a opção Playground, também disponível no Hub pelo menu
lateral.
2) Erros da ClaudIA durante os atendimentos
É importante destacar que por mais completo seja o conteúdo disponível para a IA realizar os atendimentos, ela sempre
terá uma % de erro associada ao seu desempenho. Isso acontece por vários motivos, dentre eles:
- Pergunta ambígua do usuário: muitas vezes o cliente pode trazer sua dúvida de forma não muito clara, fazendo com que
a ClaudIA utilize um conteúdo incorreto ou escale por falta de informações;
- Conteúdo desatualizado: aqui se aplicam casos de mudanças na política interna, links ou processos da empresa sem
atualizar o conteúdo no Hub;
- Falta de conteúdo: lançamentos de novos produtos, promoções e até bugs ou lentidão devem ser inseridos como conteúdo
para a ClaudIA ter acesso à nova informação;
- Falta de compreensão real: por mais humanizada que a ClaudIA seja, seu funcionamento é feito a partir da
identificação de padrões estatísticos entre palavras e ideias, o que pode estar sujeito à erros
Aqui na Cloud Humans consideramos que a ClaudIA pode ter 3 tipos de erros, que podem ser classificados durante o
processo de auditoria:
- Erros do tipo 1 (leves): informação correta, mas faltou algum detalhe que deixaria a experiência mais completa;
- Erros do tipo 2 (moderados): informação parcialmente correta, ClaudIA omitiu ou incluiu algum conteúdo sem
necessidade;
- Erros do tipo 3 (graves): informação totalmente incorreta, casos n2 que ClaudIA não transferiu, etc;
O que observamos na média de projetos com boa gestão da IA é que a taxa de erros gerais (somando os 3) não passa de 20%,
sendo no máximo 5% de erros do tipo 3. Esse pode ser um bom parâmetro para quem está iniciando o processo de auditorias
e precisa de uma meta inicial.
Com relação à quantidade de tickets que precisam ser auditados isso vai depender da volumetria do projeto em questão:
Aqui trazemos uma sugestão pensando no mês, considerando um grau de confiança de 99% e uma taxa de erro de 5%:
- De 20k à 40k tickets no mês: 1000 auditorias mensais;
- De 10k à 20k tickets no mês: 800 auditorias mensais;
- De 5k à 10k tickets no mês: 600 auditorias mensais;
- Até 5k tickets no mês: 400 auditorias mensais;
3) Iniciando as auditorias
Uma parte essencial da melhoria contínua da ClaudIA é feita através das auditorias dos tickets respondidos. Essa etapa é
fundamental para identificar a falta de conteúdo na base e corrigir possíveis respostas e/ou transferências incorretas
durante o atendimento.
Para isso acesse nosso Hub através desse link aqui (caso ainda não possua acesso basta sinalizar no canal principal do
projeto).
Obs: Caso esteja na etapa de auditoria de tickets falsos, não esqueça de retirar o filtro Identificador: Cliente,
indicado na imagem abaixo:
Os tickets fechados mais recentemente estão no topo. Recomendamos sempre iniciar as auditorias por eles, dado que trazem
uma visão mais atual da qualidade do atendimento da ClaudIA.
Filtros também podem ser adicionados para para auditar uma amostra específica (ex: por tag), porém, caso esteja
iniciando seu processo de qualidade da ClaudIA, recomendamos evitar essa segmentação e auditar tickets de forma
aleatória, contemplando tanto casos n1, como n2.
Para iniciar a auditoria basta clicar no ícone da coluna Ação, como ilustrado na imagem abaixo:
Ao abrir o ticket você encontrará algumas informações, como:
- Projeto: nome do projeto, caso sua empresa tenha mais de uma ClaudIA, a sinalização é feita aqui;
- ID Helpdesk: é o ID do ticket no seu Helpdesk, caso queira verificar o atendimento internamente;
- ID Cloudchat: é o ID no ticket dentro do Hub, é o mesmo presente na URL do ticket aberto;
- Criado em: Data e hora do início do atendimento;
- Resolução: N2 são todos os casos que a ClaudIA finalizou o atendimento transferindo para um humano. N1 são todos os
casos que a ClaudIA finalizou o atendimento sozinha.
- TAG: tag aplicada pela ClaudIA no final do atendimento.
- Número de interações: Soma das mensagens enviadas pelo cliente e pela ClaudIA
- Teste A/B: Caso exista um teste de performance acontecendo, ele será apontado aqui.
Abaixo dessas informações estarão as interações ocorridas durante o atendimento entre o cliente e a ClaudIA. Para
verificar qual o racional utilizado pela IA e a lista de conteúdos que retornaram em sua busca você pode clicar no ícone
i ao lado das mensagens:
Dessa forma é possível analisar o que levou a ClaudIA a utilizar determinado conteúdo e realizar os ajustes necessários,
caso a resposta esteja incorreta ou não seja aplicável para o cenário em questão:
Para ajustar a resposta da ClaudIA é necessário clicar na opção de thumbsdown e indicar o problema na resposta (esse
dado refletirá em seu dashboard de métricas, também disponível no Hub):
Após isso, algum ajuste precisa ser feito para que no próximo atendimento a ClaudIA atenda como esperado. Veja exemplos
de possíveis ajustes:
- Deveria ter utilizado outra seção para responder:
Caso: Pergunta do cliente estava clara e ClaudIA fez uma seleção errada do conteúdo;
Correção: Mudança no título para tornar a resposta mais relevante, para isso utilize o lápis ao lado da seção. Após
isso indique que aquela seção é a correta e clique em Enviar para salvar seus ajustes e suba a tela para concluir a
auditoria.
- A resposta estava incompleta:
Caso: Claudia omitiu parte do conteúdo da resposta;
Correção: Podemos indicar por [] no Título para que ela nunca omita informações nesse conteúdo específico.
- Precisava ter clarificado antes de responder:
Caso: Pergunta do cliente estava ambígua e ClaudIA não fez uma triagem antes de fornecer a resposta;
Correção: Adicionar conteúdo pedindo quais detalhes gostaria que o cliente informasse.
- Alucinação:
Caso: ClaudIA saiu totalmente do conteúdo, inventou informações, etc;
Correção: Reporte no canal oficial da Cloud Humans para apoio na análise.
- Deveria escalar por falta de conteúdo:
Caso: ClaudIA não tinha informação e reteve o cliente;
Correção: Nessa situação o mais indicado é incluir um novo conteúdo n2 para que a transferência ocorra e de forma
mais rápida no próximo atendimento. Para isso clique em Nenhuma das opções para criar novo conteúdo.
- Problema no conteúdo da IDS:
Caso: ClaudIA escolheu conteúdo certo, mas ele estava desatualizado;
Correção: Nessa situação o mais indicado é incluir um novo conteúdo n2 para que a transferência ocorra e de
forma mais rápida no próximo atendimento. Para isso clique em Nenhuma das opções para criar novo conteúdo.
Extra: ClaudIA não ativou Eddie: Caso um fluxo esteja publicado no Eddie, mas por algum motivo essa seção não esteja
sendo ativada vale conferir o título da seção e adaptar as palavras chaves para o conteúdo ganhar maior relevância e
prioridade na escolha da ClaudIA. Caso queira saber mais sobre, recomendamos esse artigo sobre o funcionamento entre
ClaudIA e Eddie.
Obs: caso não tenha certeza de qual ajuste realizar ou seja um caso de alucinação grave, peça apoio por meio do
canal oficial do projeto para que um de nossos especialistas ajude nas mudanças necessárias.
4) Motivos de transferência da ClaudIA
Existem alguns gatilhos que podem fazer com que a ClaudIA transfira um atendimento. Conhecer cada um deles e entender
qual está sendo o mais ofensor na retenção dos tickets ajuda na estratégia para aumento de retenção da IA.
O motivo de transferência aparecerá sempre na nota interna, ao final do atendimento, como mostra o exemplo abaixo:
Seguem os motivos de transferência da ClaudIA e explicação:
- Claudia usou conteúdo N2: dentre os conteúdos que voltaram para a Claudia responder, ela escolheu utilizar um
conteúdo N2 para responder o cliente;
- Claudia detectou ação de transferência: Cliente foi transferido após Claudia enviar alguma mensagem indicando que
iria transferir o atendimento para um agente/suporte;
- Cliente Pediu Humano: Cliente insistiu em falar com humano e a Claudia escalou
- Claudia pediu detalhes e não entendeu a solicitação do cliente: Claudia fez perguntas de clarificação para o cliente
até atingir o limite dessas perguntas - aponta necessidade de ajuste no conteúdo
- Claudia não sentiu confiança na resposta: Claudia respondeu sem confiança por 2 ou 3 vezes seguidas - aponta
necessidade de ajuste no conteúdo
- Claudia não resolveu o problema do cliente: Após Claudia perguntar se pode auxiliar em algo mais, o cliente ainda
permaneceu com dúvidas sobre o mesmo problema.
- Interação superior ao limite de mensagens: A conversa entre o cliente e a Claudia extrapolou o número máximo de
mensagens permitido
- Repetição do mesmo fluxo do Eddie: Para garantir que o cliente não fique entrando no mesmo Eddie diversas vezes, ele
é escalado antes do fluxo ser acionado pela segunda vez
- Eddie Transferiu: Cliente foi transferido dentro de um fluxo dentro do Eddie
- Erro na chamada do Eddie: Houve algum erro no Eddie durante a conversa
- Escalou por receber anexo: Claudia escalou o cliente após ele enviar algum anexo (imagem, pdf)
- Escalado de maneira forçada: Agente retirou o ticket da Claudia
- Escalou fora do horário de atendimento humano: Claudia escalou porque não havia atendimento humano disponível (Human
Office Hours)
- Claudia ficou mais de 10 minutos sem responder (timeout): Claudia escalou após demorar mais de 10 minutos para
responder à última mensagem do cliente
