Um dos controles que temos para identificar que a ClaudIA não está conseguindo encontrar conteúdos suficientes para responder ao usuário é o "contador de confiança baixa".
No Hub, quando a ClaudIA não econtra conteúdos acima da confiança estipulada (mais a final explicamos), aparece uma indicação do contador 'Count limit' em amarelo abaixo da resposta da ClaudIA, conforme mostrado a seguir:
Após atingir o limite configurado o atendimento é transferido automaticamente para um humano utilizando a mensagem configurada no campo "Forward To Human Message" na tela de configurações do Hub.
A configuração dos contadores de limite também ser ajustadas na mesma tela:
-
"Limit" é o campo que define a quantidade máxima de buscas de baixa confiança. PS: recomendamos no mínimo 3, já que nem toda busca de conteúdo com baixa confiança necessariamente gera uma resposta ruim. As vezes a Claudia clarifica e isso resolve, as vezes a mensagem do usuário não necessita de conteúdo para ser respondida (exemplo: "Bom dia!")
-
"Low Confidence Threshold" é a distância mínima esperada para ser considerado um conteúdo relevante (alta confiança).
Toda busca de conteúdo no Hub apresenta um score que você pode acompanhar diretamente sempre que vê as sessões retornadas pela busca da ClaudIA, como na tela de auditorias de Conversas:
Funcionalidade adicional
É possível configurar a ClaudIA para ignorar a contagem de baixa confiança na primeira resposta de um ticket, considerando que, muitas vezes, a primeira interação do usuário é apenas uma saudação. Isso evita que o contador seja incrementado desnecessariamente. No entanto, se a primeira mensagem já contiver uma dúvida e a ClaudIA fornecer uma resposta de baixa confiança, essa interação não será contabilizada. As demais interações no ticket seguem o fluxo de contabilização de confiança normalmente.
Atualmente, essa configuração não está disponível no Hub. Para ativá-la, é necessário solicitar a um Clouder que ajuste a opção ignoreConfidenceCountOnFirstMessage para true.