O que são Test Cases?
Casos de Teste (ou Test Cases) são uma funcionalidade que permite testar mudanças na ClaudIA de forma rápida, segura e replicável.
Eles simulam atendimentos reais com base em tickets históricos e verificam se a ClaudIA responde como esperado após mudanças em sessões ou prompt.
Para que servem?
Você pode usar Test Cases para:
-
Corrigir comportamentos inadequados (ex: respostas incompletas);
-
Garantir que mudanças em sessões não quebrem outras respostas;
-
Medir o impacto de um ajuste antes de colocá-lo em produção;
-
Testar novos fluxos, respostas ou instruções com mais rapidez.
Exemplo de uso
Problema:
ClaudIA está usando a sessão certa, mas omitindo parte do conteúdo na resposta ao cliente.
Solução com Test Case:
-
Marcar os tickets com esse problema.
-
Criar um Test Case com esses tickets.
-
Fazer ajustes nas sessões (ex: instrução para sempre enviar o conteúdo completo).
-
Rodar o Test Case e verificar se o problema foi resolvido.
-
Garantir que nenhum outro comportamento desejado foi afetado.
Como criar um Test Case (passo a passo)
-
Acesse um ticket com resposta inadequada.
-
Clique no ícone 🧪 ao lado da mensagem da ClaudIA.
-
Clique em “Novo” para criar um novo Test Case.
- Dê um nome descritivo (ex: “Resposta Incompleta”).
- Configure:
-
Checkbox “Reutilizar seções retornadas”:
-
Marque se quiser usar as mesmas seções da época do ticket original.
-
Desmarque se quiser testar com novas seções ou alterações recentes.
-
-
Número de execuções por ticket (ex: 5x) para garantir consistência.
5. Escolha o tipo de verificação:
-
LLM: Usa um prompt avaliador da resposta.
-
Embeddings: Compara a resposta original com a atual por distância vetorial.
-
Regex: Verifica se certas palavras devem ou não aparecer. Aqui tem um link explicando sobre Regex
Tipos de teste disponíveis
LLM
-
Uso principal: Avaliar se a nova resposta cumpre regras definidas via prompt
-
Exemplo: “A resposta contém 100% do texto da sessão?”
Embeddings
-
Uso principal: Comparar similaridade entre a resposta original e a nova
-
Exemplo: Distância vetorial menor que 0.2
Regex
-
Uso principal: Garantir que a ClaudIA usa (ou evita) certas palavras
-
Exemplo: não pode conter “desculpe”
Como adicionar mais tickets a um Test Case
-
Acesse o segundo (ou terceiro, quarto…) ticket com o mesmo problema.
-
Clique no ícone 🧪.
-
Vá para a aba “Existente” e selecione o Test Case já criado.
-
Salve.
Como interpretar os resultados
Após rodar o Test Case:
-
✅ Passou: A resposta da ClaudIA está conforme a regra.
-
❌ Falhou: A resposta ainda está incorreta ou incompleta.
Você pode ver:
-
Quais execuções passaram ou falharam.
-
Histórico completo do desempenho do Test Case.
Garantindo que outras respostas não foram afetadas
Depois de rodar um teste específico, clique em “Rodar todos” no topo da página de Test Cases.
Isso executa todos os casos existentes e verifica se nenhuma mudança que você fez quebrou outros fluxos.
Como agendar execuções periódicas
Você pode agendar seus Test Cases para rodar automaticamente:
-
A cada 6 horas
-
Diariamente
-
Semanalmente
Isso ajuda a detectar quebras causadas por mudanças não previstas.
E a função de Teste A/B?
Se você quer testar sem impactar a produção, use o modo de Teste A/B.
Nele, você pode rodar Test Cases com uma nova versão do prompt ou sessão sem alterar o comportamento da ClaudIA para os clientes finais.
Para habilitar, é só entrar em contato com o time da Cloud Humans.
TL;DR (resumo final)
-
Test Cases são como testes automatizados para garantir que a ClaudIA está respondendo certo.
-
Eles ajudam a corrigir problemas mais rápido e com segurança.
-
Você pode criar, editar, reexecutar e agendar testes com base em tickets reais.
-
É possível testar diferentes tipos de validação (LLM, regex, embeddings).
-
Use o botão “Rodar todos” para garantir que nada foi quebrado após ajustes.