Uma instrução nova corrige o tratamento de um pedido incompleto. Na demonstração seguinte, o agente parece melhor. Só depois a equipe percebe que ele passou a perguntar demais em pedidos simples e deixou de respeitar uma condição de encaminhamento. A mudança resolveu um exemplo, mas alterou outros comportamentos.
Uma avaliação de regressão verifica se capacidades já aceitas continuam funcionando. O objetivo não é congelar a conversa nem exigir frases idênticas. É preservar resultados, limites e propriedades relevantes enquanto o prompt, o modelo, as ferramentas e os documentos evoluem.
Transforme incidentes e dúvidas em casos avaliáveis
Cada caso precisa de entrada, contexto inicial e critério de sucesso. Registre também o que não pode acontecer: chamar uma ferramenta indevida, escolher registro de outra empresa ou afirmar conclusão sem confirmação. Uma coleção de perguntas e respostas bonitas não cobre essas consequências.
Inclua tarefas frequentes, raras e de maior impacto. Distribua exemplos de ambiguidade, dado ausente, indisponibilidade e correção pelo usuário. Preserve a origem do caso sem expor dados pessoais desnecessários. Quando o processo mudar, atualize o resultado esperado com aprovação do responsável, sem apagar o histórico.
Combine verificações conforme o tipo de resultado
A publicação da Anthropic sobre avaliações descreve verificadores por código, modelo e revisão humana. A escolha depende da propriedade avaliada; julgamentos automáticos subjetivos precisam de calibração.
Neste desenho, campos e permissões podem ter verificações determinísticas. Clareza e utilidade da pergunta podem exigir revisão por pessoas do processo. Evite depender apenas de outro modelo para decidir se a ação teve sucesso quando existe um estado verificável no sistema de teste.
Exemplo composto: uma regra que mudou a conversa
Uma equipe fictícia acrescenta uma instrução para confirmar a filial antes de registrar pedidos. Isso corrige casos ambíguos, mas aumenta perguntas quando a filial já foi escolhida explicitamente. O conjunto de avaliação contém ambas as situações, além de um usuário sem acesso à filial mencionada.
A comparação mostra onde a nova versão melhorou e onde piorou. A equipe ajusta a condição de esclarecimento e repete os casos afetados, mantendo uma amostra reservada. A decisão de liberar considera o conjunto de comportamentos e o impacto dos erros, não uma única pontuação agregada.
Compare versões completas e ambientes equivalentes
Registre modelo, instruções, contratos das ferramentas, documentos, configurações e dados iniciais. Se esses componentes mudam ao mesmo tempo, fica difícil atribuir a diferença ao prompt. Use um ambiente isolado e reinicie o estado entre casos quando uma execução puder influenciar a seguinte.
Considere a variabilidade das respostas. Repita situações críticas quando houver comportamento não determinístico e examine a distribuição dos resultados. Uma execução bem-sucedida não estabelece confiabilidade. Guarde evidências suficientes para reproduzir a falha, evitando logs excessivos com dados sensíveis sem finalidade.
Checklist antes de liberar uma mudança
- Versione os componentes que definem o comportamento do agente.
- Inclua resultados corretos, recusas e encaminhamentos esperados.
- Separe critérios objetivos e avaliação de qualidade da interação.
- Defina falhas bloqueantes por consequência.
- Compare custo e tempo junto com qualidade e autorizações.
Depois da liberação, acompanhe amostras reais e sinais de divergência do ambiente de teste. Mudanças no cadastro, no vocabulário e nas regras podem reduzir a cobertura do conjunto. A coleção deve crescer a partir de ocorrências úteis, não apenas acumular exemplos quase iguais para aumentar o número de testes.
Como a Uiless ajuda
Ferramentas por contrato e evidência de execução oferecem pontos de verificação para fluxos construídos com a Uiless. O conjunto de avaliação e a infraestrutura de teste precisam ser mantidos pela equipe responsável, alinhados às integrações e às consequências de cada rotina.
Comece pelo teste sem alterar a operação e reutilize os critérios ao trocar o modelo de IA. O mesmo pedido deve continuar respeitando as regras de negócio mesmo quando a redação da resposta mudar.
