Galileo e Maxim AI: identificar o passo a corrigir nos testes de atendimento de vários turnos
Quando faltam casos extremos entre turnos, avalie primeiro a simulação de utilizadores do Maxim. Quando é preciso diagnosticar escolhas de ferramentas e falhas de execução em conversas existentes, avalie primeiro o Galileo. Separe o fim da conversa, o sucesso do negócio e a pontuação do modelo, e calcule o custo do percurso completo.
Um agente de atendimento confirma primeiro o pedido. Depois, o utilizador muda de ideia e pede uma troca, enquanto uma ferramenta devolve um erro de tempo limite da API de reembolso. Mesmo uma resposta final educada pode esconder perda de estado, um envio duplicado ou uma promessa incorreta. Ao escolher uma plataforma de avaliação, o essencial é saber se consegue reconstruir esse percurso de vários turnos e transformar a falha numa correção verificável na próxima execução.
O Galileo é mais indicado para equipas que já dispõem de conversas reais e precisam de localizar problemas nas chamadas de ferramentas e configurar avaliações em produção. O Maxim AI é mais indicado para equipas com poucos casos extremos que querem que um utilizador simulado continue a fazer perguntas. Ambos avaliam agentes; a diferença está na parte do trabalho que precisa de ser preenchida primeiro. Esta análise baseia-se em documentação oficial. Os cenários e números de aceitação são hipotéticos; nenhum dos produtos foi testado para este artigo.
Decidir entre observar conversas e gerar novos percursos
A estrutura de sessões do Galileo agrupa traces relacionados numa session e permite examinar os spans das chamadas de ferramentas, incluindo entradas e saídas. Se a equipa de atendimento já acumulou conversas com falhas, isso pode ajudar os engenheiros a identificar em que turno o utilizador mudou de ideia e se as chamadas seguintes ainda usaram o pedido ou a intenção anteriores. A instrumentação deve associar corretamente os registos da mesma conversa. Só a resposta final não explica o estado intermédio.
A simulação do Maxim permite configurar cenários, perfis de utilizador e um máximo de turnos, com a IA a gerar as entradas seguintes do utilizador. As simulações em lote guardam cenários e passos esperados num conjunto de dados e executam-nos contra o endpoint HTTP do agente. Isso permite testar antecipadamente percursos como recusar inicialmente o número do pedido e fornecê-lo depois, ou passar de um reembolso para uma troca. Utilizadores simulados não são clientes reais, e a taxa de aprovação da simulação não é a taxa de sucesso em produção.
Isto não significa que o Galileo não tenha experiências ou dados sintéticos. A sua documentação de conjuntos de dados suporta entradas de experiências, saídas esperadas e exemplos sintéticos. Mas gerar linhas de teste não equivale a um utilizador fazer perguntas sucessivas. A documentação do Maxim verificada aqui descreve de forma mais concreta esse comportamento e as condições de paragem. Uma equipa com um simulador próprio não precisa de migrar o sistema de avaliação apenas para acrescentar outra interface.
Validar separadamente a escolha da ferramenta, a execução e o fim da conversa
Os testes de ferramentas do Maxim distinguem APIs ou código executáveis de schemas usados apenas para testar a escolha, e permitem editar manualmente as respostas das ferramentas no Playground. Isso permite preparar respostas de sucesso, tempo limite e recusa pelas regras do negócio, mas não permite concluir que a plataforma substitui automaticamente o backend real. Nos testes em lote, a equipa deve continuar a fixar as respostas através de endpoints de sandbox ou de uma camada adaptadora de teste, impedindo que reembolsos simulados originem pagamentos reais.
O encerramento também precisa de uma definição própria. A simulação personalizada permite especificar o modelo de simulação, o comportamento e as condições de fim, acrescentando automaticamente a ferramenta end_simulation. Ela termina a conversa simulada, mas não certifica o sucesso do negócio. Registe separadamente encaminhamento correto para atendimento humano, desistência do utilizador, limite de turnos atingido e conclusão da operação. Não conte toda a conversa terminada como problema resolvido.
O Tool Selection Quality do Galileo avalia se as ferramentas e os argumentos são adequados; o Tool Error avalia se ocorreu um erro na execução. No primeiro, true significa escolha correta; no segundo, true significa erro detetado. Uniformize o sentido antes de agregar. Ambos recorrem ao julgamento de modelos e não substituem o registo contabilístico de reembolsos ou os códigos de estado das APIs.
Por exemplo, se a consulta do pedido estiver correta mas a API exceder o tempo limite, dê prioridade à recuperação e ao encaminhamento humano. Se a API funcionar mas o agente continuar a enviar o pedido de reembolso anterior, verifique a atualização da intenção e a gestão de estado. Se anunciar a conclusão sem sucesso real, verifique se a resposta está condicionada pelos resultados das ferramentas. Os engenheiros precisam da intenção, argumentos, respostas e alterações de estado de cada turno; o responsável de negócio deve confirmar os resultados permitidos. Uma descida da pontuação global pode desencadear uma investigação, mas não decide, por si só, entre alterar o prompt e corrigir a integração.
Usar falhas de produção para enriquecer a simulação
A avaliação online do Maxim distingue session, trace e span: a conversa completa serve para avaliar relações entre turnos, a resposta individual serve para avaliar a qualidade local e a configuração ao nível do span é feita pelo SDK. As métricas de fluxos de registos do Galileo permitem ativar avaliações predefinidas ou personalizadas e configurar amostragem por métrica. Ambos exigem a recolha de contexto suficiente antes de definir o âmbito da avaliação.
O Maxim permite organizar conjuntos de dados a partir de registos e correções humanas. O Galileo oferece campos distintos, generated_output, ground_truth e metric_ground_truth, para separar a saída da aplicação, a resposta esperada e a pontuação esperada. Ao reutilizar exemplos de falha, preserve a conversa original para diagnóstico e extraia as condições desencadeantes e o percurso esperado para novas execuções. Não transforme a saída errada original na resposta correta, nem presuma que importar registos reconstrói o estado do backend.
A revisão humana deve concentrar-se em conflitos entre pontuações do modelo e factos das ferramentas, encerramentos prematuros, mudanças de intenção e promessas de alto risco. Confirme que a falha vem realmente do agente antes de acrescentar variantes à simulação. Se o avaliador penalizar um encaminhamento humano correto, corrija primeiro a regra de avaliação, em vez de forçar o agente a continuar para obter uma pontuação mais alta. Os exemplos de produção com pontuação baixa também refletem a amostragem e a composição do tráfego. Examine conversas normais para não aprender apenas a corrigir os percursos que geram mais reclamações.
Calcular o custo por percurso e avaliar os controlos de execução à parte
Um ensaio hipotético de seleção pode usar 20 cenários, 3 variantes de resposta das ferramentas por cenário e 2 repetições, num total de 120 conversas simuladas, cada uma limitada a 8 turnos. Um máximo de 960 turnos não significa 960 chamadas de modelo: também contam a geração do utilizador simulado, o planeamento interno do agente, vários avaliadores e novas tentativas. Registe separadamente tokens, custos, número de chamadas de ferramentas, duração das conversas e tempo de revisão humana; depois acrescente subscrições da plataforma, armazenamento de registos e outros encargos aplicáveis. A velocidade do gateway não determina o custo total da avaliação.
Verifique sobretudo a que nível se aplica a amostragem. A documentação do Maxim afirma que a amostragem e os limites de frequência só se aplicam à avaliação de traces; a avaliação de sessions continua a abranger todas as sessões. O Tool Selection Quality do Galileo faz vários pedidos ao modelo avaliador, aumentando também os custos. Configurar uma amostragem de 10% não reduz, portanto, diretamente toda a fatura dos testes de vários turnos a um décimo.
Também é importante separar os produtos. Este artigo trata do produto de avaliação e simulação do Maxim; o Bifrost é um gateway de acesso a modelos e governação. Não aplique ao serviço de avaliação as condições de código aberto ou gratuitidade do gateway. O atual Agent Control do Galileo oferece, separadamente, controlos de entrada e saída durante a execução do fluxo. Recolher e avaliar registos não significa que o bloqueio já esteja configurado. Se precisar de bloquear ações durante a execução, verifique à parte a integração dos controlos, as condições de ativação, os bloqueios incorretos e o tratamento operacional após uma falha.
Na aceitação das 120 conversas acima, pode exigir que todos os reembolsos não autorizados e falsas promessas de conclusão entrem numa lista de bloqueio, apresentando separadamente as proporções de sucesso, encaminhamento humano conforme, falha de ferramenta e limite de turnos atingido. Para comparar antes e depois de uma correção, fixe cenários, respostas das ferramentas, configurações do agente e do simulador e regras de avaliação, com revisão humana dos casos controversos. Os limiares devem depender do risco do negócio. São métodos de aceitação propostos, não resultados já alcançados pelos dois produtos.
Se o problema atual é não haver utilizadores suficientemente exigentes para testar mudanças entre turnos, experimente primeiro o Maxim. Se é ter muitas conversas problemáticas sem conseguir identificar o passo que falhou, experimente primeiro o Galileo. Se ainda não definiu estados de sucesso do negócio, endpoints de teste isolados e associação de conversas, estabeleça essas bases antes de comprar. O resultado útil é um caso que identifica o turno com erro, reproduz as condições das ferramentas e demonstra uma correção eficaz, e não apenas uma média mais alta.
Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.
Fonte original:docs.galileo.ai