Ragas ou TruLens: a recuperação omitiu uma cláusula ou a resposta citou a evidência errada?

Ragas é mais adequado para verificar a cobertura de fatos necessários com respostas de referência; TruLens, para localizar perda de evidência e atribuições incorretas nas etapas de uma solicitação. Diferencie recall, fidelidade e atribuição de citações, preservando o contexto que o modelo realmente viu.

Fonte: docs.ragas.io
November 15, 2026
7 min

Depois de uma base de conhecimento de atendimento reduzir a recuperação de cinco trechos para três, as respostas sobre reembolsos ficam mais curtas, mas omitem condições de elegibilidade. A recuperação não encontrou a cláusula ou o modelo a recebeu e depois escreveu ou citou incorretamente? Olhar apenas a nota geral da resposta final costuma atribuir a correção à pessoa errada.

Avalie primeiro o Ragas quando já houver respostas de referência e for necessário comparar configurações de recuperação. Avalie primeiro o TruLens quando precisar rastrear em que etapa de uma solicitação a evidência desapareceu ou verificar o destino das citações. Essa recomendação se baseia na documentação oficial, não em uma classificação por testes práticos. Ambos já vão além da avaliação de RAG: a documentação do Ragas inclui avaliação de agentes e fluxos de trabalho, enquanto o TruLens se apresenta como ferramenta de avaliação e rastreamento de agentes.

Identifique primeiro se falta evidência ou se ela foi mal utilizada

O ContextRecall do Ragas recebe a pergunta, user_input, os trechos recuperados, retrieved_contexts, e a resposta de referência, reference. Um modelo avaliador determina se os trechos cobrem as afirmações da referência. A pontuação é a proporção de afirmações cobertas; quanto maior, melhor. É adequado para perguntar “Todas as condições necessárias foram recuperadas?”. O custo é manter respostas de referência confiáveis. Se a referência omitir uma exceção, a pontuação de recall também não verá essa lacuna.

Já o ContextPrecision verifica se os trechos úteis aparecem nas primeiras posições. A API collections atual também permite avaliar com pergunta, trechos e resposta de referência. Sem referência, o ContextUtilization usa a resposta gerada para julgar a utilidade dos trechos. Isso não equivale à cobertura de uma resposta sabidamente correta. Relevância, ordenação e recall são questões diferentes: os três trechos podem ser relevantes e ainda omitir justamente a exceção ao reembolso.

A tríade RAG do TruLens examina separadamente a relevância dos trechos para a pergunta, a consistência entre resposta e evidência e a pertinência da resposta à pergunta. As três avaliações dispensam respostas de referência e servem para uma primeira triagem de solicitações sem rótulos. Mas relevância alta não prova que uma cláusula não recuperada inexista. O TruLens também oferece um fluxo de avaliação de recuperação que usa trechos de referência para calcular recall e NDCG. Portanto, não cabe dividir rigidamente as ferramentas entre “com referência” e “sem referência”.

Uma resposta fundamentada pode citar o trecho errado

O Faithfulness do Ragas recebe pergunta, resposta e trechos recuperados, sem exigir resposta de referência. Ele decompõe a resposta em afirmações e calcula a proporção sustentada pelos trechos, em uma escala de 0–1 na qual valores maiores são melhores. O groundedness do TruLens também verifica se as afirmações encontram apoio no contexto fornecido. Nenhum desses tipos de métrica, isoladamente, comprova que a resposta está completa ou que a própria base de conhecimento está correta.

Um erro mais discreto ocorre quando o prazo de reembolso aparece no segundo trecho, mas a resposta cita o primeiro. O conjunto de evidências sustenta a frase, e a nota de consistência pode continuar alta. Os templates de citação do TruLens distinguem explicitamente duas verificações. CitationAttribution confere marcadores explícitos [N] contra os trechos numerados: uma atribuição incorreta reprova a verificação, mas afirmações sem marcador não são penalizadas. CitationAccuracy aceita formatos mais amplos, usa uma escala de 0–3 e considera a ausência de citações obrigatórias um problema. Não subtraia diretamente essas notas brutas de pontuações entre 0–1.

Assim, ao mostrar links de fontes à equipe de atendimento, escolher apenas uma métrica de “fidelidade” é insuficiente. Equipes que adotam Ragas precisam definir uma verificação separada do destino das citações. Quem usa TruLens ainda precisa escolher o template adequado e preservar o vínculo entre a numeração e os trechos originais. Nenhuma ferramenta decide quais frases o negócio exige que sejam citadas.

Separe responsabilidades com um registro reproduzível

O desenho de avaliação a seguir é uma proposta, não o resultado de um teste executado. Prepare 30 perguntas sobre reembolsos validadas por pessoas, cobrindo reembolsos comuns, exceções e situações sem resposta na base de conhecimento. Para cada registro, salve o ID da pergunta, a versão da fonte, a resposta de referência e os trechos de evidência necessários. Em cada execução, salve separadamente a lista ordenada de recuperação, o contexto efetivamente enviado ao modelo, a resposta completa, o mapeamento das citações e a versão da configuração.

Por exemplo: “Ativei um plano anual há 10 dias e já utilizei o serviço. Ainda posso receber reembolso integral?”. Defina cláusulas sintéticas para o teste: [1] É possível solicitar reembolso até 14 dias após a ativação. [2] O reembolso integral não se aplica quando o serviço já foi utilizado. A resposta de referência deve incluir as duas cláusulas e sua relação. Trata-se de um exemplo de negócio sintético, não da política de reembolso de qualquer empresa.

Fixe a versão da base de conhecimento, o modelo gerador e o prompt, alterando apenas o top-k da recuperação de 5 para 3. Primeiro, forneça os dois conjuntos de contexto real ao ContextRecall do Ragas; depois, verifique Faithfulness. No TruLens, avalie a relevância de cada trecho e o groundedness da resposta contra o contexto completo, além de conferir as citações separadamente. A documentação de Selector explica que avaliar trechos individualmente e reunir o contexto são escolhas diferentes. Se houver reordenação, filtragem ou truncamento após a recuperação, registre essas etapas. Não trate candidatos que o modelo nunca viu como evidência recebida por ele.

Esse registro permite ao menos quatro encaminhamentos. Se a segunda cláusula não entrar na lista de candidatos, examine a recuperação. Se entrar nos candidatos, mas não no contexto do modelo, examine a montagem. Se o modelo vir as duas cláusulas e ainda prometer reembolso integral, examine a geração. Se a resposta estiver correta, mas citar o número errado, examine a atribuição. Se a fonte da base estiver desatualizada, encaminhe ao responsável pelo conteúdo; trocar o avaliador não resolverá.

Fixe o avaliador e os critérios antes de comparar notas

As métricas baseadas em LLM das duas ferramentas dependem do avaliador. Os exemplos do Ragas passam explicitamente um modelo avaliador, e a configuração de providers do TruLens também permite escolher o modelo. Na comparação, fixe a mesma versão disponível do avaliador, a temperatura e o texto de entrada, registrando os prompts, a implementação das métricas e a agregação de cada ferramenta. Mesmo com o mesmo modelo, 0,8 sob rubricas diferentes não representa a mesma medida.

Peça primeiro aos responsáveis pelo negócio que rotulem os exemplos como “falta de evidência”, “contradição da evidência”, “atribuição incorreta” ou “deveria abster-se de responder”. Depois, confira se a avaliação automática identifica esses erros. Repita a pontuação dos casos limítrofes e preserve as justificativas. Conte os erros não detectados por categoria, sem deixar que uma média esconda promessas de alto risco. Casos sem resposta devem ser avaliados pela abstenção adequada, não forçados a um cálculo de recall com uma referência inventada.

Se o gargalo é provar que a nova recuperação não omitiu fatos necessários, as métricas com resposta de referência do Ragas oferecem um caminho mais direto. Se o gargalo é a disputa de responsabilidade entre reordenação, montagem e geração, a seleção de etapas e as verificações de citação do TruLens combinam melhor com o diagnóstico. Primeiro capture o contexto real e anote as evidências; depois escolha a ferramenta. Caso contrário, ambas podem produzir notas atraentes sem indicar qual etapa corrigir.

Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.

Fonte original:docs.ragas.io