Ragas와 TruLens: 검색이 조항을 놓쳤을까, 답변이 증거를 잘못 인용했을까?

Ragas는 참조 답변으로 검색에서 필수 사실이 누락되었는지 확인하는 데, TruLens는 요청 단계를 따라 증거 손실과 잘못된 인용을 찾는 데 더 적합하다. 선택 시 재현율, 충실도, 인용 귀속을 구분하고 모델이 실제로 본 맥락을 보존해야 한다.

출처: docs.ragas.io
2026년 11월 15일
11 min

고객 지원 지식 베이스에서 검색을 다섯 조각에서 세 조각으로 줄이자 환불 답변은 짧아졌지만 적용 조건이 빠졌다. 검색이 조항을 못 찾았을까, 모델이 조항을 받았는데도 잘못 쓰거나 인용했을까? 최종 답변의 총점만 보면 수정 작업을 엉뚱한 사람에게 넘기기 쉽다.

참조 답변이 있고 검색 설정을 비교하려면 Ragas를 우선 평가하자. 요청 하나의 흐름을 따라 어느 단계에서 증거가 사라졌는지 추적하거나 인용 대상을 확인하려면 TruLens를 우선 평가하자. 이 선택은 공식 자료에 근거하며 직접 시험한 순위가 아니다. 두 제품 모두 단순 RAG 평가를 넘어섰다. Ragas 문서에는 Agent와 워크플로 평가가 포함되고, TruLens는 Agent 평가와 추적을 지향한다.

부족한 것이 증거인지, 증거를 쓰는 방식인지 먼저 판단하자

Ragas의 ContextRecall은 질문 user_input, 검색 조각 retrieved_contexts, 참조 답변 reference를 입력받아 평가 모델이 참조 답변의 사실을 조각이 포함하는지 판단한다. 점수는 포함된 사실의 비율이며 높을수록 좋다. ‘필수 조건을 다 찾았는가’를 묻기에 적합하지만 신뢰할 참조 답변을 누군가 관리해야 한다. 참조 답변에 예외가 빠져 있다면 재현율 점수도 그 누락을 볼 수 없다.

ContextPrecision은 유용한 조각이 앞에 배치되는지에 집중하며 현재 collections API 역시 질문, 조각, 참조 답변으로 채점할 수 있다. 참조 답변이 없으면 ContextUtilization은 생성 답변으로 조각의 용도를 판단하므로 알려진 정답의 포함 비율로 볼 수 없다. 관련성, 순위, 재현율은 서로 다른 문제이며 세 조각 모두 관련 있어도 환불 예외만 놓칠 수 있다.

TruLens의 RAG triad는 질문과 조각의 관련성, 답변과 증거의 일치성, 답변이 질문에 부합하는지를 각각 검사한다. 세 항목은 참조 답변에 의존하지 않아 주석 없는 요청을 먼저 선별하는 데 적합하다. 하지만 관련성이 높다고 검색되지 않은 조항이 없다는 증거는 아니다. 표준 조각으로 재현율과 NDCG를 계산하는 검색 평가 흐름도 있으므로 두 제품을 ‘참조 있음’과 ‘참조 없음’으로 절대 구분해서는 안 된다.

답변에 근거가 있어도 인용 표시가 맞는 것은 아니다

Ragas의 Faithfulness는 질문, 답변, 검색 조각을 입력받고 참조 답변은 요구하지 않는다. 답변 속 사실을 나누어 조각이 뒷받침하는 비율을 0–1 범위로 계산하며 높을수록 좋다. TruLens의 groundedness도 답변의 주장을 제공된 맥락에서 뒷받침할 수 있는지 확인한다. 두 종류의 지표 모두 답변의 완전성이나 지식 베이스 자체의 정확성을 단독으로 증명할 수 없다.

더 숨겨진 오류는 환불 기한이 두 번째 조각에 있는데 답변은 첫 번째 조각을 표시하는 경우다. 전체 증거가 그 문장을 뒷받침하므로 일치성 점수는 여전히 높을 수 있다. TruLens의 인용 템플릿은 두 검사를 명확히 구분한다. CitationAttribution은 명시적 [N] 표시와 번호가 붙은 조각을 대조해 잘못 인용하면 실패시키지만, 표시 없는 주장은 감점하지 않는다. CitationAccuracy는 더 다양한 인용 형식을 지원하고 0–3 등급으로 채점하며, 필요한 인용이 빠진 것도 문제로 포함한다. 후자의 원시 등급과 0–1 점수를 직접 빼서는 안 된다.

따라서 고객 지원 담당자에게 출처 링크를 보여 준다면 ‘충실도’ 지표만 도입해서는 안 된다. Ragas를 쓰는 팀은 인용 위치 검사를 별도로 정의해야 한다. TruLens도 적절한 템플릿을 선택하고 번호와 원문 조각의 매핑을 보존해야 한다. 어느 제품도 어떤 문장에 반드시 인용을 달아야 할지 업무상 결정을 대신하지 않는다.

재검토 가능한 기록 하나로 책임을 나누자

다음은 제안하는 평가 설계이지 실행한 결과가 아니다. 사람이 확인한 환불 질문 30개를 준비해 일반 환불, 예외 조건, 지식 베이스에 답이 없는 경우를 포함하자. 각 기록에는 질문 ID, 원문 버전, 참조 답변, 필수 증거 조각을 저장한다. 실행할 때마다 순서가 있는 검색 목록, 실제 모델에 전달한 맥락, 전체 답변, 인용 매핑, 설정 버전을 따로 저장한다.

예를 들어 질문이 ‘연간 요금제를 시작한 지 10일이고 서비스를 이미 사용했는데 전액 환불이 되나요?’라고 하자. 자체 테스트 조항은 [1] 시작 후 14일 안에 환불 신청 가능, [2] 서비스를 이미 사용했다면 전액 환불 제외로 설정한다. 참조 답변에는 두 조항과 그 관계가 모두 들어가야 한다. 이는 합성 업무 사례이며 어느 회사의 환불 정책도 나타내지 않는다.

지식 베이스 스냅샷, 생성 모델, 프롬프트를 고정하고 검색 top-k만 5에서 3으로 바꾼다. 먼저 두 그룹의 실제 맥락을 Ragas의 ContextRecall에 전달하고 Faithfulness를 확인한다. TruLens는 조각별 관련성, 전체 맥락과 답변의 groundedness를 평가하고 인용을 따로 확인한다. Selector 문서는 개별 조각 검사와 맥락 집계가 서로 다른 선택이라고 설명한다. 검색 뒤 재순위 지정, 필터링, 잘라내기가 있다면 그 단계들도 기록해야 하며 모델이 보지 못한 후보 조각을 모델의 증거로 간주해서는 안 된다.

이 기록은 적어도 네 가지 처리를 구분한다. 두 번째 조항이 후보 목록에 없으면 검색을, 후보에는 있지만 모델 맥락에 없으면 조립을, 모델이 두 조항을 보고도 전액 환불을 약속하면 생성을, 답변은 맞지만 인용 번호가 틀리면 귀속을 확인한다. 지식 베이스 원문이 이미 유효하지 않다면 콘텐츠 담당자에게 넘겨야 하며 평가 모델 교체로 고치려 해서는 안 된다.

점수를 비교하기 전에 평가 모델과 판단 기준을 고정하자

두 제품의 LLM 지표 모두 평가 모델의 영향을 받는다. Ragas의 지표 예시는 평가 모델을 명시적으로 전달하고 TruLens의 provider 설정도 모델 선택을 허용한다. 비교할 때는 이용 가능한 동일 평가 모델 버전, 온도, 입력 텍스트를 고정하고 각각의 프롬프트, 지표 구현, 집계 방식을 기록한다. 모델이 같아도 rubric이 다르면 0.8은 같은 척도가 아니다.

먼저 업무 담당자에게 위 사례를 ‘증거 부족, 증거 위반, 잘못된 인용, 답변을 거절해야 함’으로 분류하게 한 뒤 자동 평가가 그 오류를 찾는지 확인하자. 경계 사례는 반복 채점하고 이유를 남기며 유형별 미탐지를 집계한다. 평균 하나로 고위험 약속을 가려서는 안 된다. 답이 없는 사례는 올바르게 답변을 거절했는지 검사해야 하며 가상의 참조 답변을 억지로 적용해 재현율을 계산해서는 안 된다.

현재 병목이 새 검색이 필수 사실을 누락하지 않았음을 증명하는 일이라면 Ragas의 참조 답변 지표가 더 직접적이다. 재순위 지정, 조립, 생성 단계가 서로 책임을 미루는 것이 병목이라면 TruLens의 단계 선택과 인용 검사가 진단에 더 맞는다. 먼저 실제 맥락과 증거 주석을 갖추고 도구를 선택하자. 그렇지 않으면 두 제품 모두 좋은 점수를 내면서도 어느 단계를 고쳐야 하는지 답하지 못할 수 있다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.ragas.io