Crawl4AI와 ScrapeGraphAI: 제품 카탈로그 필드 중 무엇을 선택자에, 무엇을 모델에 맡길까

안정된 템플릿은 Crawl4AI 선택자 규칙을 우선하고 의미 해석 필드는 모델에 맡길 만하다. 템플릿이 다양하면 ScrapeGraphAI를 먼저 평가할 수 있다. 상품 포함 범위, 필드 증거, 빈 값을 따로 확인해야 하며 모델 schema는 사실 검증을 대신하지 못한다.

출처: crawl4ai.com
2026년 11월 16일
12 min

제품 운영 담당자가 허가받은 공개 카탈로그를 표로 정리할 때 가장 두려운 것은 JSON이 없다는 사실보다 다른 상품의 가격이 섞이거나 품절을 재고 있음으로 쓰거나 페이지를 끝까지 보지 않았는데 오류가 나지 않는 일이다. Crawl4AI와 ScrapeGraphAI 모두 구조화 데이터를 추출할 수 있다. 필드를 어떻게 찾고 증명하며 변화 후 누가 고칠지를 중심으로 선택해야 한다.

같은 템플릿의 대량 카탈로그라면 Crawl4AI 선택자 추출을 우선 평가하고 소수의 의미 해석 필드를 모델에 맡기자. 여러 템플릿에 걸쳐 주로 텍스트 이해가 필요한 작업이라면 ScrapeGraphAI의 프롬프트·schema 경로를 먼저 평가할 수 있다. 이 판단은 공식 자료에 근거하며 아래 사례는 검증 설계이지 실제 수집 테스트가 아니다. 수집이 허용된 공개 콘텐츠만 다루며 사이트 허가, robots 규칙, 접근 빈도 제한도 준수해야 한다.

제품을 구분한 뒤 추출 방식을 비교하자

Crawl4AI 오픈소스 라이브러리는 CSS, XPath, LLM 추출을 제공하지만 이미 공식 Cloud 호스팅 서비스도 있으므로 두 제품을 ‘로컬 도구 대 클라우드 API’로 요약해서는 안 된다. 이 글의 선택자 설정은 오픈소스 라이브러리 문서를 따른다. 클라우드를 고를 때는 필요한 매개변수를 인터페이스가 제공하는지 따로 확인해야 하며 라이브러리 설정이 그대로 적용된다고 가정해서는 안 된다.

ScrapeGraphAI의 오픈소스 저장소는 자체 실행하는 scrapegraphai와 호스팅 API의 SDK를 구분한다. 전자의 SmartScraperGraph는 프롬프트와 단일 페이지 출처를 받고 팀이 모델과 실행 환경을 설정한다. 호스팅 서비스는 모델과 브라우저를 관리한다. 예전 자료의 SmartScraper라는 이름 때문에 오픈소스 그래프 흐름과 현재 API를 같은 인터페이스로 보아서는 안 된다. 현재 Extract는 URL, HTML 또는 Markdown, 프롬프트, 선택적 JSON schema를 받아 구조화 결과를 반환한다.

따라서 로컬 모델이 필요하다고 Crawl4AI만, 호스팅이 필요하다고 ScrapeGraphAI만 선택할 수 있는 것은 아니다. 더 유용한 질문은 팀이 페이지 유형마다 위치 규칙을 관리할지, 모델의 필드별 해석을 계속 검증할지다.

안정된 필드는 규칙에, 해석은 모델에 맡기자

Crawl4AI의 LLM 없는 추출은 상품 컨테이너를 정의하고 CSS나 XPath로 그 안의 제목, 속성, 중첩 필드를 가져올 수 있다. 모델이 선택자 schema를 먼저 생성하게 하고 규칙을 재사용할 수도 있다. 여기서 모델은 규칙 작성을 돕기에 상품을 읽을 때마다 호출할 필요는 없다. 다만 생성 결과는 사람이 검토해야 하며 특히 광고 삽입으로 위치 선택자가 어긋나는 것을 피해야 한다.

카탈로그에 이름, SKU, 현재 가격, 통화, 배송 설명이 있다고 하자. SKU와 가격 위치가 안정적이면 규칙으로 원문을 가져오고 ‘예약 후 약 2주 뒤 발송’ 같은 설명은 모델이 합의된 필드로 정리하게 한다. Crawl4AI의 LLM 전략은 schema와 청크 처리를 지원해 이런 해석에 적합하지만 모델 사용량과 결과 검증이 늘어난다. 두 전략을 연결하는 라우팅, 병합, 예외 처리는 여전히 앱의 책임이다.

ScrapeGraphAI는 통일된 프롬프트로 목표를 설명하고 schema로 출력 형태를 고정하는 데 더 적합하다. 여러 템플릿에서는 사이트별 위치 규칙 작성 작업을 줄일 수 있지만 ‘현재 가격’, ‘최저 시작 가격’, ‘취소선 가격’의 의미를 명시해야 한다. Schema 서비스가 만드는 것은 JSON 출력 제약이지 CSS 위치 규칙이 아니며 가격이 대상 상품에서 왔다는 증거도 아니다.

혼합 사용을 위해 수집기 전체를 바꿀 필요는 없다. 현재 Extract는 기존 HTML이나 Markdown 입력을 지원하므로 허가받아 저장한 상품 조각을 해석하게 할 수 있다. 다만 조각을 자를 때 가격 라벨, 사양, 상품 경계를 보존해야 한다. 숫자 몇 개만 남기고 모델에 관계를 추측하게 해서는 안 된다. 호스팅 호출은 콘텐츠를 서비스 제공자에게 보내는 것이기도 하므로 팀의 데이터 처리 허가에 포함해야 한다.

상품을 다 찾는 것과 필드를 맞게 채우는 것은 따로 검증하자

Crawl4AI의 심층 크롤링은 깊이, 도메인, 필터를 제어한다. 페이지 상호작용은 JavaScript 실행, 콘텐츠 대기, ‘더 보기’ 처리를 할 수 있다. 링크 발견과 현재 페이지 확장은 다른 일이며 깊이를 설정했다고 모든 페이지의 상품이 나왔다는 증거는 아니다.

ScrapeGraphAI 호스팅 Crawl도 링크를 따라 탐색하며 페이지 수, 깊이, 포함 경로를 제한하고 비동기로 작업 상태를 반환한다. 실제 페이지 내용을 얻으려면 페이지로 나뉜 결과 인터페이스를 읽어야 한다. API 결과의 커서 페이지 이동과 대상 사이트 상품 목록의 페이지 이동을 혼동해서는 안 된다. 오픈소스 라이브러리가 여러 출처를 받는 능력을 호스팅 Crawl의 모든 기능으로 보아서도 안 된다.

실제 검증에서는 예상 상품 URL을 먼저 나열하고 URL별 추출 상태를 확인해야 한다. 첫 페이지에서 보기 좋은 데이터 20개를 얻어도 다른 페이지의 상품이 없다는 증거는 아니다. CAPTCHA, 접근 거부, 불명확한 허가를 만나면 중단하고 권한을 확인해야 한다. 제한 우회를 데이터 보완 방법으로 삼아서는 안 된다.

빈 값, 출처, 갱신의 의미를 명확히 하자

업무 필드는 name, sku, price, currency, availability로 고정하고 source_url, fetched_at, 증거 조각을 따로 저장하는 것을 권한다. 이는 앱의 데이터 규약이지 두 제품이 자동 보장하는 결과 형식이 아니다. 출처 URL과 시간은 수집 프로그램이 기록해야 하며 모델이 기억으로 채우게 해서는 안 된다. 증거 조각은 저장된 페이지 버전에서 그대로 찾을 수 있어야 한다.

가격이 없으면 null을 허용하되 ‘원래 페이지가 제공하지 않음’, ‘페이지 로딩 불완전’, ‘추출 실패’를 구분하자. 필드가 반드시 존재해야 하는 것과 반드시 수치가 있어야 하는 것은 다르다. 가격을 숫자로만 제한하면 정당한 누락을 잘못된 보완값으로 바꾸기 쉽다. 빈 재고를 품절로 보거나 null을 0원으로 바꿔서도 안 된다. 선택자는 잘못된 영역을 안정적으로 가져올 수 있고 모델은 형식이 완전히 적법한 오답을 생성할 수 있다. 따라서 schema 검사 뒤에도 상품 경계와 원문을 확인해야 한다.

갱신할 때는 이전 검증 기록을 보존하고 새 결과를 검증 대기 영역에 둔다. 페이지 획득 시간 초과는 횟수 제한과 백오프 전략으로 재시도할 수 있다. 필드 충돌은 증거를 남겨 수동 확인으로 보내야 하며 마음에 드는 답이 나올 때까지 모델에 반복 질문해서는 안 된다. 이전 가격을 계속 표시한다면 예전 수집 시간을 명시하고 지난 성공을 오늘 갱신으로 위장하지 말자.

작은 카탈로그로 채택 여부를 정하자

허가된 상품 페이지 30개를 3개 템플릿별 10개씩 준비할 수 있다. 정상 판매가, 시작 가격만 있음, 가격 누락, 품절, 추천 상품 간섭을 포함한다. 사람이 목표 필드와 원문 위치를 주석 처리하고 두 방식이 같은 페이지 스냅샷과 출력 규약을 쓰게 한다. 규칙 방식과 모델 방식을 따로 실행한 뒤 모호한 필드만 모델에 맡기는 혼합 방식과 비교한다.

검증에서는 최소한 예상 URL 포함 수, 상품 매칭 정답 수, 비어 있지 않은 필드 정답 수, 비어 있어야 하는데 값을 채운 수, 검증 통과 기록당 총비용을 기록한다. 상품 간 값 혼합과 가격 날조는 차단 항목으로 두고 실제 누락을 얼마나 허용할지는 업무 책임자가 미리 합의한다. 이어 템플릿 하나를 바꾸고 페이지 읽기 한 번을 실패시킨 뒤 같은 스냅샷을 반복 실행해 경고, 재시도, 출력 차이를 확인한다. 이는 앞으로 실행할 테스트 단계이지 도구가 이미 달성한 성적이 아니다.

안정된 템플릿을 반복 갱신하고 규칙 관리자가 있다면 Crawl4AI의 규칙 우선 경로를 먼저 시험할 만하다. 템플릿이 분산되고 필드가 텍스트 해석에 의존하며 팀이 표본 검토를 감당할 수 있다면 ScrapeGraphAI의 모델 우선 경로가 더 적합하다. 비용은 브라우저나 호스팅 사용량, 모델, 재실행, 사람의 수정을 합산해야 한다. ‘오픈소스 무료’나 성공한 JSON 한 번으로 예산을 대신할 수 없다. 카탈로그 소유자가 허가된 구조화 내보내기를 이미 제공한다면 그 경로부터 비교하자. 구매하는 것은 추적하고 수정할 수 있는 상품 기록이지 한 번의 추출 성공만이 아니다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:crawl4ai.com