Apify와 Bright Data: 주간 채용 공고 표가 틀렸을 때 수집기는 누가 고치고 변경 내역은 누가 검수할까

Apify는 Actor 유지보수 담당자와 전달 절차를 관리할 의향이 있는 팀에 적합하다. Bright Data의 기성 Scraper API는 수집기 유지보수 책임을 한곳으로 모을 수 있지만 주간 보고서 검수를 대신하지는 않는다. 선택 전에는 형식 변경, 실패한 수집 출처, 중복 알림, 실제 과금 범위를 검증해야 한다.

출처: docs.apify.com
2026년 11월 16일
13 min

매주 월요일 채용 공고 변동 표를 전달할 때 가장 난감한 상황은 파일은 제시간에 도착했는데 공고가 절반으로 줄어든 경우다. 기업이 채용 공고를 내린 것일까, 아니면 수집기가 다음 페이지를 놓친 것일까? Apify는 기성 수집 프로그램을 Actor라고 부르며 실행, 일정 예약, 저장 기능을 제공한다. Bright Data는 기성 Scraper API, 사전 수집 데이터셋, 브라우저 인프라를 함께 판매한다. 선택의 핵심은 누가 수집기를 고치고, 누가 이번 주 데이터를 주간 보고서에 넣어도 되는지 입증하느냐에 있다.

팀이 유지보수 담당자를 고르고 입출력을 관리하면서 맞춤형 절차를 유지할 의향이 있다면 Apify를 먼저 평가하는 편이 좋다. 대상 사이트에 Bright Data가 유지보수하는 Scraper API가 이미 있고 필드와 전달 방식이 요구 사항에 맞는다면, 수집기 수리를 공급업체에 맡기는 데는 후자가 더 적합하다. 근거한 분석이며 직접 테스트하지 않았다. 수집이 허가된 공개 채용 공고의 회사, 직무, 지역, 게시일, 출처 URL만 다룬다. 구직자 정보는 수집하지 않으며 로그인이나 접근 제한도 우회하지 않는다.

복구 책임은 개별 제품과 유지보수 담당자에게 연결해야 한다

Apify의 유지보수 담당자 안내는 공식, 커뮤니티, 파트너 Actor를 구분한다. 공식 유지보수 Actor는 Apify가 업데이트와 수정을 담당하며, 커뮤니티 버전은 개발자가 코드와 유지보수를 책임진다. Partner도 독립 개발자이므로 배지를 모든 Actor에 대해 플랫폼이 최종 책임을 지겠다는 약속으로 받아들여서는 안 된다. 구매할 때는 단순히 “Apify 구매”라고 적는 대신 선택한 Actor, 유지보수 담당자, 필드 예시, 문제 발생 시 연락 경로를 기록해야 한다.

반면 Bright Data의 Web Scraper API 페이지는 라이브러리 내 수집기를 자사가 구축·테스트·유지보수하며 자동 복구 기능도 제공한다고 설명한다. 유지보수 상대방을 공급업체로 모을 수 있지만, 마케팅 페이지가 특정 채용 사이트 개편 후 얼마 만에 복구되는지를 입증하지는 않는다. 복구 대응과 필드 변경 알림은 여전히 계약에서 확인해야 한다.

다른 제품까지 같은 약속에 포함해서는 안 된다. Jobs Datasets는 이미 수집한 채용 데이터를 판매하며 일간·주간·월간 또는 맞춤 업데이트를 정할 수 있다. 페이지에는 월간 갱신 요금제도 표시되므로 실제 구매하는 갱신 주기를 반드시 확인해야 한다. 사용자가 지정한 URL을 매주 그때그때 다시 수집한다는 뜻은 아니다. Browser API는 원격 브라우저 계층이다. 추출 로직을 직접 작성한다면 이를 사용한다는 이유만으로 채용 필드까지 업체가 유지보수한다고 볼 수 없다. 대상 사이트가 기성 라이브러리에 없다면 Scraper Studio도 직접 설정하는 방식과 관리형 서비스로 나뉜다. 일상 운영을 맡기는지는 구매 방식에 따라 확인해야 한다.

예약 실행 성공과 데이터 전달 성공은 별도로 입증해야 한다

Apify의 일정 예약 문서는 cron과 시간대를 지원하며 입력값, build, 제한 시간도 설정할 수 있다고 설명한다. 동시에 시스템 부하 등의 이유로 시작이 늦어질 수 있다고 경고한다. 월요일 8시에 시작한다는 것이 8시에 검수를 통과한 주간 보고서를 받는다는 뜻은 아니다. 팀은 별도의 마감 시각을 정하고 실행 ID, 대상 범위, 완료 상태를 기록해야 한다.

Dataset은 JSON, CSV 등으로 내보낼 수 있지만 데이터는 추가만 가능하다. 이름 없는 데이터셋은 보통 7일 후 만료되며 이름을 지정한 데이터셋은 장기 보관할 수 있다. 주간 작업에서 다음 실행 때까지 이전 주 샘플 저장을 미루면 비교 기준이 이미 사라졌을 수 있다. 이번 검수 후 스냅샷을 보관해야 하며, 추가 전용 저장 방식을 주차 간 자동 중복 제거로 생각해서는 안 된다.

Webhook 문서에 따르면 2XX 이외의 응답은 지수 백오프를 유발하고 11회 재시도 후 중단되며, 알림이 간혹 중복될 수도 있다. 이는 알림 전달 재시도이지 실패한 수집이 다시 완료되었다는 뜻이 아니다. 수신 측은 실행 ID를 기준으로 중복 저장을 막고, 기록을 영구 저장한 뒤 수신 확인 응답을 보내야 하며, 수집 실패는 별도로 처리해야 한다.

Bright Data Web Scraper API는 API나 webhook 등의 전달 경로를 지원하지만, 여기서도 파일 수신은 검수의 시작일 뿐이다. 두 제품 모두 주간 보고서 담당자가 필드, 출처 포함 범위, 이번 주의 대상 기간을 확인해야 한다. HTTP 성공을 채용 데이터의 완전성으로 대신해서는 안 되며, “완료” 이벤트 하나가 지난주 공식 표를 바로 덮어쓰게 해서도 안 된다.

형식이 바뀌면 변경 내역에 대한 판단부터 보류한다

예를 들어 기존 지역 필드가 문자열이었는데 새 버전에서는 배열로 바뀌거나, 게시일이 갑자기 비어 있을 수 있다. 수집기 담당자는 출력을 수정하고 주간 보고서 담당자는 이전 값과 새 값을 어떻게 비교할지 결정한다. 두 업무에는 각각 담당자를 지정해야 한다. Bright Data의 Scraper Studio FAQ는 관리형 수집기의 입력 또는 출력 schema를 변경한 뒤 코드가 아직 이에 맞춰지지 않으면 비호환 오류가 발생한다고 명시한다. 이 근거는 해당 제품에만 적용되므로, 모든 Scraper API에 같은 버전 보호 기능이 있다고 추론해서는 안 된다.

주간 보고서에는 원본 채용 공고 ID 또는 정규화한 URL을 매칭 단서로 남기고, 수집 시각과 실행 ID를 따로 저장해야 한다. 게시일이 없으면 누락으로 표시하고 수집일을 게시일처럼 써서는 안 된다. 원본 ID와 URL도 바뀔 수 있으므로 확실히 매칭할 수 없는 기록은 사람이 확인해야 하며, 직무명이 같다는 이유만으로 자동 병합해서는 안 된다.

더 중요한 것은 “사라진” 공고에 확인 대기 상태를 남기는 일이다. 이번 주 해당 출처 수집이 검수를 통과했고 대상 범위가 바뀌지 않았으며, 원래 페이지가 실제로 내려갔거나 명확히 마감되었음을 다시 확인한 경우에만 게시 종료로 보고한다. 시간 초과, 빈 파일, 필드 이상은 실패 목록에 넣는다. 접근 권한상 더 이상 허용되지 않으면 중단하고 검증 불가로 표시한다. 이런 보수적 판단은 일부 게시 종료 집계를 늦추지만, 장애를 기업의 채용 축소로 해석하는 오류를 피하게 해 준다.

반환 행 수뿐 아니라 검수까지의 비용을 계산한다

Apify의 현재 스토어 과금 안내는 이벤트 기준과 리소스 사용량 기준 두 가지를 제시한다. 이벤트는 결과 생성일 수도 있고 Actor 시작일 수도 있다. 대부분의 이벤트 요금에는 플랫폼 리소스가 포함되지만 일부는 별도 청구되며, 실행 후 데이터셋 읽기·쓰기에도 비용이 발생할 수 있다. 실행 실패가 자동으로 지출 0을 의미하지는 않으므로, 개별 Actor의 과금 이벤트, 리소스, 이미 생성된 결과를 기준으로 계산해야 한다.

Bright Data의 Web Scraper API 가격 페이지는 성공적으로 전달된 경우에만 과금하고 전달 실패에는 과금하지 않는다고 설명한다. 이 범위를 Browser API, 데이터셋, Studio로 확대해서는 안 되며, 유료 기록 하나하나가 사용자의 업무 검수 기준을 충족한다는 뜻도 아니다. 중복 반환된 기존 공고, 지역 빈 값, 이후의 수동 확인에도 팀 비용이 들 수 있다.

매주 10,000건씩 가져와 연속 4회에 걸쳐 전달 기록 40,000건을 받았지만 신규 공고는 2,000건뿐이라고 가정하자. 예산은 먼저 실제 과금 기준에 따라 40,000건 또는 해당 이벤트·리소스로 계산해야 하며, 신규 건수로 청구액을 추산해서는 안 된다. 무료 할당량, 중복 기록 과금 예외, 재실행 비용 유무는 구체적인 제품 견적에서 확인해야 한다. 여기에 보관, 변환, 알림, 수동 수정에 드는 시간을 더해야 검수를 통과한 주간 보고서 한 건의 비용을 비교할 수 있다.

2주간의 검수로 장기 책임을 맡을 쪽을 결정한다

아직 실행하지 않은 검수안을 다음과 같이 설계할 수 있다. 허가받은 출처 3개를 골라 연속 2주 동안 앞서 말한 업무 필드 5개와 실행 정보를 저장한다. 둘째 주에는 자체 테스트 사본에서 지역 형식 변경 한 건, 알림 중복 한 번, 출처 실패 한 건을 만들어 본다. 공식 표가 덮어써지지 않고, 중복 저장되지 않으며, 실패한 출처의 공고를 모두 게시 종료로 판단하지 않아야 한다. 그런 다음 신규 또는 변경 기록 20건을 사람이 대조한다.

기성 Actor의 지원 범위가 업무에 더 잘 맞고 팀이 유지보수 담당자 조율과 예외 처리도 감당할 수 있다면 Apify의 조합 유연성은 가치가 있다. Bright Data의 기성 API가 이미 대상을 지원하고 업체가 복구와 전달의 책임 경계를 확인해 줄 의향이 있다면 여러 수집기 작성자에 대한 의존을 줄일 수 있다. 공급업체의 기존 채용 데이터베이스를 정기적으로 갱신받는 것만 필요하다면 Datasets의 범위와 갱신 계약을 따로 평가해야 한다. 최종 검수 책임은 여전히 팀 내부에서 명확히 정해야 한다. 수집기를 고치는 사람과 변경 내역을 확인하는 사람이 있어야, 제시간에 도착한 잘못된 파일을 주간 보고서가 사실로 받아들이지 않는다.

콘텐츠 안내:이 글은 공개 자료를 바탕으로 정리한 도구 선택 참고 자료입니다. 제품 기능, 가격 및 관련 정책은 수시로 변경될 수 있으니 최신 공식 정보를 확인해 주세요.

원문 출처:docs.apify.com