Apify と Bright Data:週次求人表に誤りがあったとき、誰がスクレイパーを直し、誰が差分を検収するのか

Apify は、Actor の保守担当者と納品プロセスを管理できるチームに向く。Bright Data の既製 Scraper API はスクレイパーの保守責任を集約できるが、週報の検収までは代替しない。選定前に、形式変更、失敗した取得元、通知の重複、実際の課金範囲を検証したい。

ソース: docs.apify.com
2026年11月16日
12 min

毎週月曜に求人の変化をまとめた表を納品する際、厄介なのは、ファイルは定刻に届いたのに求人が半分になっている状況だ。企業が求人を取り下げたのか、それともスクレイパーが次のページを取りこぼしたのか。Apify は既製の収集プログラムを Actor と呼び、実行、スケジュール、保存機能を提供する。Bright Data は既製 Scraper API、収集済みデータセット、ブラウザー基盤を販売している。選定の鍵は、誰がスクレイパーを修理し、誰が今週のデータを週報に使えると確認するかにある。

保守担当者を選び、入出力を管理し、独自の処理フローを残したいチームは、Apify を優先して評価するとよい。対象サイトに Bright Data が保守する Scraper API があり、項目と納品方法が要件を満たすなら、後者のほうがスクレイパーの修理をベンダーに任せやすい。本稿は 2026 年 11 月 10 日に確認した公式資料に基づく分析であり、実機検証はしていない。対象は、取得の許可がある公開求人の会社、職種、地域、掲載日、参照元 URL に限定する。求職者情報は収集せず、ログインやアクセス制限も回避しない。

修復責任は製品と保守担当者ごとに確認する

Apify の開発者・保守担当者の説明は、公式、コミュニティ、パートナーの Actor を区別している。公式に保守するものは Apify が更新と修復を担い、コミュニティ版のコードと保守は開発者が担う。Partner も独立した開発者であり、バッジを、すべての Actor をプラットフォームが保証する約束と捉えてはいけない。調達時には単に「Apify を購入」と記すのではなく、選んだ Actor、保守担当者、項目サンプル、問題発生時の連絡先を記録すべきだ。

一方、Bright Data の Web Scraper API ページは、ライブラリー内のスクレイパーを同社が構築、テスト、保守し、自動修復機能も提供すると説明している。これによって保守の相手をベンダーに集約できる。ただし、マーケティングページだけでは、特定の求人サイトの改修後、どれだけで復旧するかは証明できない。修復対応と項目変更の通知は契約で確認する必要がある。

他製品を同じ約束の範囲に含めてはいけない。Jobs Datasetsは収集済みの求人データを販売し、日次、週次、月次、カスタム更新を取り決められるが、ページには月次更新のプラン表示もあるため、実際に購入する更新頻度を確認しなければならない。指定した URL を毎週その場で再収集することと同義ではない。Browser API はリモートブラウザーの層だ。抽出ロジックを自作する場合、それを利用しているだけで求人項目の保守までベンダーが担うとは判断できない。対象サイトが既製ライブラリーにない場合、Scraper Studioにも自分で設定する方式とマネージドサービスがある。日常運用を委ねられるかどうかは、購入する方式ごとに確認する必要がある。

スケジュールの成功だけでなく、データ納品の成功も確認する

Apify のスケジュールに関するドキュメントでは、cron とタイムゾーンに対応し、入力、build、タイムアウトも設定できる。同時に、システム負荷などで開始が遅れる可能性も注意事項として挙げている。月曜 8 時の起動は、8 時に検収済みの週報を受け取れることを意味しない。チームは別途締め切りを設定し、実行 ID、対象範囲、完了状態を記録すべきだ。

Datasetは JSON、CSV などでエクスポートできるが、データは追記のみとなる。名前のないデータセットは通常 7 日後に期限切れとなり、名前付きデータセットは長期保存できる。週次タスクで前週のサンプル保存を次の実行まで待つと、比較の基準を失っている可能性がある。その回の検収後にスナップショットを保管し、追記型ストレージを週をまたぐ自動重複排除と考えないことが重要だ。

Webhook のドキュメントによると、2XX 以外の応答で指数バックオフが発動し、11 回の再試行後に停止する。また、通知がまれに重複する可能性もある。これは通知の配送の再試行であり、失敗した収集が再実行されて完了したことを意味しない。受信側は実行 ID を使って重複登録を防ぎ、記録を永続化してから受領応答を返し、収集の失敗は別途処理する必要がある。

Bright Data Web Scraper API は API や webhook などの納品経路を提供するが、こちらもファイルの到着は検収の出発点にすぎない。どちらでも、週報の担当者が項目、取得元のカバー範囲、今週の対象期間を照合する必要がある。HTTP の成功を求人データの完全性の代わりにしてはいけないし、単一の「完了」イベントで前週の正式な表を直接上書きしてもいけない。

形式が変わったら差分の結論をいったん保留する

たとえば、従来は文字列だった地域フィールドが新しい版では配列になったり、掲載日が突然空欄になったりする。スクレイパーの担当者は出力を直し、週報の担当者は新旧の値の比較方法を決める。この二つの仕事には、それぞれ担当者を割り当てるべきだ。Bright Data の Scraper Studio FAQは、マネージドスクレイパーの入力または出力 schema を変更した後、コードがまだ対応していないと互換性エラーになると明記している。この根拠は同製品に限られ、すべての Scraper API に同じバージョン保護があるとは推論できない。

週報では、元サイトの求人 ID または正規化した URL を照合の手掛かりとして残し、収集時刻と実行 ID を別途保存する。掲載日が欠けているなら欠損と明示し、収集日で代用しない。元の ID や URL も変わり得るため、確実に照合できないレコードは人手で確認し、求人名が同じという理由だけで自動統合してはいけない。

さらに重要なのは、「消えた」求人を要確認の状態に置くことだ。今週の該当取得元の収集が検収を通過し、対象範囲が変わっておらず、元のページが実際に削除されたか、明確に募集を終了したと再確認できた場合だけ、掲載終了と報告する。タイムアウト、空のファイル、項目異常は失敗一覧に入れる。アクセス権限上、取得が認められなくなったなら停止し、検証不能と明示する。この慎重な判断は掲載終了の一部の集計を遅らせるが、障害を企業の採用縮小と解釈する誤りを防ぐ。

返却行数だけでなく、検収までのコストを計算する

Apify の現行のストア課金説明は、イベント単位とリソース使用量単位の二種類を示している。イベントは結果の生成の場合も、Actor の起動の場合もある。多くのイベント料金にはプラットフォームのリソースが含まれるが、一部は別料金であり、実行後のデータセットの読み書きにも費用が生じ得る。実行失敗が自動的に支出ゼロを意味するわけではなく、個別 Actor の課金イベント、リソース、すでに生成された結果に基づいて計算しなければならない。

Bright Data の Web Scraper API 料金ページは、納品に成功した場合だけ課金し、失敗した納品には課金しないと説明している。この範囲を Browser API、データセット、Studio にまで広げてはいけない。また、課金対象の各レコードが業務上の検収基準を満たすという意味でもない。古い求人の重複返却、地域の空欄、その後の人手による確認には、なおチームのコストがかかり得る。

毎週 10,000 件を取得し、連続 4 回で 40,000 件の納品レコードを得たが、新規求人は 2,000 件だけだったと仮定する。予算は、実際の課金基準に応じてまず 40,000 件、または対応するイベントやリソースで計算すべきであり、新規件数で請求額を見積もってはいけない。無料枠、重複レコードに対する課金の例外、再実行料金の有無は、個別製品の見積もりで確認する。さらに、保管、変換、アラート、人手による修復の時間を加えて初めて、検収に合格した週報一つ当たりのコストを比較できる。

2 週間の検収で長期的な責任の担い手を決める

未実施の検収案として、許可を得た取得元を 3 つ選び、2 週間連続で前述の 5 つの業務項目と実行情報を保存する方法が考えられる。2 週目には自分たちのテスト用コピーで地域形式の変更を一つ、通知の重複を一回、取得元の失敗を一つ発生させる。正式な表が上書きされず、重複登録が起きず、失敗した取得元の求人をすべて掲載終了と判定しないことを要件とする。そのうえで、新規または変更されたレコードを 20 件、人手で照合する。

既製 Actor のカバー範囲が業務に合っており、保守担当者との調整や例外処理をチームで担えるなら、Apify の組み合わせの自由度には価値がある。Bright Data の既製 API が対象をカバーし、同社が修復と納品の責任範囲を確認できるなら、複数のスクレイパー作者への依存を減らせる。ベンダーが保有する求人データベースの定期更新だけで足りるなら、Datasets の範囲と更新契約を別途評価する。最終的な検収責任は、やはりチーム内で明確にすべきだ。スクレイパーを直す人と差分を確認する人がいてこそ、定刻に届いた不良ファイルを週報が事実として扱うことを防げる。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:docs.apify.com