Crawl4AI と ScrapeGraphAI:商品カタログのどのフィールドをセレクターに、どれをモデルに任せるか

安定したテンプレートでは Crawl4AI のセレクター規則を優先し、意味解釈が必要なフィールドをモデルに任せたい。テンプレートをまたぐなら ScrapeGraphAI を先に評価できる。商品網羅性、フィールドの証拠、空値を別々に確認し、モデル用 schema を事実検証の代わりにしてはいけない。

ソース: crawl4ai.com
2026年11月16日
11 min

製品運用担当者が許可された公開カタログを表にまとめるとき、怖いのは JSON がないことより、別商品の価格が混じる、在庫切れを在庫ありと書く、ページを最後まで巡回していないのにエラーが出ないことだ。Crawl4AI と ScrapeGraphAI はどちらも構造化データを抽出できる。フィールドをどう特定し、どう裏付け、変化後に誰が直すかを軸に選ぶべきだ。

同一テンプレートの大量カタログなら Crawl4AI のセレクター抽出を優先評価し、少数の意味的なフィールドをモデルに任せたい。テンプレートが異なり、主に文章理解を必要とするなら ScrapeGraphAI のプロンプトと schema の経路を先に評価できる。この判断は 以下は受け入れ確認の設計で、実際の収集試験はしていない。収集が許可された公開内容だけを扱い、サイトの許可、robots 規則、アクセス頻度制限も守る必要がある。

製品を区別してから抽出方式を比べる

Crawl4AI のオープンソースライブラリは CSS、XPath、LLM 抽出を提供するが、すでに公式の Cloud ホスティングサービスもあるため、両社を「ローカルツール対クラウド API」とは説明できない。本記事のセレクター設定はオープンソースライブラリ文書に基づく。クラウドを選ぶ際は必要なパラメーターが公開されるか別途確認し、ライブラリ設定をそのまま使えると想定してはいけない。

ScrapeGraphAI のオープンソースリポジトリは、自分で実行する scrapegraphai とホスト型 API の SDK を区別する。前者の SmartScraperGraph はプロンプトと単一ページのソースを受け取り、モデルと実行環境はチームが設定する。ホスト型サービスはモデルとブラウザーを管理する。古い資料の SmartScraper という名称を理由に、オープンソースのグラフフローと現行 API を同一インターフェースと考えてはいけない。現行の Extractは URL、HTML、Markdown のいずれか、プロンプト、任意の JSON schema を受け取り、構造化結果を返す。

したがって、ローカルモデルが必要だから Crawl4AI だけ、ホスティングが必要だから ScrapeGraphAI だけ、とはならない。より有用なのは、チームがページの種類ごとの位置特定規則を維持するか、モデルによる各フィールドの解釈を継続確認するかという問いだ。

安定したフィールドは規則に、解釈はモデルに任せる

Crawl4AI の LLM なしの抽出では、商品コンテナーを定義し、その中のタイトル、属性、入れ子フィールドを CSS や XPath で取得できる。モデルにセレクター schema を作らせ、その規則を再利用することもできる。モデルが規則作成を助ける方式なので、商品を読むたびにモデルを呼ぶ必要はない。ただし生成結果は人が確認し、特に広告挿入で位置セレクターがずれることを避ける必要がある。

カタログに名前、SKU、現在価格、通貨、配送説明があるとする。SKU と価格の位置が安定していれば規則で生テキストを取り、「予約から約二週間で発送」のような説明はモデルで合意したフィールドに整理する。Crawl4AI の LLM 戦略は schema と分割処理に対応し、この解釈作業に向くが、モデル使用量と結果検証が増える。二つの戦略をつなぐルーティング、マージ、例外処理はアプリの責任だ。

ScrapeGraphAI は、共通のプロンプトで目標を説明し、schema で出力形状を固定する方式に向く。異なるテンプレートではサイトごとの位置規則作成を減らせるが、「現在価格」「最低価格」「取り消し線価格」の意味を明記する必要がある。Schema サービスが生成するのは JSON 出力制約であり、CSS の位置規則ではなく、価格が対象商品に由来する証明にもならない。

混合利用で収集器全体を替える必要はない。現行 Extract は既存 HTML や Markdown を受け取れるため、許可を得て保存した商品断片の解釈を任せられる。ただし切り出すときは価格ラベル、仕様、商品の境界を残し、数字だけを渡して関係を推測させてはいけない。ホスト型呼び出しでは内容がサービス提供者へ送られるため、チームのデータ処理許可に含める必要もある。

商品をそろえることと、フィールドを正しく埋めることを分ける

Crawl4AI の深いクロールは深度、ドメイン、フィルターを制御でき、ページ操作は JavaScript の実行、コンテンツ待機、「さらに読み込む」の処理ができる。リンク発見と現在ページの展開は別作業であり、深度設定だけでは全ページの商品が現れた証明にならない。

ScrapeGraphAI のホスト型 Crawlもリンクをたどり、ページ数、深度、含めるパスを制限し、非同期でタスク状態を返せる。実際のページ内容の取得にはページ分割された結果 API を読む必要がある。API 結果のカーソル送りと対象サイトの商品カタログのページ送りを混同してはいけない。オープンソースライブラリが複数ソースを受け取る機能を、ホスト型 Crawl の全機能とみなすこともできない。

受け入れ確認では、まず期待する商品 URL を一覧にし、各 URL の抽出状態を確認すべきだ。トップページで整ったデータを 20 件得ても、別ページの商品がない証拠にはならない。CAPTCHA、アクセス拒否、許可不明に遭遇したら停止して権限を確認し、制限回避をデータ補完の方法にしてはいけない。

空値、出所、更新の意味を明確にする

業務フィールドを name、sku、price、currency、availability に固定し、別に source_url、fetched_at、証拠断片を保存したい。これはアプリのデータ規約であり、両製品が自動保証する納品形式ではない。出所 URL と時刻は収集プログラムが書き込み、モデルに記憶で補わせない。証拠断片は保存したページ版から逐語的に見つけられるべきだ。

価格がなければ null を許し、「元ページにない」「ページ読み込みが不完全」「抽出失敗」を区別する。フィールドの存在必須と数値必須は別であり、価格を数字だけに制限すると妥当な欠落を誤補完に変えやすい。空の在庫を在庫切れとしたり、null をゼロ円にしたりしてもいけない。セレクターは安定して誤領域を取ることがあり、モデルも完全に合法な形式で誤値を出せるため、schema 検証後も商品の境界と原文を確認する必要がある。

更新では古い検証済みレコードを残し、新結果を確認待ち領域へ置く。ページ取得のタイムアウトは回数制限とバックオフで再試行できるが、フィールド矛盾は証拠を保存して人の確認へ送り、好みの回答が出るまでモデルに聞き直してはいけない。古い価格を表示し続けるなら古い収集時刻を明記し、前回の成功を今日の更新に見せかけてはいけない。

小さなカタログで採用を決める

許可された商品ページ 30 件を、3 テンプレート各 10 件で用意できる。通常価格、最低価格だけ、価格欠落、在庫切れ、おすすめ商品の混入を含める。人が各対象フィールドと原文位置を注釈し、二つの方式で同じページスナップショットと出力規約を使う。規則方式とモデル方式をそれぞれ実行した後、曖昧なフィールドだけをモデルに渡す混合方式を比較する。

確認では少なくとも、期待 URL の網羅数、正しい商品対応数、非空フィールドの正解数、空であるべきなのに埋めた数、合格レコード一件あたりの総費用を記録する。商品間の値の混入と価格の捏造をブロック条件にし、実際の欠落をどこまで認めるかは業務責任者が事前に合意する。さらにテンプレートを一つ変更し、ページ読み込みを一回失敗させ、同じスナップショットを繰り返し処理して、警告、再試行、出力差分を確認する。これは今後実行するテスト手順で、ツールが達成済みの成績ではない。

安定したテンプレートを繰り返し更新し、規則の保守担当者がいるなら Crawl4AI の規則優先方式を先に試したい。テンプレートが分散し、フィールドが文章解釈に依存し、チームが抜き取り確認を担えるなら ScrapeGraphAI のモデル優先方式が合う。費用はブラウザーまたはホスティング使用量、モデル、再実行、人の修正を合算し、「オープンソースは無料」や一度成功した JSON で予算を代替してはいけない。カタログ所有者に許可された構造化エクスポートがあれば、その経路を先に比較したい。購入するのは追跡・修復可能な商品レコードであり、一度の抽出成功だけではない。

内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。

元の出典:crawl4ai.com