Crawl4AI 与 ScrapeGraphAI:产品目录字段,哪些交给选择器,哪些交给模型

稳定模板优先用 Crawl4AI 的选择器规则,语义字段再交给模型;跨模板可先评估 ScrapeGraphAI。选型要分开核对商品覆盖、字段证据与空值,模型 schema 不能替代事实验证。

来源: crawl4ai.com
2026年11月16日
7 min

产品运营把获授权的公开目录整理成表格,最怕的往往不是没有 JSON,而是价格串到另一款商品、缺货被写成有货,或者页面没翻完却没有报错。Crawl4AI 与 ScrapeGraphAI 都能提取结构化数据,选择应围绕字段怎样定位、怎样证明,以及变化后谁来修复。

同一模板的大批量目录,优先评估 Crawl4AI 的选择器提取,再把少量语义字段交给模型;跨模板、主要靠文字理解的任务,可先评估 ScrapeGraphAI 的提示词与 schema 路径。下面的样例是验收设计,未进行实际采集测试。只讨论允许采集的公开内容,仍须遵守网站许可、robots 规则和访问频率限制。

先分清产品,再比较提取方式

Crawl4AI 开源库提供 CSS、XPath 和 LLM 提取,但它已经有官方 Cloud 托管服务,不能再用“本地工具对云 API”概括两家。本文的选择器配置依据开源库文档;选云服务时,应另核对接口是否暴露所需参数,不能默认库里的配置原样可用。

ScrapeGraphAI 的开源仓库区分自行运行的 scrapegraphai 与托管 API 的 SDK。前者的 SmartScraperGraph 接收提示词和单页来源,模型及运行环境由团队配置;托管服务管理模型与浏览器。旧资料里的 SmartScraper 名称,不能让人把开源图流程与当前 API 当成同一个接口。当前 Extract接收 URL、HTML 或 Markdown、提示词及可选 JSON schema,返回结构化结果。

因此,需要本地模型不等于只能选 Crawl4AI,需要托管也不等于只能选 ScrapeGraphAI。更有用的问题是:团队愿意维护每种页面的定位规则,还是愿意持续核验模型对每个字段的解释?

把稳定字段留给规则,把解释留给模型

Crawl4AI 的无 LLM 提取可以定义商品容器,再用 CSS 或 XPath 取容器内的标题、属性与嵌套字段;也能让模型先生成选择器 schema,再复用规则。这里模型帮助写规则,不必每次读取商品都调用模型。生成结果仍要人工审查,尤其要避免位置选择器因广告插入而错位。

假设目录有名称、SKU、现价、币种和交付说明。SKU 与价格位置稳定,就用规则取得原始文本;“预订后约两周发货”这类说明,再让模型整理为约定字段。Crawl4AI 的 LLM 策略支持 schema 与分块处理,适合这种解释工作,但增加模型用量及结果核验。把两种策略串起来的路由、合并和异常处理,仍由应用负责。

ScrapeGraphAI 更适合先用统一提示词描述目标,再用 schema 固定输出形状。跨模板时,这可以减少逐站写定位规则的工作,但需要为“现价”“起价”“划线价”写清含义。它的 Schema 服务生成的是 JSON 输出约束,不是 CSS 定位规则,也不会证明某个价格确实来自目标商品。

混合使用不必更换整套采集器:当前 Extract 支持输入已有 HTML 或 Markdown,因此可以把获授权、已保存的商品片段交给它解释。但截取片段时必须保留价格标签、规格和商品边界,不能只留下几个数字,再要求模型猜它们的关系。托管调用还意味着内容会发送到服务方,需要纳入团队的数据处理许可。

找齐商品与填对字段,分开验收

Crawl4AI 的深度采集提供深度、域名与过滤控制;页面交互可执行 JavaScript、等待内容并处理“加载更多”。发现链接与展开当前页面是不同工作,设置了深度并不自动证明所有分页商品都出现。

ScrapeGraphAI 托管 Crawl同样可以沿链接探索,限制页数、深度与包含路径,并异步返回任务状态。获取实际页面内容还要读取分页结果接口;API 结果的游标翻页,与目标网站商品目录的翻页不能混为一谈。开源库接收多个来源的能力,也不能直接当作托管 Crawl 的全部功能。

实际验收应先列出预期商品 URL,再检查每个 URL 的提取状态。首页拿到 20 条漂亮数据,不能证明另一个分页上的商品不存在。遇到验证码、拒绝访问或许可不明确,应停止并确认授权,不把绕过限制当作补全数据的方法。

让空值、来源和刷新有明确含义

建议固定业务字段 name、sku、price、currency、availability,另保存 source_url、fetched_at 与证据片段。这是应用的数据约定,不是两家自动保证的交付格式。来源 URL 与时间由采集程序写入,不让模型凭记忆补齐;证据片段应能在保存的页面版本中逐字找到。

缺少价格时允许 null,同时区分“原页面未提供”“页面未加载完整”和“提取失败”。字段必须存在与字段必须有数值是两件事:把价格设成只能是数字,容易把合理缺失变成错误补值。也不能把空库存当成缺货,或把 null 变成零元。选择器可能稳定地取错区域,模型也可能生成格式完全合法的错误值,因此 schema 校验之后还要检查商品边界与原文。

刷新时保留旧的已验证记录,把新结果放进待核验区。页面获取超时可按限次、退避策略重试;字段冲突应保留证据并进入人工检查,不通过反复询问模型直到得到喜欢的答案。旧价格继续展示时必须标明旧采集时间,不能把上一次成功伪装成今天的更新。

用一份小目录决定是否采用

可以准备 30 个获授权商品页面,覆盖 3 种模板:每种 10 个,包含正常售价、只有起价、价格缺失、缺货和推荐商品干扰。人工标注每个目标字段及原文位置,两套方案使用相同页面快照和输出约定。先分别运行规则与模型方案,再比较只把歧义字段交给模型的混合方案。

验收至少记录:预期 URL 覆盖数、商品匹配正确数、非空字段正确数、应为空而被填值的数量,以及每条通过验收记录的总成本。把跨商品串值和捏造价格设为阻断项;允许多少真实缺失,则由业务负责人事先约定。再修改一个模板、让一次页面读取失败,并重复运行相同快照,检查告警、重试与输出差异。这些是待执行的测试步骤,不是工具已达到的成绩。

稳定模板反复刷新,且有人维护规则时,Crawl4AI 的规则优先路线更值得先试;模板分散、字段依赖文本解释,且团队能承担抽样复核时,ScrapeGraphAI 的模型优先路线更合适。成本应合计浏览器或托管用量、模型、重跑和人工修复,不能用“开源免费”或一次成功的 JSON 代替预算。如果目录所有者已有获授权的结构化导出,先比较那条路径。最后购买的是可追溯、可修复的商品记录,而不只是一次提取成功。

内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。

原文出处:crawl4ai.com