Crawl4AI 與 ScrapeGraphAI:產品目錄欄位,哪些交給選擇器、哪些交給模型

穩定範本優先採用 Crawl4AI 的選擇器規則,語意欄位再交給模型;跨範本可先評估 ScrapeGraphAI。選型要分開核對商品涵蓋、欄位證據與空值,模型 schema 不能取代事實驗證。

來源: crawl4ai.com
November 16, 2026
1 min

產品營運人員將獲授權的公開目錄整理成表格,最怕的往往不是沒有 JSON,而是價格串到另一款商品、缺貨被寫成有貨,或頁面沒翻完卻沒有報錯。Crawl4AI 與 ScrapeGraphAI 都能擷取結構化資料,選擇應圍繞欄位如何定位、如何證明,以及變動後誰來修復。

相同範本的大量目錄,優先評估 Crawl4AI 的選擇器擷取,再將少量語意欄位交給模型;跨範本、主要依賴文字理解的任務,可先評估 ScrapeGraphAI 的提示詞與 schema 路徑。以下範例是驗收設計,未進行實際採集測試。只討論允許採集的公開內容,仍須遵守網站許可、robots 規則與存取頻率限制。

先分清產品,再比較擷取方式

Crawl4AI 開源函式庫提供 CSS、XPath 與 LLM 擷取,但它已經有官方 Cloud 託管服務,不能再用「本機工具對雲端 API」概括兩家。本文的選擇器設定依據開源函式庫文件;選擇雲端服務時,應另外核對介面是否提供所需參數,不能預設函式庫設定可原樣使用。

ScrapeGraphAI 的開源儲存庫區分自行執行的 scrapegraphai 與託管 API 的 SDK。前者的 SmartScraperGraph 接收提示詞與單頁來源,模型和執行環境由團隊設定;託管服務則管理模型與瀏覽器。舊資料中的 SmartScraper 名稱,不能讓人把開源圖流程與目前 API 當成同一介面。目前的 Extract接收 URL、HTML 或 Markdown、提示詞與選用 JSON schema,回傳結構化結果。

因此,需要本機模型不代表只能選 Crawl4AI,需要託管也不代表只能選 ScrapeGraphAI。更有用的問題是:團隊願意維護每種頁面的定位規則,還是願意持續查核模型對每個欄位的解釋?

把穩定欄位留給規則,把解釋留給模型

Crawl4AI 的無 LLM 擷取可定義商品容器,再以 CSS 或 XPath 取得容器內的標題、屬性與巢狀欄位;也能讓模型先產生選擇器 schema,再重複使用規則。這裡模型協助撰寫規則,不必每次讀取商品都呼叫模型。產生的結果仍要人工審查,尤其要避免位置選擇器因廣告插入而錯位。

假設目錄包含名稱、SKU、現價、幣別與交付說明。SKU 與價格位置穩定,就用規則取得原始文字;「預訂後約兩週出貨」這類說明,再讓模型整理成約定欄位。Crawl4AI 的 LLM 策略支援 schema 與分塊處理,適合這種解釋工作,但會增加模型用量與結果查核。串接兩種策略的路由、合併與例外處理,仍由應用程式負責。

ScrapeGraphAI 更適合先用統一提示詞描述目標,再用 schema 固定輸出形狀。跨範本時,這可減少逐站撰寫定位規則的工作,但需要寫清楚「現價」「起價」「刪除線價格」的含義。它的 Schema 服務產生的是 JSON 輸出約束,不是 CSS 定位規則,也不會證明某個價格確實來自目標商品。

混合使用不必更換整套採集器:目前 Extract 支援輸入既有 HTML 或 Markdown,因此可以將獲授權、已儲存的商品片段交給它解釋。但擷取片段時必須保留價格標籤、規格與商品邊界,不能只留下幾個數字,再要求模型猜測其關係。託管呼叫也代表內容會傳給服務方,需要納入團隊的資料處理許可。

找齊商品與填對欄位,分開驗收

Crawl4AI 的深度採集提供深度、網域與篩選控制;頁面互動可執行 JavaScript、等待內容並處理「載入更多」。發現連結與展開目前頁面是不同工作,設定深度不會自動證明所有分頁商品都已出現。

ScrapeGraphAI 託管 Crawl同樣可沿連結探索,限制頁數、深度與包含路徑,並以非同步方式回傳任務狀態。取得實際頁面內容還要讀取分頁結果介面;API 結果的游標分頁與目標網站商品目錄的翻頁不能混為一談。開源函式庫接收多個來源的能力,也不能直接當成託管 Crawl 的全部功能。

實際驗收應先列出預期商品 URL,再檢查每個 URL 的擷取狀態。首頁取得 20 筆漂亮資料,不能證明另一個分頁上的商品不存在。遇到驗證碼、拒絕存取或許可不明確時,應停止並確認授權,不要把繞過限制當成補齊資料的方法。

讓空值、來源與更新有明確含義

建議固定業務欄位 name、sku、price、currency、availability,另外儲存 source_url、fetched_at 與證據片段。這是應用程式的資料約定,不是兩家自動保證的交付格式。來源 URL 與時間由採集程式寫入,不讓模型憑記憶補齊;證據片段應能在儲存的頁面版本中逐字找到。

缺少價格時允許 null,同時區分「原頁面未提供」「頁面未載入完整」與「擷取失敗」。欄位必須存在與欄位必須有數值是兩件事:把價格設為只能是數字,容易將合理缺漏變成錯誤補值。也不能把空庫存當成缺貨,或把 null 變成零元。選擇器可能穩定地擷取錯誤區域,模型也可能產生格式完全合法的錯誤值,因此 schema 驗證之後還要檢查商品邊界與原文。

更新時保留舊的已驗證記錄,把新結果放進待查核區。頁面取得逾時可依有限次數、退避策略重試;欄位衝突應保留證據並進入人工檢查,不要反覆詢問模型,直到得到喜歡的答案。繼續顯示舊價格時必須標註舊採集時間,不能把上一次成功偽裝成今天的更新。

用一份小目錄決定是否採用

可以準備 30 個獲授權商品頁面,涵蓋 3 種範本:每種 10 個,包含正常售價、只有起價、價格缺漏、缺貨與推薦商品干擾。人工標註每個目標欄位與原文位置,兩套方案使用相同頁面快照與輸出約定。先分別執行規則與模型方案,再比較只把歧義欄位交給模型的混合方案。

驗收至少記錄:預期 URL 涵蓋數、商品比對正確數、非空欄位正確數、應為空卻被填值的數量,以及每筆通過驗收記錄的總成本。將跨商品串值與捏造價格設為阻擋項;允許多少真實缺漏,則由業務負責人事先約定。再修改一個範本、讓一次頁面讀取失敗,並重複執行相同快照,檢查警示、重試與輸出差異。這些是待執行的測試步驟,不是工具已達到的成績。

穩定範本反覆更新,而且有人維護規則時,Crawl4AI 的規則優先路線更值得先試;範本分散、欄位依賴文字解釋,而且團隊能承擔抽樣複核時,ScrapeGraphAI 的模型優先路線更合適。成本應加總瀏覽器或託管用量、模型、重跑與人工修復,不能用「開源免費」或一次成功的 JSON 取代預算。如果目錄擁有者已有獲授權的結構化匯出,先比較那條路徑。最後購買的是可追溯、可修復的商品記錄,而不只是一次擷取成功。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:crawl4ai.com