Langfuse vs LangSmith:月底還查得到錯誤紀錄,不等於過期資料已刪除
為每月檢討選擇追蹤平台時,應分開比較存取期限、實際刪除、評測樣本副本與計費單位。Langfuse 的歷史存取與 LangSmith 的分層保留對應不同管理方式,沒有一體適用的低價贏家。
應用程式上線後偶爾答錯,團隊希望在月底檢討時找回當時的輸入、模型輸出和工具呼叫。這時選 Langfuse 還是 LangSmith,最容易誤判的不是誰有追蹤面板,而是一個月後到底還能看到什麼,以及「看不到」是否代表資料已經刪除。如果需要較長的日常查閱期限、希望多人一起分析,可以先評估 Langfuse Cloud;如果希望將大量短期除錯紀錄與少量長期保留樣本分開管理,LangSmith 的保留層級值得驗證。兩邊都需要另外設計敏感欄位的處理方式與刪除範圍。不包含串接效能實測。
Langfuse 目前明確區分 data access 與 data retention。Hobby 可以查看 30 天歷史,Core 為 90 天,Pro 與 Enterprise 為 3 年;存取期限限制能查看的歷史,並不會自動刪除更早的資料。對每月檢討的團隊來說,Core 的 90 天期限比僅供短期除錯的期限更寬裕,但不能據此向客戶承諾「90 天後資料就會消失」。需要自動刪除時,必須另外確認 Data Retention 功能與適用方案。
LangSmith 的定價頁則將 base traces 的保留期列為 14 天,extended traces 為 180 天。管理文件說明,到期後,追蹤紀錄將無法再透過介面或 API 存取,相關使用者輸入與輸出會在之後一天內從內部系統刪除,但部分分析及計費中繼資料可能繼續保留。對月底才集中排查問題的團隊來說,14 天可能已經錯過證據;應在蒐集時確定哪些紀錄需要延長,而不是月底發現缺漏才加購。目前規則的變更只適用於新紀錄,不能一概用新設定推斷舊紀錄的狀態。
同樣是月底檢討,兩邊需要設定的項目不同
假設團隊每週更新一次提示詞,並在月底重新檢查表現不佳的問答。Langfuse 可以先選擇足以涵蓋檢討週期的存取期限,再決定專案層級的刪除天數;LangSmith 則要區分一般除錯紀錄與需要長期比較的紀錄。前者要避免「介面已過期但資料仍存在」,後者要避免「開始檢討時原始紀錄已到期」。這是工作安排與保留規則的搭配,不是某個平台天生更符合隱私要求。
LangSmith 還有一項會同時改變費用與保留期的細節:啟用延長保留的線上評估器或自動化規則,可能將符合條件的 base trace 升為 extended。目前文件說明,新建評估器與規則預設啟用延長,可以在設定時選擇停用;不能籠統地把所有評分、回饋或加入佇列都說成會自動漲價。設定一項品質檢查前,應同時確認它是否延長保留,再用少量樣本查看帳單計數。
在 Langfuse,Data Retention 目前提供給 Cloud Pro、Enterprise,以及自行部署的 Enterprise Edition。這項功能依專案設定,不能預設同一組織內所有專案都已繼承相同策略。官方說明,專案保留規則不會刪除稽核日誌或資料集項目,存進資料集的輸入、預期輸出和中繼資料會繼續存在。LangSmith 的資料集也有獨立於 trace 的長期保留行為。因此,將一筆正式環境紀錄複製為評測樣本後,刪除原始 trace 不代表所有副本都會消失;團隊應另外指定資料集的存取與清理責任。
用量單位不同,別把十萬筆都當成十萬次對話
Langfuse Core 目前為每月 29 美元,包含 100,000 billable units,超過後的第一個用量區間為每 100,000 units 8 美元,且不限使用者人數。它的 unit 包含 trace、流程內的 observations 與 scores 等資料點。同一次請求記錄得更細,或增加評分,都可能增加單位數。LangSmith Plus 為每席次每月 39 美元,包含每月 10,000 base traces,之後依用量計費;它的 trace 可以包含一次應用程式執行的多個步驟。三名需要席次的成員,基本席次費就是每月 117 美元,尚未加上用量或其他服務費用。
這些數字不能直接判斷誰比較便宜。應先取一批相同請求,分別統計雙方實際產生的資料點、trace、延長保留紀錄及參與分析的人數,再取得完整報價。自動評估如果使用模型,還要確認對應的推論費用。只比較「100,000 units」與「10,000 traces」,會把不同單位當成同一種容量,也會忽略保留策略改變所帶來的成本。
如果組織要求自有部署,Langfuse 官方提供自行部署的途徑,但部分附加功能仍需要授權;部署架構包含應用程式、背景處理和多個儲存元件,維護與備份責任不能因為引用雲端訂閱價格就不計入。LangSmith 的定價頁將自行部署與混合部署列入 Enterprise 客製方案。這時應比較相同的保留要求、管理能力與維運服務,不宜拿一個開源部署入口,去對比另一個完整企業合約的價格。
最後,可以透過一次到期演練來決定,而不只是看功能清單:建立不含真實客戶資訊的追蹤樣本,將其中一筆複製成資料集項目,設定所需的保留策略,再分別確認介面、API、資料集與稽核紀錄的行為。需要多人共用較長查閱期限時,值得先計算 Langfuse 的單位計費與存取期限;偏向大量短期除錯、少量延長紀錄時,值得先驗證 LangSmith 的分層保留。真正需要寫進採購條件的是檢討週期、刪除範圍與負責人,而不是一句「支援日誌保留」。
內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。
原文出處:langfuse.com