Langfuse vs LangSmith:月末还能查到错误记录,不等于过期数据已删除
为月度复盘选择追踪平台,应分开比较访问窗口、真正删除、评测样本副本和计费单位。Langfuse 的历史访问与 LangSmith 的分层保留对应不同管理方式,没有统一低价赢家。
应用上线后偶尔答错,团队想在月末复盘时找回当时的输入、模型输出和工具调用。此时选择 Langfuse 还是 LangSmith,最容易误判的不是谁有追踪面板,而是一个月后到底还能看见什么,以及“看不见”是否代表数据已经删除。若需要较长的日常查阅窗口、希望多人一起分析,可先评估 Langfuse Cloud;若希望把大量短期调试记录与少量长期保留样本分开管理,LangSmith 的保留层级值得验证。两边都需要另外设计敏感字段处理与删除范围。不包含接入性能实测。
Langfuse 当前把 data access 与 data retention 明确分开。Hobby 可查看 30 天历史,Core 为 90 天,Pro 与 Enterprise 为 3 年;访问窗口限制能查看的历史,并不自动删除更早的数据。对每月复盘的团队,Core 的 90 天窗口比只够短期调试的窗口更宽,但不能据此对客户承诺“90 天后数据消失”。需要自动删除时,必须另外核对 Data Retention 功能及适用套餐。
LangSmith 的定价页则把 base traces 的保留期列为 14 天,extended traces 为 180 天。其管理文档说明,到期后追踪记录不再能通过界面或 API 访问,相关用户输入输出在之后一天内从内部系统删除,但部分分析与计费元数据可能继续保留。对月末才集中排障的团队,14 天可能已经错过证据;应该在采集时确定哪些记录需要延长,而不是月底发现缺失再补买。当前规则更改只适用于新记录,旧记录不能一概按新设置推断。
同样是月末复盘,两边要配置的东西不同
假设团队每周更新一次提示词,并在月底复查表现差的问答。Langfuse 可以先用能覆盖复盘周期的访问窗口,再决定项目级删除天数;LangSmith 则要把普通调试记录与需要长期比较的记录分层。前者要防止“界面过期但数据仍存”,后者要防止“开始复盘时原始记录已经到期”。这是工作安排与保留规则的匹配,不是某个平台天然更符合隐私要求。
LangSmith 还有一个会同时改变费用与保留期的细节:启用保留延长的在线评估器或自动化规则,可能把匹配的 base trace 升为 extended。当前文档说新建评估器和规则默认启用延长,可以在配置时选择退出;不能把所有评分、反馈或加入队列都笼统说成自动涨价。配置一项质量检查前,应同时检查它是否延长留存,再用少量样本查看账单计数。
在 Langfuse,Data Retention 当前提供给 Cloud Pro、Enterprise,以及自托管 Enterprise Edition。它按项目设置,不能默认一个组织中的全部项目已继承相同策略。官方说明,项目留存不删除审计日志或数据集条目,保存进数据集的输入、预期输出和元数据会继续存在。LangSmith 的数据集也有独立于 trace 的长期保留行为。因此,将一条生产记录复制为评测样本后,删除原始 trace 不等于所有副本消失;团队应给数据集另设访问与清理责任。
用量单位不同,别把十万条都当成十万次对话
Langfuse Core 当前为每月 29 美元,含 100,000 billable units,超过后的首个用量区间为每 100,000 units 8 美元,并不限用户数。它的 unit 包括 trace、流程内 observations 与 scores 等数据点。同一次请求记录得更细,或增加评分,都可能增加单位数。LangSmith Plus 为每席位每月 39 美元,含每月 10,000 base traces,再按用量计费;其 trace 可以包含一次应用执行的多个步骤。三名需要席位的成员,基础席位费就是每月 117 美元,尚未加用量或其他服务费用。
这些数字不能直接得出谁便宜。先取一批相同请求,分别统计双方实际生成的数据点、trace、延长保留记录和参与分析人数,再获取完整报价。自动评估若使用模型,还要核对对应推理费用。只比较“100,000 units”与“10,000 traces”会把不同单位当成同一种容量,也会忽略保留策略改变的成本。
如果组织要求自有部署,Langfuse 官方提供自托管路径,但部分附加功能仍需许可证;部署架构包含应用、后台处理与多个存储组件,维护与备份责任不能从云订阅价格中消失。LangSmith 的定价页把自托管与混合部署列入 Enterprise 定制方案。此时应比较同样的保留要求、管理能力和运维服务,不宜用一个开源部署入口对比另一个完整企业合同价格。
最终可以用一次过期演练决定,而不只是看功能清单:建立不含真实客户信息的追踪样本,将其中一条复制成数据集项,设置所需保留策略,再分别确认界面、API、数据集与审计记录的行为。需要多人共享较长查阅窗口时,Langfuse 的单位计费与访问窗口值得先算;偏向大量短期调试、少量延长记录时,LangSmith 的分层保留值得先验证。真正需要写入采购条件的是复盘周期、删除范围与责任人,而不是一句“支持日志留存”。
内容说明:本文基于公开资料整理,仅供工具选型参考。产品功能、价格及相关政策可能随时调整,请以官方最新信息为准。
原文出处:langfuse.com