Langfuse vs LangSmith:月末にエラー記録を確認できても、期限切れデータが削除済みとは限らない
月次レビュー用のトレーシング基盤は、閲覧可能期間、実際の削除、評価サンプルのコピー、課金単位を分けて比較したい。Langfuse の履歴アクセスと LangSmith の段階別保持は管理方法が異なり、どちらが一律に安いとは言えない。
アプリの公開後に時折誤った回答が出るため、チームは月末のレビューで、そのときの入力、モデルの出力、ツール呼び出しを取り出したい。この場面で Langfuse と LangSmith を選ぶ際、最も誤解しやすいのはトレース画面の有無ではない。1 か月後に何が見えるのか、そして「見えない」ことがデータの削除を意味するのかだ。日常的に長い期間の履歴を参照し、複数人で分析したいなら、まず Langfuse Cloud を評価できる。大量の短期デバッグ記録と少量の長期保持サンプルを分けて管理したいなら、LangSmith の保持階層を検証する価値がある。どちらも、機微なフィールドの処理と削除範囲を別途設計する必要がある。導入時の性能測定は含まない。
Langfuse は現在、data access と data retention を明確に区別している。Hobby では 30 日、Core では 90 日、Pro と Enterprise では 3 年分の履歴を閲覧できる。アクセス期間は閲覧できる履歴を制限するもので、古いデータを自動削除するわけではない。毎月レビューするチームにとって、Core の 90 日間は短期デバッグだけに足りる期間より余裕がある。ただし、これを根拠に顧客へ「90 日後にデータが消える」と約束することはできない。自動削除が必要なら、Data Retention 機能と対象プランを別途確認しなければならない。
一方、LangSmith の料金ページでは、base traces の保持期間は 14 日、extended traces は 180 日とされている。管理ドキュメントによると、期限後は画面や API からトレース記録にアクセスできなくなり、関連するユーザーの入力と出力はその後 1 日以内に内部システムから削除される。ただし、一部の分析・課金メタデータは引き続き保持される可能性がある。月末にまとめて問題を調査するチームでは、14 日で証拠を失っているかもしれない。月末に欠落に気づいて追加購入するのではなく、収集時点でどの記録を延長するか決めておくべきだ。現在のルール変更が適用されるのは新しい記録だけであり、古い記録すべてを新設定で判断することはできない。
同じ月末レビューでも、設定すべき項目は異なる
チームが週に 1 回プロンプトを更新し、月末に結果の悪かった質問応答を見直すとする。Langfuse ではまずレビュー周期をカバーするアクセス期間を選び、次にプロジェクト単位の削除までの日数を決められる。LangSmith では通常のデバッグ記録と長期比較が必要な記録を階層分けする。前者では「画面上の期限は切れてもデータは残っている」こと、後者では「レビューを始めた時点で元の記録が期限切れになっている」ことを防ぐ必要がある。これは業務の進め方と保持ルールを合わせる問題であり、どちらかが本質的にプライバシー要件に適合しているという話ではない。
LangSmith には、料金と保持期間を同時に変える細部もある。保持延長を有効にしたオンライン評価器や自動化ルールは、条件に一致する base trace を extended に変更する場合がある。現在のドキュメントでは、新しく作る評価器とルールは延長がデフォルトで有効になり、設定時に無効化を選べるとされている。すべての採点、フィードバック、キューへの追加を一括して自動的な値上がりと説明することはできない。品質チェックを設定する前に保持期間も延長するか確認し、少量のサンプルで請求上のカウントを見たい。
Langfuse の Data Retention は現在、Cloud Pro、Enterprise、およびセルフホストの Enterprise Edition に提供されている。設定はプロジェクトごとであり、組織内の全プロジェクトが同じポリシーを継承していると仮定してはいけない。公式説明では、プロジェクトの保持ルールは監査ログやデータセット項目を削除せず、データセットに保存した入力、期待する出力、メタデータは残り続ける。LangSmith のデータセットも、trace とは独立した長期保持の動作を持つ。そのため、本番の記録を評価サンプルにコピーした場合、元の trace を削除してもすべてのコピーが消えるわけではない。チームはデータセットのアクセスと整理・削除の責任を別に定めるべきだ。
使用量の単位が違うため、10 万件をすべて 10 万回の会話と考えない
Langfuse Core は現在月額 29 米ドルで、100,000 billable units を含む。超過後の最初の使用量区間は 100,000 units あたり 8 米ドルで、ユーザー数に制限はない。unit には trace、フロー内の observations、scores などのデータポイントが含まれる。同じリクエストでも記録を細かくしたり採点を追加したりすれば、単位数が増える可能性がある。LangSmith Plus は 1 席あたり月額 39 米ドルで、月間 10,000 base traces を含み、その後は従量課金になる。trace にはアプリの 1 回の実行に含まれる複数のステップを収められる。席が必要なメンバーが 3 人なら、基本の席料金だけで月額 117 米ドルとなり、使用量やその他のサービス料金はまだ含まれていない。
これらの数字だけでどちらが安いかは判断できない。まず同じリクエスト群を使い、双方で実際に生じたデータポイント、trace、保持を延長した記録、分析に参加する人数をそれぞれ集計してから、全体の見積もりを取る。自動評価でモデルを使うなら、その推論料金も確認する必要がある。「100,000 units」と「10,000 traces」だけを比較すると、違う単位を同じ容量として扱い、保持ポリシーの変更によるコストも見落としてしまう。
組織が自社でのデプロイを求める場合、Langfuse は公式にセルフホストの方法を提供しているが、一部の追加機能には引き続きライセンスが必要だ。デプロイ構成にはアプリ、バックグラウンド処理、複数のストレージコンポーネントがあり、クラウドのサブスクリプション価格だけを見て保守やバックアップの責任を消すことはできない。LangSmith の料金ページは、セルフホストとハイブリッドデプロイを Enterprise のカスタムプランに含めている。この場合は、同じ保持要件、管理能力、運用保守サービスを比較すべきで、片方のオープンソースの導入手段を、もう片方の企業向け契約全体の価格と比べるべきではない。
最後は、機能一覧だけでなく、一度の期限切れ演習で判断できる。実際の顧客情報を含まないトレースサンプルを作り、そのうち 1 件をデータセット項目にコピーし、必要な保持ポリシーを設定して、画面、API、データセット、監査記録の動作をそれぞれ確認する。複数人で長めの閲覧期間を共有したいなら、Langfuse の単位課金とアクセス期間を先に試算する価値がある。大量の短期デバッグと少量の延長記録を重視するなら、LangSmith の階層別保持を先に検証したい。調達条件に本当に書き込むべきなのはレビュー周期、削除範囲、責任者であり、単なる「ログ保持に対応」ではない。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:langfuse.com