turbopuffer

turbopuffer は、ベクトル、全文、ハイブリッド、フィルター、正規表現による検索に対応した、オブジェクトストレージネイティブな検索エンジンです。永続状態はオブジェクトストレージに保持し、NVMe SSD とメモリをコンピューティング用キャッシュとして使用します。この設計は、インデックス全体をメモリに常駐させることなく、ペタバイト規模でストレージコストを抑えることを目的としています。同サービスによると、本番ワークロードは 4 兆件を超えるドキュメント、毎秒 1,000 万件の書き込み、毎秒 25,000 件のクエリに及びます。検索機能には、フィルター付きの密ベクトルと疎ベクトル、テキストのランキングとブースト、トライグラムを利用した正規表現、暗号化、コピーオンライト方式の名前空間分岐が含まれます。トレードオフはレイテンシーにばらつきがある点です。オブジェクトストレージへの直接書き込みは遅く、キャッシュもピン留めもされていないデータではコールドクエリが発生する可能性があります。turbopuffer は、アプリケーション側での再ランキングや独自ロジックの前に大規模なコーパスを絞り込む、第1段階の検索に適しています。購入を検討する際は、月額最低利用額を試算し、自社のアクセスパターンに照らしてコールドクエリの挙動をベンチマークする必要があります。