turbopuffer

turbopuffer ist eine Objektspeicher-native Suchmaschine für Vektor-, Volltext-, Hybrid-, Filter- und Regex-Retrieval. Der dauerhafte Zustand verbleibt im Objektspeicher, während NVMe-SSDs und Arbeitsspeicher als Rechencache dienen. Dieses Konzept zielt auf geringere Speicherkosten im Petabyte-Maßstab ab, ohne dass der gesamte Index im Arbeitsspeicher verbleiben muss. Nach Angaben des Dienstes umfassen die Produktions-Workloads mehr als 4 Billionen Dokumente, 10 Millionen Schreibvorgänge pro Sekunde und 25,000 Abfragen pro Sekunde. Zu den Suchoptionen zählen dichte und dünnbesetzte Vektoren mit Filtern, Textranking und -gewichtung, trigrammgestützte reguläre Ausdrücke, Verschlüsselung sowie Namespace-Verzweigungen nach dem Copy-on-Write-Prinzip. Der Kompromiss besteht in ungleichmäßiger Latenz: Direkte Schreibvorgänge in den Objektspeicher sind langsamer, und nicht zwischengespeicherte oder nicht fixierte Daten können kalte Abfragen auslösen. turbopuffer eignet sich für die erste Retrieval-Stufe, die einen großen Korpus vor dem anwendungsseitigen Neuranking oder eigener Logik verkleinert. Käufer sollten die monatlichen Mindestbeträge kalkulieren und das Verhalten kalter Abfragen anhand ihrer eigenen Zugriffsmuster testen.