turbopuffer

turbopuffer é um mecanismo de pesquisa nativo de armazenamento de objetos para recuperação vetorial, de texto completo, híbrida, filtrada e por expressões regulares. O estado persistente permanece no armazenamento de objetos, enquanto SSDs NVMe e memória atuam como cache computacional. Esse projeto busca reduzir os custos de armazenamento em escala de petabytes sem exigir que todo o índice permaneça na memória. O serviço informa cargas de produção que abrangem mais de 4 trilhões de documentos, 10 milhões de gravações por segundo e 25,000 consultas por segundo. As opções de pesquisa incluem vetores densos e esparsos com filtros, classificação e reforço de texto, expressões regulares baseadas em trigramas, criptografia e ramificação de namespaces por cópia na gravação. A desvantagem é a latência irregular: gravações diretas no armazenamento de objetos são mais lentas, e dados não armazenados em cache ou não fixados podem provocar consultas a frio. turbopuffer é adequado para a primeira etapa de recuperação, que reduz um corpus grande antes da reclassificação no aplicativo ou da aplicação de lógica personalizada. Os compradores devem estimar os mínimos mensais e avaliar o comportamento das consultas a frio com base em seus próprios padrões de acesso.