inferock-bench
Auditoria local de custos e uso de LLM, com geração de recibos para chamadas com falha
Sobre inferock-bench
Um proxy de rastreamento de custos de LLM executado localmente, compatível com OpenAI, Anthropic, Gemini Developer API e endpoints fixos da OpenRouter. Ele mede chamadas roteadas por localhost, grava registros de eventos locais e gera recibos com o @inferock/measure grading code incluído, ajudando a auditar faturas de AI/LLM, medir o uso de tokens do Claude ou GPT e verificar se chamadas de API com falha são cobradas.
Ideal para
Melhores casos de uso
Auditar faturas de AI/LLM
Medir o uso de tokens do Claude ou GPT
Verificar se chamadas de API com falha são cobradas
Registrar e exibir localmente recibos de chamadas de API
Funcionalidades
Roteamento por proxy local
Roteia chamadas por localhost e as grava em um registro de eventos local.
Auditoria de cobrança e uso
Para auditar faturas de AI/LLM e medir o uso de tokens do Claude ou GPT.
Verificação de cobrança de chamadas com falha
Ajuda a verificar se chamadas de API com falha são cobradas.
Exibição de recibos
Gera recibos usando o @inferock/measure grading code incluído.
Vantagens
- Abrange OpenAI, Anthropic, Gemini Developer API e endpoints fixos da OpenRouter.
- As chaves do provedor são anexadas apenas às solicitações ao provedor; os recibos são gerados localmente.
Limitações
- Não é possível auditar o tráfego que ignora o proxy local.
- Não é possível limitar os gastos do provedor de chamadas não observadas nem explicar faturas mensais sem uma fatura correspondente.
Planos de preços
Free
- Uso em benchmark local
* As informações de preços são apenas indicativas. Consulte o anúncio mais recente no site oficial de inferock-bench.