inferock-bench
Auditoría local de costes y uso de LLM, con generación de recibos para llamadas fallidas
Acerca de inferock-bench
Un proxy local de seguimiento de costes de LLM compatible con OpenAI, Anthropic, Gemini Developer API y puntos de conexión fijos de OpenRouter. Mide las llamadas enrutadas mediante localhost, escribe registros de eventos locales y genera recibos con el @inferock/measure grading code incluido, lo que ayuda a auditar las facturas de AI/LLM, medir el uso de tokens de Claude o GPT y comprobar si se cobran las llamadas API fallidas.
Ideal para
Mejores casos de uso
Auditar facturas de AI/LLM
Medir el uso de tokens de Claude o GPT
Comprobar si se cobran las llamadas API fallidas
Registrar y mostrar localmente los recibos de llamadas API
Funciones
Enrutamiento mediante proxy local
Enruta las llamadas mediante localhost y las escribe en un registro de eventos local.
Auditoría de facturación y uso
Para auditar facturas de AI/LLM y medir el uso de tokens de Claude o GPT.
Comprobación de cobro de llamadas fallidas
Ayuda a determinar si se cobran las llamadas API fallidas.
Presentación de recibos
Genera recibos con el @inferock/measure grading code incluido.
Ventajas
- Compatible con OpenAI, Anthropic, Gemini Developer API y puntos de conexión fijos de OpenRouter.
- Las claves de proveedor solo se adjuntan a las solicitudes al proveedor; los recibos se generan localmente.
Limitaciones
- No puede auditar el tráfico que omite el proxy local.
- No puede limitar el gasto del proveedor de las llamadas no observadas ni explicar las facturas mensuales sin una factura coincidente.
Planes de precios
Free
- Uso en benchmarks locales
* La información de precios es solo orientativa. Consulta el anuncio más reciente en el sitio web oficial de inferock-bench.