inferock-bench
Audit local des coûts et de l’utilisation des LLM, avec génération de reçus pour les appels échoués
À propos de inferock-bench
Un proxy de suivi des coûts LLM exécuté localement, compatible avec OpenAI, Anthropic, Gemini Developer API et des points de terminaison OpenRouter fixes. Il mesure les appels routés via localhost, écrit des événements locaux et génère des reçus avec le @inferock/measure grading code inclus, afin d’auditer les factures AI/LLM, de mesurer l’utilisation des jetons de Claude ou GPT et de vérifier si les appels API échoués sont facturés.
Idéal pour
Meilleurs cas d'utilisation
Auditer les factures AI/LLM
Mesurer l’utilisation des jetons de Claude ou GPT
Vérifier si les appels API échoués sont facturés
Enregistrer et afficher localement les reçus des appels API
Fonctionnalités
Routage par proxy local
Achemine les appels via localhost et les écrit dans un journal d’événements local.
Audit de la facturation et de l’utilisation
Pour auditer les factures AI/LLM et mesurer l’utilisation des jetons de Claude ou GPT.
Vérification de facturation des appels échoués
Aide à déterminer si les appels API échoués sont facturés.
Affichage des reçus
Génère des reçus avec le @inferock/measure grading code inclus.
Avantages
- Compatible avec OpenAI, Anthropic, Gemini Developer API et des points de terminaison OpenRouter fixes.
- Les clés des fournisseurs sont ajoutées uniquement aux requêtes destinées aux fournisseurs ; les reçus sont générés localement.
Limites
- Le trafic qui contourne le proxy local ne peut pas être audité.
- Impossible de limiter les dépenses des fournisseurs pour les appels non observés ou d’expliquer les factures mensuelles sans facture correspondante.
Formules tarifaires
Free
- Utilisation pour benchmark local
* Les informations tarifaires sont données à titre indicatif. Consultez les dernières annonces sur le site officiel de inferock-bench.