inferock-bench
Lokale Prüfung und Erstellung von Belegen für LLM-Kosten, Nutzung und fehlgeschlagene Aufrufe
Über inferock-bench
Ein lokal ausgeführter Proxy zur Verfolgung von LLM-Kosten mit Unterstützung für OpenAI, Anthropic, Gemini Developer API und feste OpenRouter-Endpunkte. Er misst über localhost geroutete Aufrufe, schreibt lokale Ereignisprotokolle und stellt Belege mit dem enthaltenen @inferock/measure grading code dar. Damit lassen sich AI/LLM-Rechnungen prüfen, die Token-Nutzung von Claude oder GPT messen und fehlgeschlagene API-Aufrufe auf ihre Abrechnung prüfen.
Am besten geeignet
Beste Einsatzszenarien
AI/LLM-Rechnungen prüfen
Die Token-Nutzung von Claude oder GPT messen
Prüfen, ob fehlgeschlagene API-Aufrufe berechnet werden
Belege für API-Aufrufe lokal protokollieren und darstellen
Funktionen
Lokales Proxy-Routing
Leitet Aufrufe über localhost weiter und schreibt sie in ein lokales Ereignisprotokoll.
Prüfung von Abrechnung und Nutzung
Zur Prüfung von AI/LLM-Rechnungen und zur Messung der Token-Nutzung von Claude oder GPT.
Abrechnungsprüfung fehlgeschlagener Aufrufe
Hilft zu klären, ob fehlgeschlagene API-Aufrufe berechnet werden.
Belegdarstellung
Stellt Belege mit dem enthaltenen @inferock/measure grading code dar.
Vorteile
- Unterstützt OpenAI, Anthropic, Gemini Developer API und feste OpenRouter-Endpunkte.
- Anbieterschlüssel werden nur an Anbieteranfragen angehängt; Belege werden lokal erzeugt.
Nachteile
- Traffic, der den lokalen Proxy umgeht, kann nicht geprüft werden.
- Ausgaben für nicht beobachtete Aufrufe lassen sich nicht begrenzen, und Monatsrechnungen können ohne passende Rechnung nicht erklärt werden.
Preispläne
Free
- Nutzung für lokale Benchmarks
* Die Preisangaben dienen nur zur Orientierung. Bitte beachten Sie die aktuellen Informationen auf der offiziellen Website von inferock-bench.