LiteLLM und Portkey: Wer sichert Zugriffsrechte, Budgets und Failover-Grenzen bei gemeinsam genutzten Modellen?
LiteLLM eignet sich für Plattformteams, die Datenbankbetrieb, Releases und Sicherheitswartung übernehmen können. Portkeys Enterprise-Workspaces und zentrale Modellverwaltung passen eher zur delegierten Verwaltung einzelner Geschäftsbereiche. Vor der Auswahl sollten Budgettrennung, genehmigte Ausweichrouten und Wartungsverantwortung denselben Abnahmekriterien unterliegen. Open-Source-Preise und Funktionslisten allein reichen nicht.
Wenn Kundendienstassistenten, Vertriebszusammenfassungen und interne Entwicklungstools denselben Modellanbieter nutzen, ist das Verbergen seiner Zugangsschlüssel nur der erste Schritt. Plattformverantwortliche müssen weitere Fragen beantworten: Läuft der Kundendienst weiter, wenn der Vertrieb sein Budget aufgebraucht hat? Gelangt eine Anfrage bei einem Fehler des primären Modells in eine nicht genehmigte Region? Wer prüft die Installation und rotiert Zugangsdaten, wenn am Wochenende eine Sicherheitsmeldung erscheint?
LiteLLM Proxy und Portkey können beide zwischen Anwendungen und Modellanbietern sitzen und Zugriff, Nutzung und Routing zentral verwalten. Verfügt das Team bereits über Plattformbetriebskompetenz und möchte es die Bereitstellung von Gateway und Richtlinien selbst kontrollieren, lohnt es sich, LiteLLM zuerst zu prüfen. Besteht die Hauptaufgabe darin, Berechtigungen und Ressourcen mehrerer Geschäftsbereiche an deren jeweilige Verantwortliche zu delegieren, und ist das Team bereit, Enterprise-Governance-Funktionen zu kaufen, gehört Portkey eher in die Beschaffungsprüfung. Keines der beiden Systeme entbindet das Team von der Verantwortung für Anbieterrechnungen, Datenwege und die Reaktion auf Sicherheitsvorfälle.
Dieser Vergleich basiert auf offiziellen Unterlagen, die bis zum 10. November 2026 geprüft wurden. Er behandelt Gateways für Organisationen, nicht die Anzahl von SDK-Schnittstellen oder Latenzranglisten. Portkeys aktuelle offizielle Bezeichnung enthält bereits Prisma AIRS AI Gateway. Im Folgenden verwenden wir zur leichteren Zuordnung zu den Unterlagen weiterhin Portkey. Frühere Angaben zu Bereitstellung, Lizenzierung und Preisen von Portkey dürfen nicht als Zusagen im aktuellen Vertrag verstanden werden.
Geschäftsgrenzen müssen festlegen, wer aufrufen und wer ändern darf
Die Dokumentation zu LiteLLM Virtual Keys ordnet Modellzugriff und Kosten über Proxy-Schlüssel zu und unterstützt die Verknüpfung mit Benutzern und Teams. Die Schlüsselverwaltung benötigt PostgreSQL; der master key ist der Zugangsschlüssel des Proxy-Administrators. Ein entsprechend aufgestelltes Plattformteam kann Teamschlüssel je Geschäftsbereich vergeben und Modelllisten sowie Berechtigungen in seine eigenen Konfigurations- und Auslieferungsprozesse integrieren. Im Gegenzug fallen auch Datenbank, Administratorrechte und Richtlinienänderungen in seinen Betriebsbereich. Geschäftsanwendungen sollten einen eigenen Aufrufschlüssel erhalten, nicht den Administratorschlüssel.
Portkeys Dokumentation zur Organisationsverwaltung trennt Teams, Projekte und Ressourcen über Organization und Workspace. Sie stellt ausdrücklich klar, dass Workspace derzeit zum Enterprise-Angebot gehört. Integrations im Model Catalog speichern Anbieterzugangsdaten zentral und weisen bestimmten Workspaces Modelle, Budgets und Ratenlimits zu. Das passt zum Prinzip „zentral durch die Plattform beschaffen, getrennt an die Geschäftsbereiche verteilen“. Die Verfügbarkeit eines Open-Source-Gateways bedeutet jedoch nicht, dass auch diese Control Plane kostenlos bereitsteht.
Eine leicht übersehene Beschaffungsbedingung kommt hinzu: Portkeys Upgrade-Leitfaden entwickelt die bisherigen Virtual Keys zu AI Providers weiter und empfiehlt den Model Catalog zur Modellverwaltung. Derselbe Leitfaden fordert weiterhin dazu auf, das Team zur Freischaltung zu kontaktieren. Neukunden sollten sich die tatsächlich verfügbaren Oberflächen und APIs im vorgesehenen Mandanten vorführen lassen. Bestandskunden müssen die Kompatibilität bestehender Aufrufe und den Umfang der Migration der Verwaltungs-APIs prüfen. Ein neuer Name in der Dokumentation bedeutet nicht, dass das eigene Konto bereits umgestellt ist.
Unabhängige Budgets sichern die Geschäftskontinuität
Angenommen, Kundendienst und Vertrieb haben jeweils ein eigenes Budget und ein Batch-Auftrag des Vertriebs gerät außer Kontrolle. Das Abnahmeziel muss lauten: Der Vertrieb wird blockiert, der Kundendienst kann weiter aufrufen, und die Kosten werden dem richtigen Bereich zugeordnet. Zwei Zahlen auf einem Dashboard genügen nicht.
LiteLLMs Budgetdokumentation unterstützt Team- und Teammitgliedsbudgets und erklärt, dass für Teamschlüssel nicht zusätzlich das persönliche Budget des Eigentümers gilt. Noch wichtiger: Diese Budgets hängen von einer Datenbank ab. In einer Bereitstellung ohne Datenbank begrenzt ein konfiguriertes globales Budget die Ausgaben nicht. Selbst betreibende Teams müssen Datenbankzustand, Kostenaktualisierung und parallele Anfragen in die Abnahme aufnehmen. Eine Konfigurationsdatei ist noch keine wirksame Finanzkontrolle.
Portkeys Integrations-Dokumentation erlaubt unterschiedliche Budgets und Ratenlimits je Workspace, die Unterbindung weiterer Nutzung bei ausgeschöpftem Budget sowie Schwellenwertbenachrichtigungen. Die Beziehungen zwischen den Grenzen der Anbieterzugangsdaten, des Workspace und der Aufrufzugangsdaten der Anwendung sollten klar aufgezeichnet werden. Ein gemeinsam genutztes Anbieterkonto kann weiterhin ein gemeinsames Kontingent beim Anbieter haben. Getrennte Kostenbuchung im Gateway trennt nicht automatisch dessen vorgelagerte Kapazität.
Bei beiden Lösungen sollte dieselbe Gruppe von Anfragen mit den Kostenaufzeichnungen des Gateways und der Anbieterrechnung abgeglichen werden. Dabei sind benutzerdefinierte Preise, Wiederholungsversuche und Ersatzmodelle einzubeziehen. Budgets steuern Anfragen; ohne Tests lässt sich nicht versprechen, dass bei jeder beliebigen Parallelität niemals auch nur ein Cent überschritten wird. Auch Warnmeldungen benötigen Empfänger und konkrete Reaktionsschritte.
Failover muss die Aufgabe erhalten, nicht nur einen erfolgreichen Status liefern
Laut LiteLLMs Fallbacks-Dokumentation kann eine Anfrage nach erfolglosen Wiederholungen in der festgelegten Anzahl zu einer anderen Modellgruppe wechseln. Portkey konfiguriert Failover über eine geordnete Zielliste. Standardmäßig lösen Nicht-2xx-Statuscodes den Wechsel aus; mit on_status_codes lässt er sich beispielsweise auf 429 oder 503 beschränken. Beide Systeme bieten Failover. Der relevante Unterschied liegt darin, wie das Team Routing verwaltet und prüft, nicht darin, welche Werbeseite „zuverlässig“ verspricht.
Darf der Kundendienst beispielsweise nur Modellendpunkte einer bestimmten Region nutzen, muss auch das Ersatzziel diese Vorgabe einhalten. Für Vertriebszusammenfassungen darf womöglich ein günstigeres Ersatzmodell einspringen, doch seine strukturierte Ausgabe muss weiterhin die Feldanforderungen der nachgelagerten Verarbeitung erfüllen. Ein Anbieter- oder Modellwechsel verändert Preis, Antwortzeit und Ausgabeverhalten. Bei der Abnahme sollte das primäre Ziel absichtlich in ein Ratenlimit gebracht werden. Danach sind das tatsächlich verwendete Ersatzziel, die endgültige Ausgabe und die vollständigen Versuchsprotokolle zu prüfen. Ebenso ist sicherzustellen, dass Gesamt-Timeout und Wiederholungszahl nicht dazu führen, dass eine einzelne Anfrage die Nutzererfahrung ruiniert. Dies ist ein vorgeschlagener Testplan, kein in diesem Artikel bereits durchgeführter Praxistest.
Wartungsverantwortung entscheidet, ob das Gateway dauerhaft kontrollieren kann
Vor dem selbst betriebenen Einsatz von LiteLLM müssen aktuelle Sicherheitsfakten zu den Freigabebedingungen gehören. Der Hersteller bestätigte, dass das Release v1.107.0 vom 21. Oktober 2026 kompromittiert wurde; der Vorfall sei eingedämmt. Die Maßnahmenbeschreibung vom 30. Oktober führte jedoch weiterhin laufende und geplante Punkte auf. „Eingedämmt“ ersetzt daher weder die Prüfung der eigenen Betroffenheit noch bedeutet es, dass sämtliche Verbesserungen abgeschlossen sind. Teams, die betroffene Artefakte eingesetzt haben, sollten gemäß dem offiziellen Vorfallsbericht prüfen und reagieren. Ein Paketupdate allein rechtfertigt nicht die Annahme, dass keine Zugangsdaten offengelegt wurden.
Auch die Wartungspolitik ändert sich. Am 2. November kündigte LiteLLM einen einmonatigen Pilotbetrieb der LTS-Linie 1.108 an. Währenddessen wird die Richtlinie ausgesetzt, die vier jüngsten stabilen Linien mit Patches zu versorgen. Eine Ergänzung vom 6. November beschreibt das neue Image-Tag lts. Vor Kauf oder Bereitstellung sollten Teams den Supportumfang erneut prüfen, ein konkret verifiziertes Artefakt auswählen und Digest, Updatefreigabe sowie Rücksetzverfahren dokumentieren. Meldungen verfolgen, Patches testen und Zugangsdaten rotieren erfordert einen klaren Verantwortlichen; die Open-Source-Lizenz übernimmt diese Arbeit nicht. Daraus folgt weder, dass Portkey risikofrei ist, noch, dass LiteLLM nicht mehr gewartet wird.
Portkeys hybride Architektur legt die Data Plane in die VPC des Kunden und lässt die Control Plane von Portkey hosten. Das Gateway arbeitet mit lokal zwischengespeicherter Konfiguration und synchronisiert sich mit der Control Plane. Logs können in der Kundenumgebung oder in Portkeys Cloud gespeichert werden. Das reduziert einen Teil der Wartung der Control Plane, doch Container, Cache, Netzwerk und Logrichtlinien auf Kundenseite brauchen weiterhin Verantwortliche. Besonders zu prüfen sind die Datenwege beim Anzeigen von Logs in der Konsole und der Zeitpunkt, zu dem neue Konfigurationen oder Schlüsselwiderrufe bei getrennter Control Plane wirksam werden. „Hybrid“ bedeutet nicht, dass alle Daten und Verwaltungsfunktionen offline vor Ort verbleiben.
Die Entscheidung in prüfbare Beschaffungsbedingungen übersetzen
Teams mit PostgreSQL-Betrieb, Releasefreigaben und Sicherheitsbereitschaft, die Modellrechte und Routing in ihre bestehende Plattform einbinden möchten, können LiteLLM zunächst in einem begrenzten Geschäftsbereich erproben. Übernimmt niemand diese Aufgaben, reichen niedrige Lizenzkosten nicht aus, um direkt produktiv zu gehen. Teams, die Anbieterressourcen zentral verteilen, Geschäftsverantwortlichen Verwaltungsrechte übertragen und eine gehostete Control Plane akzeptieren, können Portkey Enterprise zuerst prüfen. Voraussetzung ist, dass der aktuelle Prisma-AIRS-Vertrag die benötigten Workspaces, den Model Catalog, die Bereitstellungsform und die Supportverantwortung tatsächlich einschließt.
Beide Lösungen sollten dieselben Abnahmeszenarien bestehen: Zugangsdaten eines Geschäftsbereichs widerrufen, ohne einen anderen zu beeinträchtigen; das Vertriebsbudget aufbrauchen, während der Kundendienst weiterläuft; bei Ausfall des Hauptmodells ausschließlich genehmigte Ersatzrouten nutzen; Logs exportieren und die Kosten jedes Versuchs erklären. Angebote sollten außerdem Modellanbietergebühren, Gateway-Lizenz- oder Servicegebühren, Infrastruktur, Logaufbewahrung und -export, Enterprise-Support und Betriebsaufwand in Arbeitsstunden aufführen. Für diesen Artikel wurden keine auf einheitlicher Grundlage vergleichbaren Enterprise-Angebote verifiziert. Daher wird nicht behauptet, eine Seite habe niedrigere Gesamtkosten.
Am Ende sollte die Lösung gewählt werden, die innerhalb der eigenen Berechtigungsgrenzen, Fehlerszenarien und Wartungsfähigkeiten die Abnahme besteht. Bestehen derzeit nur eine Anwendung und ein Anbieter ohne bereichsübergreifendes Governance-Problem, lässt sich auch die vorhandene Aufrufkette beibehalten und ein Gateway erst ergänzen, wenn der Bedarf an zentraler Kontrolle feststeht.
Hinweis zum Inhalt:Dieser Artikel basiert auf öffentlich verfügbaren Informationen und dient als Orientierung bei der Auswahl von Tools. Funktionen, Preise und zugehörige Richtlinien können sich jederzeit ändern; maßgeblich sind die aktuellen offiziellen Angaben.
Originalquelle:docs.litellm.ai