LiteLLM ou Portkey : qui protège les droits, les budgets et les chemins de secours quand plusieurs métiers partagent les modèles ?

LiteLLM convient aux équipes plateforme capables d’assurer la base de données, les mises en production et la maintenance de sécurité. Les Workspaces Enterprise et la gestion centralisée des modèles de Portkey se prêtent davantage à la délégation aux métiers. Avant de choisir, il faut soumettre séparation des budgets, chemins de secours autorisés et responsabilités de maintenance aux mêmes critères de recette, sans se limiter au prix de l’open source ou aux listes de fonctions.

Source: docs.litellm.ai
3 novembre 2026
10 min

Lorsque l’assistant du service client, les synthèses commerciales et les outils internes de développement partagent un fournisseur de modèles, masquer ses clés n’est qu’une première étape. Le responsable de la plateforme doit aussi répondre à plusieurs questions: le service client continue-t-il à fonctionner quand les commerciaux ont épuisé leur budget ? Une erreur du modèle principal envoie-t-elle la requête dans une région non autorisée ? Qui peut vérifier le déploiement et renouveler les identifiants lorsqu’un avis de sécurité paraît le week-end ?

LiteLLM Proxy et Portkey peuvent tous deux s’intercaler entre les applications et les fournisseurs de modèles pour centraliser accès, consommation et routage. Si l’équipe sait déjà exploiter une plateforme et veut garder la maîtrise du déploiement de la passerelle et des politiques, LiteLLM mérite d’être évalué en premier. Si la difficulté principale consiste à confier les droits et les ressources de plusieurs métiers à leurs responsables respectifs, et que l’achat de fonctions de gouvernance d’entreprise est acceptable, Portkey mérite davantage de figurer dans la validation d’achat. Aucun des deux ne supprime la responsabilité de l’équipe concernant les factures des fournisseurs, les chemins empruntés par les données et la réponse aux incidents.

Ce comparatif repose sur la documentation officielle. Il concerne les passerelles à l’échelle d’une organisation, pas le nombre d’interfaces SDK ni un classement de latence. Le nom officiel actuel de Portkey inclut désormais Prisma AIRS AI Gateway. Nous conservons ici Portkey pour faciliter le rapprochement avec la documentation, sans assimiler les anciennes conditions de déploiement, de licence ou de prix de Portkey aux engagements du contrat actuel.

Les frontières entre métiers doivent préciser qui peut appeler et qui peut modifier

La documentation Virtual Keys de LiteLLM rattache l’accès aux modèles et l’attribution des coûts aux clés du proxy, avec une association possible aux utilisateurs et aux équipes. La gestion des clés exige PostgreSQL; la master key est l’identifiant de l’administrateur du proxy. Une équipe plateforme disposant des compétences nécessaires peut attribuer des clés d’équipe par métier et intégrer les listes de modèles et les autorisations à ses propres processus de configuration et de livraison. En contrepartie, la base de données, les droits administrateur et les changements de politiques entrent aussi dans son périmètre d’exploitation. Une application métier ne doit pas utiliser la clé administrateur à la place d’un identifiant dédié aux appels.

La documentation d’administration de Portkey sépare équipes, projets et ressources avec Organization et Workspace, et précise que Workspace fait actuellement partie de l’offre Enterprise. Les Integrations du Model Catalog permettent de stocker les identifiants fournisseurs de façon centralisée, puis d’attribuer modèles, budgets et limites de débit à des Workspaces déterminés. Cette approche correspond mieux à une plateforme qui achète en commun puis répartit les ressources entre métiers. Mais la disponibilité d’un gateway open source ne signifie pas que ce plan de contrôle est lui aussi gratuit.

Une condition d’achat peut facilement passer inaperçue: le guide de mise à niveau de Portkey fait évoluer les anciennes Virtual Keys vers les AI Providers et recommande le Model Catalog pour gérer les modèles. Or, ce même guide indique toujours qu’il faut contacter l’équipe pour activer la fonction. Un nouvel acheteur devrait demander une démonstration des interfaces et API réellement disponibles dans le tenant visé. Les utilisateurs existants doivent vérifier la compatibilité des appels actuels et le périmètre de migration des API d’administration. Un nouveau nom dans la documentation ne prouve pas que leur compte a déjà été mis à niveau.

Des budgets indépendants permettent la continuité des activités

Supposons que le service client et les commerciaux disposent chacun d’un budget et qu’un traitement par lots commercial s’emballe. La recette doit vérifier que les commerciaux sont bloqués, que le service client peut toujours appeler les modèles et que la facture est attribuée au bon métier. Deux chiffres affichés sur un tableau de bord ne suffisent pas.

La documentation budgétaire de LiteLLM prend en charge les budgets d’équipe et de membres d’équipe. Elle explique qu’une clé d’équipe n’est pas également soumise au budget personnel de son propriétaire. Plus important encore, ces budgets dépendent de la base de données: un déploiement sans base ne limite pas les dépenses simplement parce qu’un budget global est configuré. Une équipe qui exploite elle-même la solution doit inclure dans sa recette l’état de la base, l’actualisation des coûts et les requêtes simultanées. Un fichier de configuration n’équivaut pas à un contrôle financier effectif.

La documentation Integrations de Portkey permet d’attribuer des budgets et des limites de débit différents selon le Workspace. Elle prévoit l’arrêt de l’utilisation après épuisement de l’enveloppe et des notifications de seuil. Il faut représenter clairement les relations entre les limites des identifiants fournisseur, du Workspace et des identifiants d’appel de l’application. Un compte fournisseur partagé peut toujours partager le quota propre au fournisseur. Comptabiliser les coûts séparément dans la passerelle n’isole pas automatiquement la capacité en amont.

Quel que soit le choix, il faut rapprocher, pour un même ensemble de requêtes, les coûts enregistrés par la passerelle et la facture fournisseur, en examinant les tarifs personnalisés, les nouvelles tentatives et les modèles de secours. Un budget contrôle les requêtes: sans test, on ne peut promettre qu’il ne sera jamais dépassé d’un centime, quelle que soit la concurrence des appels. Les alertes doivent également avoir un destinataire et une procédure de traitement.

Le basculement doit préserver la tâche, pas seulement renvoyer un succès

La documentation Fallbacks de LiteLLM indique qu’une requête encore en échec après le nombre de tentatives prévu peut être dirigée vers un autre groupe de modèles. Portkey configure le basculement à partir d’une liste ordonnée de cibles. Par défaut, tout code non-2xx le déclenche; on peut le restreindre avec on_status_codes, par exemple à 429 ou 503. Les deux disposent donc de mécanismes de secours. La différence pertinente est la manière dont l’équipe gère et valide le routage, pas la présence du mot « fiable » sur une page commerciale.

Si, par exemple, le service client ne peut utiliser que des points de terminaison de modèles situés dans une région donnée, la cible de secours doit respecter la même règle. Une synthèse commerciale peut accepter un modèle de secours moins cher, mais sa sortie structurée doit toujours satisfaire les exigences de champs du traitement suivant. Changer de fournisseur ou de modèle modifie le prix, le délai de réponse et le comportement des sorties. Lors de la recette, il faut provoquer volontairement une limitation de débit sur la cible principale, observer la cible de secours réellement utilisée, la sortie finale et l’historique complet des tentatives, puis vérifier que le délai maximal total et le nombre de nouvelles tentatives ne dégradent pas l’expérience utilisateur pour une seule requête. Il s’agit d’un protocole de test proposé, pas d’un essai déjà réalisé pour cet article.

Les responsabilités de maintenance déterminent la solidité du contrôle dans la durée

Avant d’exploiter soi-même LiteLLM, il faut intégrer les faits récents de sécurité aux conditions de mise en service. L’éditeur a confirmé que la version v1.107.0 publiée le 21 octobre 2026 avait été compromise et que l’incident était contenu. Cependant, son point du 30 octobre sur les mesures correctives comportait encore des éléments en cours ou prévus. « Incident contenu » ne remplace donc pas la vérification de l’exposition de son propre environnement et ne signifie pas que toutes les corrections sont terminées. Les équipes ayant déployé des artefacts concernés doivent suivre le rapport officiel pour enquêter et réagir. Mettre à jour le paquet ne permet pas, à lui seul, de supposer que les identifiants n’ont pas été exposés.

La politique de maintenance change elle aussi. Le 2 novembre, LiteLLM a annoncé un pilote d’un mois pour la branche LTS 1.108, suspendant pendant cet essai la politique de correctifs pour les quatre branches stables les plus récentes. Un ajout du 6 novembre présente le tag d’image lts. Avant un achat ou un déploiement, il faut revérifier le périmètre de support, choisir un artefact précis et validé, puis consigner son empreinte, l’approbation des mises à jour et la procédure de retour arrière. Suivre les avis, tester les correctifs et renouveler les identifiants exigent un responsable identifié; une licence open source ne prend pas ces travaux en charge. Ces faits ne prouvent ni que Portkey est sans risque, ni que LiteLLM a cessé d’être maintenu.

L’architecture hybride de Portkey place le plan de données dans le VPC du client et confie l’hébergement du plan de contrôle à Portkey. La passerelle fonctionne avec une configuration mise en cache localement et se synchronise avec le plan de contrôle. Les journaux peuvent être stockés chez le client ou dans le cloud Portkey. Cela réduit une partie de la maintenance du plan de contrôle, mais conteneurs, cache, réseau et politiques de journalisation côté client nécessitent toujours un responsable. Il faut notamment vérifier le parcours des données lors de la consultation des journaux dans la console et le moment où de nouvelles configurations ou révocations de clés prennent effet si le plan de contrôle est déconnecté. « Hybride » ne veut pas dire que toutes les données et fonctions d’administration restent localement disponibles hors ligne.

Transformer le choix en conditions d’achat vérifiables

Une équipe disposant déjà de l’exploitation PostgreSQL, de l’approbation des mises en production et d’une permanence de sécurité, qui souhaite intégrer droits sur les modèles et routage à sa plateforme existante, peut commencer par un pilote LiteLLM limité à quelques activités. Si personne ne prend ces responsabilités, une licence peu coûteuse ne suffit pas à justifier une mise en production immédiate. Une équipe qui veut centraliser la répartition des ressources fournisseurs, déléguer l’administration aux responsables métier et accepte un plan de contrôle hébergé peut évaluer Portkey Enterprise en priorité. Encore faut-il que le contrat Prisma AIRS actuel couvre réellement les Workspaces, le Model Catalog, le mode de déploiement et les responsabilités de support requis.

Soumettez les deux solutions aux mêmes tests: révoquer les identifiants d’un métier sans affecter l’autre; épuiser le budget commercial tout en maintenant le service client; n’emprunter que des chemins de secours autorisés lorsque le modèle principal tombe en panne; exporter les journaux et expliquer le coût de chaque tentative. Les devis doivent aussi détailler les frais des fournisseurs de modèles, la licence ou les services de la passerelle, l’infrastructure, la conservation et l’export des journaux, le support Enterprise et les heures d’exploitation. Aucun devis d’entreprise comparable sur une base homogène n’a été vérifié ici. Cet article n’affirme donc pas qu’une solution présente un coût total inférieur.

Au final, retenez la solution qui réussit la recette dans vos propres limites d’autorisation, scénarios de panne et capacités de maintenance. S’il n’existe aujourd’hui qu’une application et qu’un fournisseur, sans problème de gouvernance entre métiers, il est aussi possible de conserver le circuit d’appel actuel et de n’ajouter une passerelle qu’une fois le besoin de contrôle centralisé clairement établi.

À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.

Source originale :docs.litellm.ai