Alibaba Cloud PAI-EAS : faut-il réserver la capacité de pointe ou la compléter avec un pool élastique ?
Pour choisir entre ressources publiques, socle dédié et capacité d'appoint élastique dans PAI-EAS, vérifiez les limites de déploiement, distinguez les réplicas visés de ceux réellement prêts et incluez dans la décision la latence au début du pic et le coût de toute la période d'occupation.
Alibaba Cloud PAI-EAS mérite d'être envisagé si l'équipe dispose déjà d'un modèle opérationnel et cherche seulement où l'exécuter pour l'inférence en ligne. On achète ici des ressources de calcul pour faire tourner le modèle et des capacités de gestion du service, pas un quota d'appels à un modèle conversationnel prêt à l'emploi. La décision dépend surtout de la capacité à maintenir en période creuse, du délai avant que les nouveaux réplicas puissent traiter les requêtes pendant un pic et des environnements dans lesquels ils sont autorisés à s'exécuter.
PAI-EAS est le composant de déploiement pour l'inférence d'Alibaba Cloud PAI. Le fournisseur propose notamment des ressources publiques et des groupes de ressources dédiées. Les ressources publiques sont disponibles à la demande et facturées à l'usage, sans achat préalable de ressources dédiées, mais une capacité suffisante n'est pas garantie aux heures de pointe. Les groupes dédiés doivent être achetés à l'avance, donnent accès à des ressources de calcul exclusives et sont disponibles par abonnement ou à l'usage. « Publiques » désigne ici une catégorie de ressources de calcul mutualisées. Cela ne veut pas dire que le service est nécessairement exposé à Internet, ni que la charge de travail est autorisée à franchir les limites de déploiement existantes.
Décider d'abord quelles requêtes doivent aboutir immédiatement
Pour une validation à petite échelle, si attendre la disponibilité des ressources n'a pas de conséquence pour l'activité, comparez d'abord les ressources publiques. Si le trafic est régulier chaque jour ou si l'organisation exige explicitement un déploiement dédié, estimez d'abord le socle dédié. Pour les pics occasionnels, le pool de ressources élastique d'EAS peut utiliser des ressources publiques facturées à l'usage quand les ressources propres sont insuffisantes. Lors de la réduction de capacité, les instances utilisant les ressources publiques sont libérées en premier. Ce mécanisme ne transforme pas une offre limitée en capacité garantie. Si les tâches peuvent attendre le lendemain, comparez aussi les traitements par lots ou planifiés : inutile de maintenir un point de terminaison en ligne pour des tâches sans besoin de réponse immédiate.
Imaginons un service qui utilise le même modèle et la même configuration de réplica. L'objectif est de 2 réplicas en temps normal, de 6 au pic, puis de nouveau de 2. Le plan consiste à garder 2 réplicas dédiés et à demander 4 réplicas publics supplémentaires lors du pic. Le chiffre 6 du schéma représente une capacité cible. Les 4 réplicas hachurés figurent le complément souhaité : ils ne sont pas nécessairement attribués, et rien ne dit que le modèle est chargé et capable de répondre correctement. Cette distinction détermine si le pool élastique peut remplacer une capacité de pointe préparée à l'avance.

Schéma original de capacité cible, ni interface d'Alibaba Cloud ni résultat de test de charge. T1, T2 et T3 représentent le creux, le pic et le reflux, pas des périodes de même durée. A désigne deux réplicas dédiés de base. B désigne quatre réplicas publics souhaités au pic. Les hachures et les points d'interrogation indiquent que le schéma ne prouve ni leur attribution ni leur disponibilité opérationnelle. Lors du reflux, les instances publiques sont libérées en premier. Chaque case correspond à un réplica de service hypothétique de même configuration, pas à une machine achetée, à une garantie de débit ou à un prix de facturation unitaire.
Dans cet exemple, si les 4 réplicas supplémentaires de même configuration restent occupés une demi-heure chacun, cela donne 2 heures-réplicas comme mesure comparative d'utilisation. Cela ne représente ni deux machines, ni un devis d'Alibaba Cloud, ni une unité de facturation commune. Le coût du socle dédié subsiste et la facture dépend de la région choisie, de la configuration des ressources, du mode de facturation et des coûts annexes applicables. Si le chargement du modèle et l'attente de la libération prolongent la période d'occupation réelle, n'estimez pas le coût à partir de la seule demi-heure de pic. À objectif de service égal, comparez le coût du socle dédié additionné au coût réel de la capacité d’appoint, d’une part, et le coût de la capacité de pointe réservée, d’autre part. Ne vous limitez pas au prix unitaire des réplicas supplémentaires.
Valider les premières minutes du pic, pas seulement la moyenne journalière
Avant d'acheter, recensez les fichiers du modèle, l'environnement d'exécution et les dépendances approuvées. Un modèle qui tourne dans un environnement ne fonctionnera pas nécessairement avec le CPU ou le GPU choisi, ses pilotes et la mémoire disponible. Vérifiez aussi la disponibilité des ressources dans la région cible et la possibilité pour les réplicas élastiques de récupérer les fichiers requis sans sortir du périmètre d'accès autorisé. Si l'organisation interdit d'exécuter cette charge sur des ressources mutualisées, écartez le pool élastique de la comparaison des coûts. Ne modifiez pas les restrictions réseau ou de sécurité pour réussir la démonstration.
Dans un environnement de test approuvé séparément, simulez un creux, un pic soudain et un retour à la normale avec des entrées fictives. Gardez constants la version du modèle, le mélange des entrées et les critères de validation des résultats. EAS propose des tests de charge et des fonctions de suivi, mais les critères d'acceptation reviennent aux équipes métier. Consignez le nombre de réplicas demandés et réellement prêts à traiter des requêtes, ainsi que la latence perçue, les échecs et l'exactitude des sorties. Isolez les premières minutes du pic en tenant compte de l'attente en file et des nouvelles tentatives. Une faible latence moyenne à la journée peut masquer le manque temporaire de capacité qui compte le plus pour l'activité. Il s'agit ici d'un protocole de test préalable à l'achat. Aucun service n'a été déployé et aucun test de charge n'a été exécuté dans le cloud.
Vérifiez aussi ce qui se passe après le reflux. Notez dans le même compte rendu si les instances publiques sont libérées en premier, si les réplicas dédiés restants traitent encore les requêtes habituelles et si les requêtes en cours aboutissent. Si la capacité publique tarde à arriver, l'équipe métier doit avoir tranché au préalable : accepter l'attente, réduire les tâches non urgentes ou maintenir une réserve. Présumer que la capacité augmentera automatiquement ne constitue pas un plan de reprise. Les responsables du modèle et des coûts ainsi que les personnes qui autorisent le périmètre de déploiement doivent pouvoir lire le même arbitrage dans ce compte rendu.
Juger l'achat sur la capacité qui peut être fournie
Les ressources publiques conviennent aux validations modestes qui peuvent attendre si la disponibilité fluctue. Les ressources dédiées correspondent à une charge de base stable ou à des exigences d'isolement explicites. Le pool élastique convient si le déploiement sur des ressources mutualisées est autorisé, si les pics sont effectivement rares et si la mise en service mesurée ainsi que la latence des requêtes lentes répondent aux critères. Cette dernière mesure le temps d'attente des requêtes lentes et ne se résume pas à une moyenne. Conservez un devis établi dans des conditions comparables, un compte rendu qui couvre la montée et la baisse de capacité, et la décision à appliquer si la capacité supplémentaire n'est pas obtenue. Tant que ces trois points ne sont pas réglés, mieux vaut garder la capacité déjà approuvée et prévisible que réduire le socle à la seule promesse d'une mise à l'échelle automatique.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :www.alibabacloud.com