Guide de choix Fireworks AI : attendre le lot ou livrer d’abord un premier résultat ?
Des étiquettes fictives séparent l’urgence du travail qui peut attendre, sans juger par une moyenne ou un prix.
L’annonce de l’inférence par lots de Fireworks AI décrit le traitement asynchrone d’un ensemble de requêtes. Il ne s’agit pas seulement du nombre accepté, mais de ce qui peut attendre ou doit être livré séparément. L’ordre de remise est le sujet, pas une promesse actuelle tirée du délai de lancement.
Un lot terminé ne livre pas forcément chaque élément à temps
L’étiquette fictive A est attendue à 10 h ; B, C et D à 17 h. Sur le papier, les quatre seraient prêtes à 16 h. Le lot est terminé avant 17 h mais A est en retard. Donnez une échéance distincte à A et comparez les autres en lot, sans appliquer la dernière échéance à toutes.
Ajoutez E, sans échéance stricte mais dépendante du résultat de contrôle de D. Ce n’est pas une tâche indépendante dans le même lot. Notez premier délai, dépendances et nombre de tâches indépendantes. Ces horaires sont fictifs, non mesurés avec Fireworks AI.
Quand grouper ?
Le lot asynchrone mérite comparaison si beaucoup de tâches analogues peuvent attendre et n’exigent pas de retour sur chaque résultat. Si le premier résultat est urgent, si chaque tâche dépend de la précédente ou si elles sont peu nombreuses, traitez séparément ou utilisez un modèle manuel. Vérifiez si le modèle convient au mode retenu, le temps d’attente acceptable et la reprise des échecs. Aucun appel, achat ni lancement.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :fireworks.ai