Pydantic AI ou DSPy : pour extraire les messages clients, contrôler d’abord les champs ou optimiser l’interprétation ?
Des champs valides peuvent encore déformer l’intention du client. Pydantic AI convient pour établir validation des types, nouvelles tentatives et sorties d’échec. DSPy convient pour optimiser l’extraction une fois disponibles des exemples représentatifs et des critères de notation. Il faut aussi comparer les coûts d’annotation, de recherche d’optimisation et d’appels en production.
Une équipe de service client confie ses messages à un modèle pour obtenir numéro de commande, type de demande, montant et preuve dans le texte original. La difficulté est que les champs peuvent entrer en base tout en interprétant mal l’intention. Pydantic AI se prête mieux à la définition initiale de limites de sortie vérifiables; DSPy, à l’optimisation systématique du programme d’extraction lorsqu’il existe des exemples représentatifs et des critères de notation. Les deux peuvent être combinés, et aucun ne prouve l’exactitude du contenu par un simple JSON valide.
Séparer d’abord deux catégories d’erreurs
Supposons qu’un client écrive: « Les 299 yuans de la commande A123 ne sont pas une demande de remboursement. Expliquez d’abord le double prélèvement. » C’est un cas d’analyse, pas un test. Si la sortie classe la demande comme « remboursement », le sens métier est faux même si le numéro de commande est une chaîne, le montant un nombre et le type une valeur autorisée de l’énumération.
On peut d’abord convenir que la sortie comporte type de demande, numéro de commande, montant, devise, extrait probant et informations à compléter. Une devise absente doit pouvoir rester vide; le caractère obligatoire du montant ne justifie pas d’inventer un nombre. Pour un message contenant plusieurs demandes, il faut aussi décider à l’avance si la sortie sera une liste. Cette convention de champs et les règles d’annotation constituent le point de départ équitable du comparatif.
Pydantic AI: expliciter les conditions d’acceptation d’un appel
La documentation des sorties Pydantic AI permet de définir les résultats avec des modèles Pydantic et d’autres types, et propose notamment sorties d’outils, sorties structurées natives du modèle et sorties guidées par prompt. La méthode dépend des capacités du modèle. Un échec de validation peut déclencher une nouvelle tentative. Les développeurs peuvent aussi écrire des fonctions de validation de sortie et demander une correction au modèle via ModelRetry. Ces tentatives ont un budget; les multiplier ne garantit pas le succès.
Pour les messages clients, on peut contraindre les types de demande et les plages de montants, puis vérifier que l’extrait probant apparaît réellement dans le message. Cette logique doit être implémentée par l’équipe; le framework ne fournit pas automatiquement une vérification factuelle. Même présent, l’extrait peut ne pas soutenir la conclusion. « Ce n’est pas une demande de remboursement » exige que validation ou évaluation couvre la négation.
Cette voie convient donc aux équipes d’ingénierie qui connaissent déjà les champs acceptés en aval et veulent un traitement explicite des échecs. Une fois la limite de tentatives dépassée, il faut conserver la cause et transmettre au service client, plutôt que remplir discrètement des valeurs par défaut. Tentatives et validation encadrent l’interface, sans remplacer l’évaluation de la qualité d’extraction.
DSPy: améliorer le programme autour d’une notation métier
DSPy peut lui aussi déclarer une structure. Sa documentation Signature présente les champs et types d’entrée et de sortie; les types enrichis comprennent aussi des modèles Pydantic. Le comparatif ne peut donc pas se résumer à « Pydantic AI est typé, DSPy ne l’est pas ».
La différence de DSPy est sa voie d’optimisation. La documentation officielle des optimiseurs place programme, fonction de notation et entrées d’entraînement au centre. MIPROv2, par exemple, explore des combinaisons d’instructions et d’exemples few-shot. D’autres optimiseurs peuvent ajuster les poids du modèle, sans que toute optimisation de prompt puisse être appelée entraînement d’un nouveau modèle. Certains processus peuvent démarrer avec des entrées non annotées; cela ne dispense pas l’équipe client de critères de validation fiables.
Pour cette tâche, faites d’abord annoter les messages par des personnes compétentes métier et préciser les limites entre « remboursement », « question sur un prélèvement » et « modification de commande », puis définissez la notation. Correspondance du numéro de commande, type de demande, montant et devise, et force de la preuve doivent être vérifiés séparément. Masquer une erreur de champ clé dans une moyenne récompense un programme inadapté au métier. L’optimisation suit l’objectif fourni; elle ne découvre pas seule les règles oubliées par l’équipe.
Les exemples d’entraînement et d’optimisation doivent être séparés de la validation finale. Un découpage par client ou conversation évite que des reformulations d’un même message figurent des deux côtés. Il faut aussi couvrir champs manquants, négations, commandes multiples et messages multilingues. Sans cette préparation, davantage de cycles d’optimisation augmente souvent seulement les dépenses, sans permettre d’affirmer un gain de précision.
Calculer les appels sans confondre les niveaux de produit
Pydantic AI désigne ici le SDK Python. Pydantic AI Harness est une bibliothèque de capacités construite dessus pour des agents plus complexes, avec fichiers, planification et mémoire. Une simple extraction de champs n’exige pas un agent complet de tâches longues. Logfire assure observabilité et débogage: ses coûts ou capacités ne doivent pas être présentés comme le prix du SDK ou ses prérequis obligatoires.
Les optimiseurs DSPy ne paient pas non plus les appels de modèles à la place de l’équipe. Dans le budget, séparez l’inférence en production et l’exploitation communes des coûts additionnels de tentatives, annotation, recherche d’optimisation, appels d’évaluation et observabilité facultative. Ajouter des exemples au prompt peut aussi augmenter les tokens d’entrée après déploiement. Un meilleur score à l’optimisation ne signifie pas automatiquement un message moins coûteux.
Par exemple, traiter 1 000 messages dont 100 déclenchent chacun un appel supplémentaire ajoute 100 appels. On ne peut pas en déduire directement une hausse de coût de 10 %, car les longueurs d’entrée et de sortie peuvent différer. C’est un calcul budgétaire illustratif, pas le taux de nouvelles tentatives d’un produit. Les coûts d’optimisation hors ligne de DSPy doivent aussi être isolés, puis comparés aux économies ou bénéfices de qualité après déploiement.
Décider de la suite avec le même lot de messages
Si le problème actuel est surtout la non-conformité des champs et les erreurs non prises en charge, commencez par un service minimal Pydantic AI avec champs pouvant être nuls, règles de validation et destination des échecs explicites. Si le format est stable mais les intentions souvent mal classées, et si l’équipe possède annotations et responsable d’évaluation, comparez avec DSPy programme non optimisé et programme optimisé sur un jeu de test réservé.
DSPy peut aussi optimiser le module d’extraction avant son intégration dans un service de validation des types existant. C’est un choix nécessitant intégration et tests de régression, pas une garantie prête à l’emploi de deux frameworks. Si un simple appel de modèle et la validation existante suffisent, il n’est pas nécessaire de maintenir deux abstractions.
La validation doit distinguer au minimum taux de conformité structurelle, exactitude des champs clés, proportion d’échecs transmis, coût total des appels par message et latence. Cette analyse repose sur les documents officiels, sans expérience comparative de précision. Le choix dépend du manque actuel de contrôle de sortie ou de voie mesurable d’amélioration sémantique, pas de la popularité du nom d’un framework.
À propos de cet article :Cet article s’appuie sur des informations publiques et sert de référence pour vous aider à choisir vos outils. Les fonctionnalités, les tarifs et les politiques associées peuvent évoluer à tout moment ; veuillez consulter les informations officielles les plus récentes.
Source originale :pydantic.dev