Soup CLI
CLI tout-en-un pour le post-entraînement, l’évaluation et le contrôle de publication des modèles
À propos de Soup CLI
Soup CLI regroupe le flux de post-entraînement dans un seul outil en ligne de commande : il vérifie les données avant l’entraînement, choisit les méthodes selon des règles et génère la configuration, dérive des évaluations à partir de données propriétaires, contrôle chaque sauvegarde et corrige automatiquement le reward hacking pendant l’exécution. Il prend en charge 23 méthodes, 163 recettes et 17 formats de quantification ; un modèle de base gelé peut être diffusé couche par couche depuis la mémoire CPU ou NVMe vers la mémoire GPU et quantifié en 4-bit. soup eval génère des suites d’évaluation figées par SHA, tandis que soup ship rejette les modèles dont le score de tâche progresse mais dont les connaissances générales sont dégradées.
Idéal pour
Meilleurs cas d'utilisation
Contrôle des données et génération de configuration avant entraînement
Affinage de modèles sur des appareils à faible mémoire
Création d’évaluations hors ligne à partir de données propriétaires
Validation des connaissances générales avant publication
Fonctionnalités
Précontrôle des données et configuration
Vérifie les données avant l’entraînement, choisit les méthodes selon des règles et génère la configuration d’entraînement.
Streaming par couche et quantification
Diffuse le modèle de base gelé couche de décodeur par couche depuis la mémoire CPU ou NVMe, avec quantification 4-bit.
Évaluation dérivée des données
Dérive des suites d’évaluation figées par SHA à partir de données propriétaires et contrôle chaque sauvegarde.
Contrôle de publication du modèle
soup ship note 8 suites hors ligne et rejette les modèles dont le score de tâche progresse mais dont les connaissances générales sont dégradées.
Avantages
- Gratuit et sous licence Apache-2.0
- Exécution hors ligne sans inscription ni carte bancaire
- Prend en charge de nombreuses méthodes, recettes et formats de quantification
- Les preuves du contrôle de publication peuvent être soumises
Limites
- L’implémentation de référence du streaming par couche lit les couches environ 1,52 fois
- Aucune donnée tok/s mesurée pour la perte de préférence
Formules tarifaires
Free
- Licence Apache-2.0
- Utilisation hors ligne
- Aucune inscription
- Aucune carte bancaire
* Les informations tarifaires sont données à titre indicatif. Consultez les dernières annonces sur le site officiel de Soup CLI.