Soup CLI
Integrierte CLI für Modell-Post-Training, Evaluierung und Release-Gates
Über Soup CLI
Soup CLI bündelt den Post-Training-Ablauf in einem Kommandozeilen-Tool: Es prüft Daten vor dem Training, wählt regelbasiert Methoden und erzeugt Konfigurationen, leitet Evaluierungen aus eigenen Daten ab, gate’t jeden Speicherstand und korrigiert Reward-Hacking während des Laufs selbst. Es unterstützt 23 Methoden, 163 Rezepte und 17 Quantisierungsformate; ein eingefrorenes Basismodell lässt sich schichtweise aus CPU-Speicher oder NVMe in den GPU-Speicher streamen und auf 4-bit quantisieren. soup eval erzeugt SHA-fixierte Evaluierungssuiten, soup ship lehnt Modelle ab, deren Aufgabenscore steigt, während das Allgemeinwissen leidet.
Am besten geeignet
Beste Einsatzszenarien
Datenprüfung und Konfiguration vor dem Training
Modell-Feintuning auf Geräten mit wenig Speicher
Offline-Evaluierung aus eigenen Daten erstellen
Allgemeinwissen des Modells vor dem Release prüfen
Funktionen
Datenprüfung und Konfiguration
Prüft Daten vor dem Training, wählt regelbasiert Methoden und erzeugt eine Trainingskonfiguration.
Layer-Streaming und Quantisierung
Streamt das eingefrorene Basismodell aus CPU-Speicher oder NVMe jeweils schichtweise und unterstützt 4-bit-Quantisierung.
Evaluierung aus eigenen Daten
Leitet SHA-fixierte Evaluierungssuiten aus eigenen Daten ab und gate’t jeden Speicherstand.
Modell-Release-Gate
soup ship bewertet 8 Offline-Suiten und lehnt Modelle ab, deren Aufgabenscore steigt, während das Allgemeinwissen leidet.
Vorteile
- Kostenlos und unter Apache-2.0 lizenziert
- Offline ohne Registrierung oder Kreditkarte ausführbar
- Unterstützt viele Methoden, Rezepte und Quantisierungsformate
- Release-Gate-Nachweise können eingereicht werden
Nachteile
- Die Referenzimplementierung für Layer-Streaming liest Layer etwa 1,52-mal
- Für den Präferenzverlust gibt es keine gemessenen tok/s-Daten
Preispläne
Free
- Apache-2.0-Lizenz
- Offline-Betrieb
- Keine Registrierung
- Keine Kreditkarte
* Die Preisangaben dienen nur zur Orientierung. Bitte beachten Sie die aktuellen Informationen auf der offiziellen Website von Soup CLI.