Soup CLI
CLI integral para postentrenamiento, evaluación y controles de publicación de modelos
Acerca de Soup CLI
Soup CLI concentra el flujo de postentrenamiento en una herramienta de línea de comandos: comprueba los datos antes de entrenar, selecciona métodos según reglas y genera la configuración, deriva evaluaciones de datos propios, controla cada guardado y corrige por sí mismo el reward hacking durante la ejecución. Admite 23 métodos, 163 recetas y 17 formatos de cuantización; permite transmitir un modelo base congelado por capas desde la memoria CPU o NVMe a la memoria GPU y cuantizarlo a 4 bits. soup eval genera conjuntos de evaluación fijados por SHA y soup ship rechaza los modelos cuyo resultado en tareas mejora pero cuyo conocimiento general se deteriora.
Ideal para
Mejores casos de uso
Comprobación de datos y generación de configuración antes del entrenamiento
Ajuste fino de modelos en dispositivos con poca memoria
Creación de evaluaciones sin conexión a partir de datos propios
Validación del conocimiento general antes de publicar
Funciones
Precomprobación de datos y configuración
Comprueba los datos antes del entrenamiento, selecciona métodos según reglas y genera la configuración de entrenamiento.
Streaming por capas y cuantización
Transmite el modelo base congelado desde la memoria CPU o NVMe, una capa de decodificador cada vez, y admite cuantización de 4 bits.
Evaluación derivada de datos propios
Deriva conjuntos de evaluación fijados por SHA a partir de datos propios y aplica un control en cada guardado.
Control de publicación del modelo
soup ship puntúa 8 conjuntos sin conexión y rechaza los modelos cuyo resultado en tareas mejora pero cuyo conocimiento general se deteriora.
Ventajas
- Gratuito y con licencia Apache-2.0
- Funciona sin conexión, sin registro ni tarjeta de crédito
- Cubre muchos métodos, recetas y formatos de cuantización
- Se pueden enviar evidencias del control de publicación
Limitaciones
- La implementación de referencia de streaming por capas lee las capas unas 1,52 veces
- No hay datos medidos de tok/s para la pérdida de preferencias
Planes de precios
Free
- Licencia Apache-2.0
- Ejecución sin conexión
- Sin registro
- Sin tarjeta de crédito
* La información de precios es solo orientativa. Consulta el anuncio más reciente en el sitio web oficial de Soup CLI.