Soup CLI
CLI completa para pós-treinamento, avaliação e gates de lançamento de modelos
Sobre Soup CLI
Soup CLI reúne o fluxo de pós-treinamento em uma ferramenta de linha de comando: verifica os dados antes do treinamento, escolhe métodos por regras e gera a configuração, deriva avaliações de dados próprios, aplica gate a cada salvamento e corrige sozinho o reward hacking durante a execução. Ele oferece 23 métodos, 163 receitas e 17 formatos de quantização; um modelo base congelado pode ser transmitido camada a camada da memória da CPU ou NVMe para a memória da GPU e quantizado para 4 bits. soup eval gera conjuntos de avaliação fixados por SHA, enquanto soup ship rejeita modelos cuja pontuação em tarefas melhora mas cujo conhecimento geral é prejudicado.
Ideal para
Melhores casos de uso
Verificação de dados e geração de configuração antes do treinamento
Ajuste fino de modelos em dispositivos com pouca memória
Construção de avaliações offline a partir de dados próprios
Validação do conhecimento geral antes do lançamento
Funcionalidades
Pré-verificação de dados e configuração
Verifica os dados antes do treinamento, escolhe métodos por regras e gera a configuração de treinamento.
Streaming por camadas e quantização
Transmite o modelo base congelado da memória da CPU ou NVMe, uma camada de decodificador por vez, com quantização de 4 bits.
Avaliação derivada de dados próprios
Deriva conjuntos de avaliação fixados por SHA a partir de dados próprios e aplica gate a cada salvamento.
Gate de lançamento do modelo
soup ship pontua 8 conjuntos offline e rejeita modelos cuja pontuação em tarefas melhora enquanto o conhecimento geral é prejudicado.
Vantagens
- Gratuito e sob licença Apache-2.0
- Executa offline sem cadastro ou cartão de crédito
- Abrange muitos métodos, receitas e formatos de quantização
- É possível enviar evidências do gate de lançamento
Limitações
- A implementação de referência de streaming por camadas lê as camadas cerca de 1,52 vez
- Não há dados medidos de tok/s para a perda de preferência
Planos de preços
Free
- Licença Apache-2.0
- Execução offline
- Sem cadastro
- Sem cartão de crédito
* As informações de preços são apenas indicativas. Consulte o anúncio mais recente no site oficial de Soup CLI.