Oqoqo

Oqoqo é uma plataforma de avaliação de agentes que roda em uma infraestrutura de nuvem totalmente gerenciada e permite realizar experimentos de avaliação em larga escala em ambientes reais. Os usuários podem escrever e versionar conjuntos de tarefas e critérios de avaliação em linguagem natural, construir benchmarks privados e comparar repetidamente o desempenho de diferentes agentes, modelos e abordagens. A plataforma agrega resultados como taxa de sucesso, melhorias, consumo de tokens e fricção da interface, ajudando a identificar problemas de interação do produto e diferenças de eficiência de tokens, além de encontrar combinações de agentes e modelos adequadas a casos de uso específicos. O acesso é feito por aplicativo web, CLI e MCP, e a inferência de modelos usa chaves de API ou assinaturas próprias.