Oqoqo
Plataforma de evaluación y creación de benchmarks privados para tareas de agentes en entornos reales
Acerca de Oqoqo
Oqoqo es una plataforma de evaluación de agentes que se ejecuta en una infraestructura en la nube totalmente gestionada y permite realizar experimentos de evaluación a gran escala en entornos reales. Los usuarios pueden redactar y versionar conjuntos de tareas y criterios de evaluación en lenguaje natural, construir benchmarks privados y comparar de forma repetida el rendimiento de distintos agentes, modelos y enfoques. La plataforma agrega resultados como la tasa de éxito, las mejoras, el consumo de tokens y la fricción de la interfaz, lo que ayuda a detectar problemas de interacción del producto y diferencias de eficiencia de tokens, y a encontrar combinaciones de agentes y modelos adecuadas para casos de uso concretos. Se accede mediante aplicación web, CLI y MCP, y la inferencia de modelos usa claves API o suscripciones propias.
Ideal para
Mejores casos de uso
Evaluación de agentes en entornos reales
Construcción de benchmarks privados
Comparación de combinaciones de agentes y modelos
Análisis de la fricción de interfaz y la eficiencia de tokens
Funciones
Tareas y criterios de evaluación personalizados
Redactar tareas y criterios de evaluación en lenguaje natural, con versionado en cada experimento.
Evaluación entre agentes y modelos
Repetir las mismas tareas entre distintos agentes, modelos y enfoques, y comparar resultados.
Métricas de evaluación y análisis de fricción
Informa la tasa de éxito, las mejoras, el consumo de tokens y la fricción de la interfaz, entre otros resultados.
Múltiples puntos de acceso
Aplicación web completa, acceso por CLI y MCP.
Ventajas
- Realizar evaluaciones a gran escala sobre infraestructura en la nube totalmente gestionada
- Tareas y criterios de evaluación versionables para mantener comparables las ejecuciones posteriores
- Comparación repetida de varios agentes, modelos y enfoques
- Acceso por aplicación web, CLI y MCP
Planes de precios
Free
- Runs reiniciados cada mes para la organización
- Miembros, proyectos, experimentos, tareas, enfoques y assets ilimitados
- Aplicación web completa, acceso por CLI y MCP
* La información de precios es solo orientativa. Consulta el anuncio más reciente en el sitio web oficial de Oqoqo.