Evals: probar prompts y modelos de forma sistemática

Los evals son pruebas que miden qué tan bien resuelve realmente una tarea un prompt o un modelo, en lugar de juzgar por sensación.

Por qué se necesitan evals

Si cambias un prompt y la siguiente respuesta "parece" mejor, aún no sabes si realmente es mejor, o si solo lo es para ese ejemplo concreto. Sin una prueba sistemática, mejorar un prompt sigue siendo adivinar. Los evals (abreviatura de "evaluations", evaluaciones) resuelven esto comprobando objetivamente un cambio en muchos ejemplos a la vez.

La estructura básica

Un eval consta de un conjunto de pruebas (varios ejemplos de entrada, a menudo con la respuesta esperada o criterios de evaluación) y un método para evaluar la salida: coincidencia exacta, una comprobación basada en reglas, o un segundo modelo como "juez" (LLM-as-judge). Después de cada cambio de prompt o de modelo, se vuelve a ejecutar el conjunto de pruebas y se comparan los resultados antes/después.

Diferencia con los benchmarks públicos

Benchmarks como MMLU o SWE-bench son pruebas generales y ajenas. Los evals propios están adaptados a tu tarea concreta, a menudo más significativos para tu producto, aunque sean más pequeños y menos conocidos.

Un comienzo práctico

Ya con 20-30 ejemplos cuidadosamente seleccionados y realistas de tu propio caso de uso se obtienen señales útiles. Es importante que los casos de prueba cubran casos límite reales y errores típicos, no solo casos estándar sencillos.