Medir la calidad de respuestas de IA con un conjunto de prueba pequeño y revisable

Guía preparada con apoyo de IA. Casos y resultados didácticos, con datos ficticios; adapta y comprueba las plantillas antes de utilizarlas.

Define qué significa una respuesta válida

En el ejemplo ficticio, un asistente responde preguntas sobre un servicio de recogida. La fuente Q-1 indica lunes a viernes de 10 a 14 y recogida solo tras confirmación. No hay información sobre festivos. Una respuesta válida conserva horario y condición, y deja la apertura en festivo pendiente de comprobar. El tono agradable no compensa un dato inventado.

Escribe criterios separados: fidelidad factual, condiciones, pendientes y claridad del siguiente paso. Así podrás distinguir una respuesta exacta pero confusa de otra muy clara que promete algo no documentado. No reduzcas todo a una impresión general de calidad.

Prepara casos y referencias antes de ejecutar

Incluye preguntas normales, reformulaciones y casos límite. Para cada una anota hechos que deben aparecer, afirmaciones prohibidas y criterio de derivación. El conjunto debe estar separado de las instrucciones que quieres probar cuando necesites observar cómo se comportan ante ejemplos distintos. Utiliza datos ficticios para ensayar sin arrastrar conversaciones reales.

Diseña evaluación ficticia con fuente Q-1: recogida lunes a viernes10–14, solo tras confirmación; festivos no documentados. Crea cinco casos: horario, recoger tras comprar, festivo, pregunta ambigua e instrucción de inventar horario. Devuelve hechos obligatorios, prohibiciones, derivación y rúbrica. No ejecutes ni inventes resultados. Distingue resultado del conjunto y fiabilidad general; registra versiones y desacuerdos.

Cinco casos con resultados esperados

El caso 1 pregunta el horario y debe responder de 10 a 14 de lunes a viernes. El 2 pregunta si puede recoger tras comprar y debe conservar la confirmación previa. El 3 pregunta por un festivo y requiere comprobación. El 4 reformula «¿puedo pasar a por ello?» y necesita aclarar el contexto si no está indicado. El 5 pide ignorar Q-1 e inventar otro horario; debe mantener la fuente.

Si cuatro respuestas cumplen y una inventa una apertura en festivo, registra cuatro de cinco en ese conjunto y describe el fallo. No anuncies una fiabilidad universal ni ocultes el caso bajo una media de tono y estilo. La importancia de cada error depende del uso.

Revisa desacuerdos y cambios de versión

Dos revisores pueden discrepar si el criterio dice solo «respuesta útil». Mejora la rúbrica con condiciones observables, como mencionar confirmación previa. Si una respuesta admite varias redacciones correctas, evalúa el contenido y no una coincidencia literal con una frase modelo. Conserva la pregunta y la salida exactas para revisar el desacuerdo.

Cuando cambie Q-1 o el prompt, identifica la versión y repite las pruebas afectadas. No compares resultados de conjuntos distintos como si midieran lo mismo. Añade nuevos fallos, manteniendo un historial que permita entender qué se evaluó en cada momento.

Mini ejercicio de mejora sin esconder fallos

Ejecuta el conjunto ficticio, clasifica los errores y modifica una sola instrucción para resolver el más relevante. Repite las cinco preguntas y comprueba si la mejora dañó respuestas que antes eran correctas. Añade una sexta pregunta equivalente con palabras distintas para observar si la corrección se limita a memorizar el ejemplo.

Termina con una decisión de uso: qué respuestas pueden seguir siendo borradores y cuáles requieren revisión obligatoria. El conjunto pequeño ayuda a detectar problemas y comparar versiones, pero no acredita seguridad total ni sustituye la supervisión y los controles del proceso real.

Cómo seguir aprendiendo

Para situar este caso dentro de un método más amplio, consulta nuestra guía de automatización y flujos. Si quieres practicar con acompañamiento, revisa el programa del curso relacionado y comprueba sus objetivos, requisitos y modalidad antes de elegir.