🇬🇧 Read this post in English → How to Evaluate AI Answers
Seguro que te ha pasado. Escribes una pregunta en ChatGPT, Claude o Gemini, y unos segundos después, boom, aparece un texto perfectamente formateado. Parece profesional, es rápido y suena inteligente.
Pero, ¿es realmente una buena respuesta?
Como ingeniero de Software de IA Generativa, gran parte de mi trabajo no consiste solo en conseguir que la IA hable, sino en averiguar si lo que dice es realmente útil y correcto. En el mundo tech, lo llamamos «evaluación del LLM».
No dejes que la jerga te intimide. «Evaluar un LLM» (Large Language Model, o Gran Modelo de Lenguaje) no es más que una forma elegante de decir «corregirle los deberes a la IA.»
Cuando los ingenieros ponemos a prueba sistemas de IA, no usamos una simple plantilla de verdadero o falso, porque la IA es creativa y flexible. En su lugar, usamos algunos pilares fundamentales para juzgar su rendimiento. Y tú puedes usar exactamente los mismos pilares para evaluar las herramientas de IA que usas cada día.
Veamos los tres más importantes.
1. Relevancia (El medidor de «¿Me Estabas Escuchando?»)
Imagina que entras en una cafetería, le pides al camarero un café con hielo bien fresquito porque hace un calor insoportable, y te trae un café solo ardiendo. Es café, sí, pero no es lo que pediste.
Eso es un problema de relevancia.
En la IA, la relevancia mide si el modelo respondió realmente a tu pregunta concreta o si se fue por las ramas.
- Ejemplo de una mala respuesta: Le pides a la IA un «itinerario rápido de 3 días para una escapada de fin de semana a Madrid», y te suelta un ensayo de 2.000 palabras sobre la historia de la Puerta de Alcalá. Es información interesante, pero no te ayuda a planear el fin de semana.
- Cómo es una buena respuesta: La IA te da una lista con actividades para la mañana, la tarde y la noche del viernes, sábado y domingo en Madrid.
Cuando una IA da una respuesta de calidad, no se limita a presumir de lo mucho que sabe: respeta tu intención y tus limitaciones.
2. Precisión Factual (El medidor de «Espera, ¿Eso es Verdad?»)
Imagina que le preguntas a un amigo en qué año entró España en la Unión Europea, y te responde al instante, con total seguridad, sin dudar ni un segundo: «1992.» Lo dijo totalmente convencido. También está equivocado (fue en 1986; 1992 es el año de los Juegos Olímpicos de Barcelona, la Expo de Sevilla y Madrid como Capital Europea de la Cultura — fácil de confundir, pero incorrecto).
Ese es el peligro de la precisión factual en la IA: el problema no es que el modelo dude o sea impreciso. Es que puede estar completamente seguro y estar completamente equivocado, y nada en su tono te lo revela. En la industria lo llamamos «alucinación»: cuando el modelo genera información que suena plausible pero no está basada en la realidad.
- Cómo es una mala respuesta: Preguntas «¿quién ganó el Premio Nobel de Literatura en 2010?» y la IA responde con total naturalidad «Gabriel García Márquez» — sin titubear, sin matices, simplemente una respuesta incorrecta con aplomo. (La respuesta correcta es Mario Vargas Llosa; García Márquez lo ganó en 1982, y es fácil que la IA confunda a dos grandes autores latinoamericanos).
- Cómo es una buena respuesta: La IA da el nombre correcto o, si no está segura, lo reconoce — «no tengo información fiable sobre esto» es una respuesta mejor que una adivinanza con seguridad.
Este es posiblemente el más importante de los tres, porque la relevancia y la fluidez pueden hacer que una respuesta incorrecta parezca fiable. Una respuesta bien escrita, que responde a tu pregunta y es completamente falsa suele ser más peligrosa que una respuesta que obviamente es un desastre — porque es menos probable que la verifiques.
3. Fluidez (El medidor de «¿Esto lo Escribió una Persona?»)
Imagina que alguien te da indicaciones para llegar a un sitio. Conoce el camino perfectamente, pero te lo explica así: «Gira. Izquierda es la dirección. Calle segunda. Ahora derecha vas.» Probablemente llegarías igualmente, pero perderías energía descifrando cómo te lo dice en lugar de centrarte en a dónde vas.
Eso es un problema de fluidez.
La fluidez mide si la respuesta está bien redactada: gramaticalmente correcta, con una fraseología natural y un tono adecuado a la situación — no si es correcta, sino si es legible.
- Cómo es una mala respuesta: Un texto técnicamente preciso pero repetitivo, mal estructurado, o extrañamente formal cuando hiciste una pregunta informal (o al revés).
- Cómo es una buena respuesta: Frases claras, un flujo lógico de una idea a la siguiente y un tono que encaja con lo que realmente necesitabas.
Aquí hay una trampa que merece la pena señalar: la fluidez es la más fácil de «fingir» de forma convincente por parte de la IA, y la más fácil de la que los humanos se dejan engañar. Una respuesta fluida parece competente, incluso cuando es irrelevante o directamente falsa. Por eso nunca evaluamos una IA solo por su fluidez.
Juntando las Tres Piezas
Aquí está lo que hace que este marco sea realmente útil: ninguna métrica es suficiente por sí sola.
- Relevante + Fluida + Incorrecta → una respuesta segura a la pregunta correcta, que resulta que te miente
- Precisa + Fluida + Fuera de tema → información correcta que no pediste
- Relevante + Precisa + Torpe → la respuesta correcta, enterrada bajo un texto que cuesta entender
Solo cuando una respuesta es relevante, precisa y fluida al mismo tiempo, obtienes algo en lo que realmente puedes confiar y que puedes usar.
La Conclusión: No Hace Falta un Doctorado para Corregirle los Deberes a la IA
La buena noticia es que no necesitas trabajar en IA para pensar como un ingeniero de IA. Cada vez que usas una de estas herramientas, ya eres el evaluador — la única pregunta es si lo haces a propósito o no.
La próxima vez que recibas una respuesta de ChatGPT, Claude, Gemini o la herramienta que uses, pásala por el mismo filtro de tres preguntas que usamos entre bambalinas:
- ¿Respondió realmente a mi pregunta? (Relevancia)
- ¿Puedo verificar que esto es verdad? (Precisión Factual)
- ¿Es clara, o tengo que esforzarme para entenderla? (Fluidez)
Si la respuesta a las tres es sí, tienes una respuesta genuinamente buena. Si no, sabes exactamente dónde está el fallo — y sabes que merece la pena una segunda mirada, una pregunta de seguimiento o una comprobación de los hechos antes de confiar en ella.
La IA se ha vuelto tremendamente buena sonando acertada. Saber diferenciar entre sonar acertada y serlo se está convirtiendo rápidamente en una de las habilidades más útiles a la hora de trabajar con estas herramientas — y ahora tienes el mismo marco de trabajo que usan los ingenieros para comprobarlo.
Corolario AI 
Deja un comentario