Cada vez más, antes de montar una propuesta, la gente pega en ChatGPT un puñado de competidores y pregunta «¿cuál es el más fuerte?» u «ordénamelos».
A Hex-ko le ha pasado también: sueltas los candidatos minutos antes de una reunión y dejas que decida el modelo.
Y ese orden que devuelve acaba en la diapositiva como «la valoración objetiva de la IA».
Pero hay algo que no me cuadra. Si pegas los mismos nombres en otro orden, ¿te da el mismo ranking?
Seguro que alguna vez lo has notado: «anda, este no era el orden de antes». Pues alguien midió exactamente cuánto se mueve. Y el número es mayor de lo que esperaba. Vamos a verlo.
«Cambio el orden y cambia la respuesta», ¿de qué hablamos?
Primero, la versión sencilla. El sesgo de posición es esto: el orden en que le enseñas los candidatos cambia cuál elige el modelo. Tú quieres que juzgue por el contenido, pero el sitio que ocupa cada opción le tira de la nota.
A las personas nos pasa igual. Pon tres opciones en fila y la del medio parece, no sé por qué, la apuesta segura. (Es el mismo reflejo que te hace coger el producto de la estantería central en el súper.) El modelo tiene su propia versión de ese tirón, y va comiéndose poco a poco la estabilidad de sus recomendaciones.
La pregunta de verdad es cuánto se mueve. Si es poquito, lo ignoras y ya. Pero si no lo es, pedirle a una IA que ordene cosas es más frágil de lo que parece.
Un equipo de la RMIT barajó la lista y midió el temblor
Eso es justo lo que se propusieron Ethan Bito y sus colegas (el estudio). Pusieron a LLaMA 3.3 70B —un modelo grande— a recomendar películas y libros.
Usaron dos conjuntos de datos clásicos: MovieLens para valoraciones de cine y las valoraciones de libros de Amazon. El método fue de lo más simple. Coges el mismo grupo de candidatos, cambias el orden, vuelves a pedir recomendación y mides cuánto se mantiene el resultado de una baraja a otra.
La vara de medir fue una «puntuación de consistencia»: 1,0 significa que el orden no se mueve al reordenar, 0 que sale distinto cada vez.
Y esto es lo que salió
Cuanto más larga la lista de candidatos, más se desmoronaba la consistencia.
- Películas: 0,67 de consistencia con 10 candidatos, que baja a 0,47 con 30 (una caída de 0,20 puntos, en torno al 30%).
- Libros: 0,55 con 10 candidatos, hasta 0,47 con 30 (alrededor del 15%).
O sea, cuantas más opciones le haces sopesar a la IA, más manda «el orden en que las pegas». Con diez candidatos, el resultado de cine aguanta unas dos de cada tres veces. Súbelo a treinta y casi la mitad va a remolque de la posición. Cuantos más metes, más blanda se vuelve la valoración.
Los autores lo conectan con el «perdido en el medio»: esa manía conocida de los modelos de descuidar la información que cae en mitad de una entrada larga. Un candidato aparcado en el centro de la lista se trata más flojo de lo que es. Y si tu marca está en el puesto 15, la idea no consuela mucho.
Cambia cómo preguntas y el temblor se encoge
Y ahora la parte que evita el drama total. El equipo probó también otra forma de preguntar, llamada RISE. En vez de soltar la lista entera y pedir un único ranking, haces que el modelo elija uno, lo aparte, elija el siguiente, y así.
Con ese cambio, la consistencia con 30 candidatos remonta: en cine de 0,47 a 0,69 (un 46% mejor que la pregunta estándar), en libros de 0,47 a 0,65 (un 38% mejor).
Fíjate en el detalle: no rehicieron el modelo. Solo cambiaron la pregunta. Es una buena noticia. Pero también te dice lo frágil que era, de partida, el clásico «ordéname todos estos».
Conclusión: un ranking de IA es una tirada, no el veredicto
Así que la moraleja no es «la IA no sabe juzgar». Es que un único «orden recomendado» de un modelo es una tirada de dados, no una medición. El puro orden de pegado ya lo mueve como un tercio.
Hay dos cosas pequeñas que yo cambiaría en cómo lo usas. La primera: baraja y pregunta más de una vez. En vez de celebrar la única tirada en la que saliste primero, reordena la lista, prueba unas cuantas veces y mira si estás siempre cerca de la cima. Solo con eso dejas de comerte una colocación con suerte.
La segunda: juzga menos cosas a la vez. Ordenar 30 elementos de golpe es justo donde el sesgo de posición hace más daño, así que quédate con los cinco o diez que importan de verdad. Y si tienes muchos ejes que comparar, repártelos en preguntas distintas. Aguantan mejor.
Cada vez le pasarás más de estas decisiones a la IA. Y solo con saber que «el orden puede mover la respuesta» cambia el peso que le das a cualquier ranking. La próxima vez que importe, baraja tu propia lista y pregunta tres veces antes de creértelo.
Fuente
- Ethan Bito, Yongli Ren, Estrid He (2025), «Evaluating Position Bias in Large Language Model Recommendations», arXiv:2508.02020, arXiv
