Le pasas a ChatGPT la parte aburrida de un análisis de competencia. Te devuelve un párrafo redondo, sin una sola duda.
Y tú te relajas. «Pues qué bien lo ha resuelto». Es automático.
A Hex-ko le pasa igual. Seguro que a ti también.
Pero el fallo caro no es que la IA diga «no lo sé». El fallo caro es que se equivoque con la voz muy firme.
Es como ese compañero que olvidó las diapositivas y maneja el puntero láser como nadie. La seguridad, por sí sola, convence una barbaridad.
Así que la pregunta es sencilla. ¿Ese aplomo es puro decorado, o dentro del modelo hay de verdad algo que puntúa su propia respuesta?
Hay unos cuantos estudios que abren esa caja. El resumen: la seguridad no es puro decorado, pero tampoco es un medidor de acierto. Vamos a verlo.
«¿La IA se siente segura o lo finge?»
Empecemos por Google DeepMind y su «How do LLMs Compute Verbal Confidence?» (estudio). Trabajaron con Gemma 3 27B y Qwen 2.5 7B.
La pregunta era muy concreta. Cuando un modelo pone en palabras cuánta confianza tiene, ¿de dónde sale ese dato?
El método es lo bonito. El equipo fue cortando y permutando el flujo de información dentro del modelo. Poco a poco, hasta rastrear el camino que recorre la señal de confianza.
Y esa señal no se improvisa al final. Nace en la posición de la respuesta, se guarda justo después y se recupera cuando toca poner la seguridad en palabras.
Dicho de otro modo: ahí dentro podría haber una autoevaluación de verdad. Desde luego, teatro del todo no es.
Pero el tono no mide la duda real
Entonces bastaría con preguntarle cuánta confianza tiene, ¿no? Pues no.
El estudio de Meta «Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations» (estudio, EMNLP 2025) compara dos cosas que solemos mezclar.
Una es la incertidumbre verbal: lo insegura que suena la respuesta. La otra es la incertidumbre semántica: lo repartido que está el modelo entre todas las respuestas que podría haber dado.
A veces duda por dentro, pero por fuera habla a pecho descubierto. Y a veces se pasa de prudente. De hecho, ese desajuste predice las alucinaciones.
El tono es una pista del estado interno. Pero no es el estado interno.
La buena noticia: ese tono se puede calibrar
Ahora lo esperanzador. El mismo equipo intervino sobre la incertidumbre verbal en plena inferencia, o sea, mientras el modelo redacta la respuesta.
El resultado: las alucinaciones seguras en preguntas de respuesta corta bajaron alrededor de un 30% de media.
Ojo, eso pasa en un laboratorio, no en la pestaña que tienes abierta. La herramienta que usas cada día podría no llevar nada de esto montado.
Por eso, cuando leas lo que una IA cuenta de una marca, la tuya o la del vecino, lo útil no es si dijo estar segura. Es si está diseñada para enseñarte lo que no sabe.
El exceso de confianza no es solo estilo
«Wired for Overconfidence» (estudio) baja un piso más. Es un preprint de 2026, o sea, un trabajo que todavía no ha pasado la revisión de otros investigadores.
Aquí se persiguen las respuestas falsas pero muy seguras hasta el nivel de circuito. Dos modelos: Qwen2.5-3B-Instruct y Llama-3.2-3B-Instruct. Tres conjuntos de datos: PopQA, MMLU y NQOpen.
En las capas intermedias y finales aparecen componentes que inflan la confianza declarada. Los autores lo llaman Confidence Mover Circuit.
Al intervenir sobre esas piezas, los números se mueven mucho. El ECE (error de calibración esperado) mide la distancia media entre lo segura que se dice la IA y lo que acierta de verdad, así que cuanto más baja, mejor:
- En PopQA, el ECE cayó entre un 40% y un 97%, y la puntuación de Brier mejoró entre un 43% y un 70%.
- En MMLU, el ECE cayó entre un 33% y un 57%.
- En NQOpen, entre un 81% y un 83%.
Un matiz honesto, y un criterio para elegir
No hace falta memorizar los nombres de las métricas. Lo que cuenta es que la distancia entre seguridad y acierto se encogió, y se encogió tocando piezas concretas.
Por supuesto, ningún trabajo cierra el asunto por sí solo. «SCIURus», de NAACL 2025 (estudio), apunta a que la incertidumbre y la factualidad salen de partes compartidas de la misma red.
Cada estudio mira un fenómeno algo distinto. Así que «un circuito de exceso de confianza lo explica todo» es más de lo que nadie ha demostrado.
Pero lo esencial se sostiene. El exceso de confianza parece cosa de la maquinaria, no un tic del estilo.
Y eso te da un criterio muy práctico. No basta con que una herramienta muestre un nivel de confianza: lo interesante es contra qué se ha contrastado ese nivel.
Conclusión: que el tono seguro dispare la verificación
La lectura honesta es incómoda. En la seguridad de una IA hay algo de señal, pero está muy lejos de ser una garantía. Por eso conviene tratar ese tono resuelto como una bandera de verifícalo antes de usarlo, no como el motivo para usarlo.
Antes de que una frase entre en una presentación, busca tres cosas en la respuesta. Enlace a la fuente, fecha del dato y un «esto no he podido confirmarlo» explícito.
Lo que el modelo no sepa respaldar no va al cuerpo del documento. Va a una nota de pendientes, que es donde Hex-ko acaba metiendo la mitad de lo que le gusta.
Y pregunta lo mismo varias veces, en varios modelos. Quédate solo con lo que sobreviva a la repetición. La realidad es que nada protege tanto del tono rotundo como verlo tambalearse.
Si quieres construir el criterio desde dentro del modelo, ¿La IA entiende de verdad? Le abrimos la cabeza para verlo es el complemento natural de este artículo.
Fuentes
- Kumaran, D. et al. (Google DeepMind), «How do LLMs Compute Verbal Confidence?», arXiv:2603.17839, 2026, arxiv.org
- Ji, Z. et al. (Meta), «Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations», EMNLP 2025, arXiv:2503.14477, arxiv.org
- Teplica, C. et al. (NYU), «SCIURus: Shared Circuits for Interpretable Uncertainty Representations in Language Models», NAACL 2025, aclanthology.org
- Zhao, T. et al. (Universidad de Virginia), «Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs», arXiv:2604.01457, 2026, arxiv.org
