Sempre più spesso, prima di preparare una presentazione, si incollano in ChatGPT un pugno di concorrenti e si chiede: «qual è il più forte?» oppure «mettimeli in ordine».
L’ho visto fare a pochi minuti da una riunione: si scarica la lista di candidati e si lascia che sia il modello a decidere.
E quell’ordine che torna indietro finisce dritto nella slide, con l’etichetta «il giudizio oggettivo dell’IA».
Però una cosa non mi torna. Se incollate gli stessi nomi in un ordine diverso, ottenete la stessa classifica?
Sarà capitato a molti di voi di notarlo almeno una volta: «un attimo, prima l’ordine non era questo». Ecco, qualcuno ha misurato con precisione quant’è grande questo tremolio. E il numero è più alto di quanto immaginassi. Andiamo a vedere.
«Cambio l’ordine e cambia la risposta»: di cosa parliamo?
Prima la versione semplice. Il bias di posizione in pratica è questo: l’ordine in cui si mostrano i candidati cambia quale sceglie il modello. Vorremmo che giudicasse nel merito, e invece il posto occupato da ogni opzione tira il voto da una parte.
Capita anche a noi umani, no? Mettete tre opzioni in fila e quella in mezzo sembra, chissà perché, la scelta prudente. (È lo stesso riflesso che al supermercato vi fa prendere il prodotto dello scaffale centrale.) Il modello ha la sua versione di questa attrazione, e si mangia pian piano la stabilità dei suoi consigli.
La domanda vera è quanto sia grande il tremolio. Se è minuscolo, lo si ignora e via. Ma se non lo è, chiedere a un’IA di stilare classifiche è una mossa più fragile di quanto sembri.
Un gruppo della RMIT ha rimescolato la lista e misurato il tremolio
È proprio la domanda che hanno affrontato di petto Ethan Bito e colleghi (lo studio). Hanno fatto raccomandare film e libri a LLaMA 3.3 70B, un grande modello.
Hanno usato due dataset classici: MovieLens per i voti dei film e i voti dei libri di Amazon. Il metodo era di una semplicità rinfrescante. Si prende lo stesso insieme di candidati, si mescola l’ordine, si richiede una raccomandazione e si misura quanto il risultato tiene da un rimescolamento all’altro.
Il metro era un «punteggio di coerenza»: 1,0 vuol dire che la classifica non si muove quando si riordina, 0 che esce diversa ogni volta.
E i risultati, allora?
Più la lista di candidati si allunga, più la coerenza si sgretola.
- Film: 0,67 di coerenza con 10 candidati, che scende a 0,47 con 30 (un calo di 0,20 punti, circa il 30%).
- Libri: 0,55 con 10 candidati, giù fino a 0,47 con 30 (circa il 15%).
Quindi: più opzioni si fanno soppesare all’IA, più è «l’ordine di incollaggio a decidere la classifica». Con dieci candidati il risultato dei film tiene circa due volte su tre. Portatelo a trenta, e quasi la metà viene solo trascinata dalla posizione. Si accumulano candidati, e il giudizio si ammorbidisce.
Gli autori lo collegano al «perso nel mezzo»: quella nota abitudine dei modelli di trascurare le informazioni che finiscono in mezzo a un input lungo. Un candidato parcheggiato al centro della lista viene trattato più sbiadito di quanto sia. E se il vostro marchio sta al quindicesimo posto, l’idea non consola granché.
Cambiate il modo di chiedere, e il tremolio si restringe
E adesso la parte che evita lo sconforto totale. Il gruppo ha provato anche un altro modo di chiedere, chiamato RISE. Invece di scaricare tutta la lista e pretendere un’unica classifica, si fa scegliere un elemento al modello, lo si mette da parte, se ne sceglie il successivo, e così via.
Con questo cambio, la coerenza a 30 candidati risale: nei film da 0,47 a 0,69 (circa il 46% meglio della domanda standard), nei libri da 0,47 a 0,65 (circa il 38% meglio).
Il punto è questo: non hanno rifatto il modello. Hanno solo cambiato la domanda. Buona notizia. Ma dice anche quanto fosse fragile, in partenza, il classico «mettimeli tutti in ordine».
Conclusione: una classifica dell’IA è un’estrazione, non il verdetto
La lezione, insomma, non è «l’IA non sa giudicare». È che un singolo «ordine consigliato» da un modello è un tiro di dadi, non una misura — il solo ordine di incollaggio lo sposta già di circa un terzo.
Ci sono due piccole cose che cambierei nel modo in cui lo usate. La prima: rimescolare e chiedere più di una volta. Invece di festeggiare l’unica prova in cui siete usciti primi, riordinate la lista, lanciatela qualche volta e guardate se state stabilmente in alto. Solo questo vi evita di farvi ingannare da una disposizione fortunata.
La seconda: far valutare meno cose alla volta. Ordinare 30 voci in un colpo solo è esattamente il punto in cui il bias di posizione fa più danni, quindi stringete sui cinque o dieci che contano davvero. E se avete molti assi da confrontare, distribuiteli su richieste separate. Le risposte reggono meglio.
Col tempo affiderete all’IA sempre più giudizi del genere. E il solo sapere che «l’ordine può spostare la risposta» cambia il peso che date a una singola classifica. La prossima volta che conta, rimescolate la vostra lista e chiedete tre volte prima di crederci.
Fonte
- Ethan Bito, Yongli Ren, Estrid He (2025), «Evaluating Position Bias in Large Language Model Recommendations», arXiv:2508.02020, arXiv
