«Piuttosto che regalarglieli, blocchiamoli tutti»
Questa frase, in una riunione sui contenuti, l’avrete sentita anche voi.
Il guaio è che chi la dice e chi la contesta stanno litigando a mani vuote: nessuno dei due ha una cifra da mettere sul tavolo.
L’anno scorso me l’hanno chiesto e sono riuscita a rispondere «e chi lo sa, proviamo?». Non proprio una consulenza memorabile.
Poi, questa primavera, sono usciti due lavori che sono andati a misurare cosa succede davvero alle testate che hanno chiuso la porta. Quattro milioni di citazioni contate in uno, trenta quotidiani confrontati nell’altro.
Se blocco i crawler dell’IA nel robots.txt, smetto di essere citato?
No. Fra i primi cinquanta siti di news che bloccavano questi bot, la quota che continuava a comparire nelle citazioni delle IA stava fra il 70,6% e il 92,3%.
Il robots.txt, in pratica, è il cartello sullo zerbino: un file di testo in cui si scrive quale robot è pregato di non entrare. Nessuno controlla il documento all’ingresso.
I numeri li ha messi in fila BuzzStream, che vende strumenti di digital PR: circa 4 milioni di citazioni, 3.600 prompt, quattro sistemi (ChatGPT, Gemini, Google AI Overviews e Google AI Mode) su dieci settori, pubblicati l’8 aprile 2026 (la ricerca).
Divisi per bot bloccato, vengono così:
- ChatGPT-User, quello che va a prendere la pagina sul momento: 70,6%
- OAI-SearchBot, l’indice di ricerca di OpenAI: 82,4%
- GPTBot, la scansione di OpenAI per l’addestramento: 88,2%
- Google-Extended, che regola l’uso dei contenuti da parte di Google per addestrare: 92,3%
Più si sbarra la strada all’addestramento, più si resta nelle citazioni. Perbacco.
C’è poi il conto fatto dalla parte opposta, cioè guardando le citazioni e chiedendosi da dove arrivino. Delle fonti citate da ChatGPT, circa il 70% proveniva da siti che bloccano i bot di prelievo, e circa il 95% da siti che bloccano quelli di addestramento.
Chi ha messo il cartello non è l’eccezione: è la maggioranza di quello che leggete nelle risposte.
Allora perché una porta chiusa finisce lo stesso dentro la risposta?
Qui gli autori stessi scrivono che possono solo fare ipotesi, e conviene riportarlo così com’è.
Le strade candidate sono tre: la conoscenza che il modello si porta dietro dall’addestramento già fatto, i bot il cui nome nel file non è scritto e i contenuti ripresi altrove, da cui la notizia viene raccolta di rimbalzo.
È come cancellare il proprio nome dall’elenco degli ex compagni di classe: dalla lista sparisce, dalla memoria di trenta persone no.
E le notizie, per come circolano, finiscono ripubblicate ovunque: il testo gira anche senza che nessuno passi dal sito di chi l’ha scritto.
Insomma, il motivo non è stabilito. Quello che serve in ufficio, però, è l’altro pezzo: sbarrare la porta non garantisce affatto di sparire dalle risposte delle IA.
Quello che è calato davvero sono le visite
Il secondo lavoro è accademico. Hangcheng Zhao (Rutgers Business School) e Ron Berman (Wharton, University of Pennsylvania) hanno misurato il rapporto fra il blocco dei crawler dell’IA e il traffico (il preprint).
Il confronto è fra testate che hanno bloccato i crawler generativi e testate che non l’hanno fatto, sul traffico settimanale. Campione principale: 30 quotidiani, da novembre 2022 a maggio 2024.
Il metodo è la differenza nelle differenze, che in pratica vuol dire una cosa sola: non si guarda quanto è sceso il traffico di chi ha bloccato, si guarda quanto è sceso in più rispetto a chi non ha bloccato. Per chi decide, cambia tutto: toglie di mezzo i cali che sarebbero arrivati comunque.
Entro sei settimane dal blocco, le stime sono −7,4% con i dati SimilarWeb, −6,9% con Semrush e −6,5% con Comscore. Tre fonti indipendenti che cadono tutte attorno al 7%.
Le citazioni restano per sette, otto, nove decimi. Le visite se ne vanno del 7%. È questa asimmetria a rendere il blocco un affare in perdita: si paga il pedaggio e la merce passa lo stesso.
Fin dove si può portare questa cifra dentro casa vostra?
Poco, e vale la pena essere chiari sul perché.
Intanto, in tutti e due i casi si parla di testate giornalistiche. Il loro contenuto rimbalza per mestiere, quindi il risultato non si trasferisce al sito aziendale di un’impresa qualsiasi.
Dal lato BuzzStream il periodo di rilevazione non è pubblicato, quindi non è garantito che le modifiche al robots.txt e le citazioni cadano nello stesso momento. I dati di citazione vengono da un solo strumento, XOFU, e nessuno li ha verificati dall’esterno.
Poi c’è chi ha fatto la misura: un’azienda che vende software di digital PR. La conclusione «conviene farsi nominare fuori piuttosto che chiudersi» passa esattamente sopra il suo listino, ed è onesto tenerne conto leggendo.
La ricerca accademica ha altri limiti. Il campione principale è di 30 testate; l’intervallo di confidenza non attraversa lo zero, cioè il risultato è statisticamente significativo, per la sola stima SimilarWeb, e dopo una ventina di settimane la significatività si perde. È un preprint: non è ancora passato dalla revisione tra pari.
Gli autori dichiarano loro stessi che il periodo analizzato precede la diffusione su larga scala della ricerca integrata con l’IA, e che i dati di traffico non vedono il consumo che si esaurisce dentro la schermata del chatbot. Aggiungo che entrambe le rilevazioni riguardano testate soprattutto statunitensi: sull’italiano nessuno ha misurato niente.
Un’ultima cosa, e riguarda un numero che potreste incrociare. Dalla prima versione di questo studio la stampa aveva ripreso un −23,1% mensile. Gli stessi autori, rimisurando su base settimanale, sono scesi attorno al 7%: se vi capita davanti la cifra vecchia, andate a prendere la versione aggiornata.
Io questi numeri non li metto nelle mie previsioni. Li uso per sapere dove guardare, e la mia risposta in italiano me la misuro in casa.
prima di sbarrare la porta, guardate come uscite adesso nelle risposte
Se portate a casa una cosa sola, portate questa: la decisione sul blocco si prende dopo aver visto il dato, non prima.
Da toccare con le mani ci sono due punti. Il primo: aprite il vostro robots.txt e leggete come tratta i bot legati all’IA. Anche se nessuno ricorda di averci scritto niente, il CMS o il tema che avete installato possono aver messo delle righe per conto loro.
Il secondo: tenete sotto osservazione come esce il vostro nome nelle risposte delle IA, e tenetelo separato dalla questione del blocco. Scegliete tre o cinque domande fra quelle che nel vostro settore la gente fa davvero, ponetele agli stessi modelli e guardate chi viene nominato.
Che succede dopo, quando invece li lasciate leggere, l’ho raccontato in L’IA legge 38.065 pagine e rimanda un visitatore solo; dei file che si mettono apposta per farsi leggere ho scritto in Dove l’IA viene davvero a leggere? 137.000 siti alla mano.
Qui siamo un passo prima: al momento in cui si decide se far entrare qualcuno.
Il ritratto che l’IA fa di voi resta in circolazione anche a porte chiuse. Visto che cancellarlo non si può, tanto vale sapere com’è fatto e mettersi a lavorarci.
Fonti
- Hangcheng Zhao (Rutgers Business School), Ron Berman (The Wharton School, University of Pennsylvania), «Strategic Response of News Publishers to Generative AI», arXiv:2512.24968, 2026-04-15, https://arxiv.org/abs/2512.24968
