Si chiede a ChatGPT della propria azienda e quello che torna indietro è quasi giusto.
L’anno di fondazione balla di uno. Il prodotto di punta viene descritto com’era due riposizionamenti fa. E tutto questo sta scritto, nero su bianco, nella pagina «chi siamo», dove chiunque può leggerlo (modello compreso).
Capita anche a me. Una volta ho incollato in chat il testo istituzionale di un’azienda, ho chiesto l’anno di fondazione e la risposta è arrivata con una sicurezza notevole: un anno diverso da quello che avevo appena fornito io.
Però la stranezza vera arriva quando si gira la domanda. Provate a descrivere con precisione la vostra azienda — settore, specialità, tipo di clienti — e a chiedere di quale azienda si tratti. Una persona direbbe «ah, sembra il tal dei tali». Il modello resta muto (e non è timidezza).
C’è quindi una distanza tra quello che sta nei dati di addestramento e quello che esce dalla bocca del modello. E da che cosa dipende, questa distanza? Qualcuno è andato a misurarla con un esperimento volutamente artificiale.
Persone inventate, imparate a memoria di proposito
Il lavoro fa parte della serie Physics of Language Models, firmata da Zeyuan Allen-Zhu e colleghi di Meta FAIR. Il nome è già il programma: la fisica ha ricavato le sue leggi da esperimenti spogli, e allora i modelli si studiano allo stesso modo, in condizioni controllate invece che con quello che passa internet.
Come si fa a sapere che cosa un modello ha imparato davvero?
La trovata sta nell’aver scritto una gran quantità di biografie di persone che non esistono. Con i personaggi famosi non si può mai escludere che il modello abbia visto la risposta da qualche altra parte. Con le persone inventate si sa esattamente cosa sa: le biografie che gli sono state date, e nient’altro.
Poi l’addestramento su quelle biografie e le domande: data di nascita, datore di lavoro, cose così. Si misurava quante volte arrivasse la risposta giusta, cambiando le condizioni.
Se lo ricorda, ma non riesce a tirarlo fuori
E i risultati, allora? Il primo è quello che sorprende di più. Quando ogni biografia era scritta con un unico stampo pulito, il modello non riusciva praticamente a rispondere alle domande su quella persona.
Cosa vuol dire «estrazione», qui? In pratica: tirare fuori a richiesta un dato memorizzato, quando qualcuno lo chiede. Perché memorizzare aveva memorizzato, l’informazione stava lì dentro. Solo che non veniva, quando la si chiamava.
È quella sensazione del nome sulla punta della lingua. Lo si sa e non esce.
E allora cosa lo fa uscire? La cosa che secondo il gruppo di ricerca sposta davvero l’ago è la varietà delle formulazioni nel momento in cui si impara. Lo stesso fatto con un altro ordine delle parole, con un’altra frase, in un altro contesto, visto e rivisto. Con quello, il modello risponde alla versione in forma di domanda senza scomporsi.
Al contrario, se la formulazione restava sempre la stessa, per quanto addestramento aggiuntivo si facesse dopo, la precisione nell’estrarre non saliva quasi. Che un dato sia recuperabile si decide, in buona parte, quando lo si impara.
All’indietro non ci arriva quasi mai
Il seguito della serie guarda cosa sa fare un modello con la conoscenza che già possiede. Certi usi filano lisci, altri falliscono in un modo che sa di problema strutturale.
Quello facile è la consultazione diretta. «Quando è nato A?»: si prende il dato archiviato, si restituisce, fine. Ma appena il compito richiede di mettere più fatti uno accanto all’altro per classificarli o confrontarli, la precisione crolla, a meno che il modello non possa scrivere i passaggi intermedi.
Il caso peggiore era la ricerca inversa. Si danno le caratteristiche e si chiede di chi siano: la resa era vicina allo zero.
Uno penserebbe che basti girare la domanda. Invece no! In avanti funziona, all’indietro viene giù tutto, come una porta che si apre da un lato solo. E la debolezza non spariva nemmeno su modelli di livello GPT-4.
«Conoscere» e «saper rispondere» lì dentro non coincidono
Messi in fila, questi risultati disegnano una linea sola. Per un modello, avere una conoscenza e saperla restituire sono due proprietà distinte, non la stessa cosa con due nomi.
Per noi non funziona così, ed è da lì che nasce l’equivoco. Se uno lo sa, quando glielo chiedono lo dice. Da qui si scivola a pensare che «sta nei dati di addestramento» equivalga a «l’IA sa rispondere». Questa ricerca su quella supposizione tira una riga netta.
La leva, ed è la parte da tenersi, sta in quante forme diverse quel fatto è comparso. Un modello non impara a memoria una frase così com’è: impara meglio il fatto che riaffiora sotto formulazioni molto diverse, ed è quella la versione che sa riconsegnare. In altre parole, non conta solo il volume delle citazioni, conta il loro ventaglio.
Conclusione: fate circolare lo stesso fatto in più formulazioni
Per chi si occupa di un marchio, cosa cambia?
La prima cosa da portarsi a casa è che i dati importanti devono esistere là fuori in più voci e più contesti. Una riga corretta nella scheda aziendale non è il traguardo.
Comunicati, articoli di approfondimento, pagine di domande e risposte, menzioni di terzi: che lo stesso fatto ricompaia vestito in modi diversi è, stando a questa ricerca, la condizione perché diventi conoscenza recuperabile invece che testo archiviato e morto.
La seconda riguarda la ricerca inversa. Quando qualcuno chiede «quali aziende fanno questa cosa?» oppure «chi è noto nel settore per quest’altra?», quello è proprio il verso in cui i modelli arrancano, anche quando la descrizione vi calza a pennello. Conviene quindi rinforzare l’esposizione che lega direttamente il vostro nome alla caratteristica, invece di sperare che l’IA risalga da sola fino a voi.
Sopra tutto questo resta un’abitudine poco appariscente ma decisiva: controllare invece che supporre. Cosa un modello sappia davvero dire di voi, e con quali formulazioni della domanda, da fuori non si deduce. Si misura, si cambia il modo in cui i dati escono e si torna a guardare se il recupero migliora. Ecco il passo che separa «l’IA ci conosce» da «l’IA lo racconta giusto».
