1. Risposte allucinate
2. Classificazione e misurazione delle incertezze
3. Esperimenti e risultati
4. Approfondimento dei calcoli

Come ben sappiamo, oggi i modelli di linguaggio di grande dimensione (LLM – large language models) giocano un ruolo cruciale nell’analisi e nella generazione di linguaggio naturale in molti contesti, lavorativi e non. L’affidabilità delle risposte generate da questi modelli è però spesso messa in discussione a causa della loro tendenza a produrre risposte “allucinate“, cioè risposte plausibili ma non accurate o completamente errate. Un recente articolo di alcuni ricercatori di Google DeepMind (scaricabile qui) si propone di esplorare la possibilità di quantificare l’incertezza in tali modelli per distinguere tra incertezza epistemica, legata alla mancanza di conoscenza, e incertezza aleatoria, dovuta alla variabilità intrinseca nelle possibili risposte.

Risposte allucinate

L’importanza dei LLM nel campo dell’intelligenza artificiale è indiscussa, data la loro capacità di generare testo coerente e contestualmente appropriato. Tuttavia, la sfida principale riguardante questi modelli è la loro propensione a generare risposte inaccuratamente sicure di sé, conosciute anche come “allucinazioni” (hallucinations). Questo fenomeno solleva questioni significative sulla loro affidabilità e sulla sicurezza del loro impiego in contesti importanti o addirittura critici.

Classificazione e misurazione delle incertezze

Le incertezze nei LLM possono essere classificate in due forme principali:

• Incertezze epistemiche: hanno origine dalla mancanza di conoscenza o da dati insufficienti. Ad esempio, un modello potrebbe non avere accesso a sufficienti esempi di training su un argomento specifico;
• Incertezze aleatorie: si tratta di incertezze intrinseche in un problema, nel caso in cui possano esistere molteplici risposte corrette o accettabili.

Per quantificare l’incertezza, i ricercatori hanno sviluppato delle metriche basate sulla teoria dell’informazione. Uno di questi approcci si basa sul calcolo della cosiddetta mutua informazione tra le risposte generate e il vero modello di distribuzione del linguaggio. Attraverso l’uso di “prompting iterativo”, dove al modello vengono fornite sequenze di input via via più lunghe, è possibile discernere la distanza del modello dalla verità di fondo (verità che ovviamente dipende dai dati a noi noti).

Esperimenti e risultati

Gli esperimenti condotti hanno mostrato che la metrica proposta è in grado di rilevare efficacemente l’incertezza epistemica in scenari con risposte multiple, un compito che le metriche standard non gestiscono bene. Inoltre, la procedura di prompting iterativo ha dimostrato di amplificare l’efficacia della metrica nella discriminazione tra le incertezze.

I risultati suggeriscono che un approccio come quello descritto può migliorare significativamente la capacità di un LLM di valutare la propria incertezza, portando a una maggiore affidabilità delle risposte generate. Questo fatto ha implicazioni notevoli per l’uso di LLM in ambiti importanti come la medicina legale o l’assistenza clienti, dove eventuali risposte errate possono avere conseguenze gravi.

La capacità di quantificare e distinguere tra i tipi di incertezza in un LLM rappresenta quindi un passo avanti significativo nel campo dell’intelligenza artificiale e, mentre i modelli continuano a evolversi, lo studio dell’incertezza sarà cruciale per garantire che le intelligenze artificiali rimangano strumenti affidabili e soprattutto etici.

Approfondimento dei calcoli

Nell’articolo si discutono dettagliatamente diversi approcci matematici per quantificare l’incertezza nei modelli di linguaggio di grande dimensione (LLM). Uno degli approcci chiave menzionati è l’utilizzo della mutua informazione (MI) per misurare l’incertezza epistemica nei modelli. La mutua informazione è una misura dell’informazione condivisa tra due variabili casuali; in questo contesto è usata per valutare quanto le risposte di un modello di linguaggio si allontanano da quelle che ci si aspetterebbe basandosi sulla distribuzione di probabilità di “ground truth” (verità fondamentale) del linguaggio.

Partiamo dalla definizione della distribuzione pseudo-congiunta (pseudo joint distribution):

dove x è l’input al modello, yᵢ sono le risposte successive e Q(yᵢ|•) rappresenta la probabilità condizionata di yᵢ data la storia delle risposte precedenti e l’input.

Ora va valutata l’indipendenza nella distribuzione di base (detta ground truth independence). L’assunzione di base è che le risposte multiple a una stessa domanda, se estratte secondo la verità di base, dovrebbero essere indipendenti l’una dall’altra. Questo implica che:

per ogni risposta Yₜ.

Infine si calcola la cosiddetta divergenza di Kullback-Leibler (KL divergence) tra la distribuzione pseudo congiunta e la distribuzione di probabilità di base , che quantifica quanto le risposte del modello si allontanano dalle risposte previste dalla distribuzione di base:

La mutua informazione viene calcolata iterativamente aggiungendo risposte al prompt e osservando come varia la distribuzione delle risposte. Se le risposte successive non modificano la distribuzione, questo suggerisce che il modello ha una buona conoscenza dei dati e quindi bassa incertezza epistemica. Se invece le risposte variano significativamente con l’aggiunta di nuove informazioni, ciò indica un’alta incertezza epistemica e ciò potrebbe portare a risposte allucinate.