Fake news, l’intelligenza artificiale può aiutarci a riconoscerle? In altre parole, possiamo pensare di automatizzare i sistemi di fact checking per individuare le notizie false che circolano sul web? La domanda se l’è posta un gruppo di ricercatori dell’Università La Sapienza di Roma. Edoardo Loru, Jacopo Nudo, Niccolò Di Marco, Matteo Cinelli e Walter Quattrociocchi hanno analizzato il funzionamento di tre Large language model (Llm) per capire come “ragionano” quando vengono istruiti a valutare l’affidabilità di una notizia.
Lo studio in questa prima fase ha preso in considerazione tre modelli: Gemini 1.5 Flash di Google, GPT-4o mini di OpenAI e LLaMA 3.1 405B di Meta. L’obiettivo: capire quali siano le dinamiche che i Llm utilizzano per eseguire forme di fact checking e aiutare nel contrasto delle fake news.
Quando il pregiudizio sta nell’AI
Comprendere come i modelli di AI prendono questo tipo di decisioni non è affatto semplice. Il rischio, spiegano i ricercatori nello studio, è che non eseguano una vera e propria valutazione, ma si basino su opinioni “derivate” dal loro addestramento. In altre parole, che una fonte venga considerata affidabile o meno sulla base di giudizi espressi da altri (e riportati nei dataset con cui gli algoritmi sono stati addestrati) piuttosto che su un vero esame della stessa.
“Per valutare l’affidabilità dei sistemi di AI in questo specifico compito e comprendere meglio il loro funzionamento, li abbiamo messi a confronto con i dati di due aziende che si occupano di fact Checking piuttosto conosciute: NewsGuard e Media Bias Fact Check” spiega Walter Quattrociocchi, uno degli autori della ricerca. “La prima valutazione è stata di tipo quantitativo, comparando in pratica il livello di affidabilità delle fonti assegnato dai sistemi ‘umani’ con quello operato dagli Llm”.
Il campo di prova era rappresentato da 7.715 siti di news, che sono stati dati in pasto ai modelli chiedendogli se si trattasse di fonti affidabili o meno. Già da questo primo confronto emerge un dato interessante: se i modelli di AI hanno risultati simili quando si tratta di giudicare non attendibile una fonte, sono molto più restrittivi quando invece si trovano di fronte a un campione che le aziende “umane” considerano affidabili. In altre parole, l’intelligenza artificiale tende a considerare non credibili molti siti che gli specialisti del settore ritengono invece validi.
Dietro le quinte dell’analisi
I ricercatori hanno poi utilizzato gli stessi agenti AI chiedendogli di fornire una spiegazione dettagliata dei criteri che hanno utilizzato per esprimere il loro giudizio. “Il nostro obiettivo era capire come i modelli giudicano se le fonti siano inquinate da pregiudizi (i famigerati bias – ndr) o da scarsa attendibilità” spiega Quattrociocchi. “I criteri utilizzati dai vari modelli sono piuttosto uniformi e comprendono trasparenza, l’eventuale uso di toni sensazionalistici o la presenza di opinioni piuttosto che di fatti”.
Fonte : Wired
