Ispirandosi all’impatto che il Covid ha avuto sulle “morti in eccesso” – rispetto a quelle verificatesi prima della pandemia – un gruppo di ricercatori dell’Università di Tubingen (Germania) e della Northwestern University (Illinois) ha studiato un metodo per riconoscere un testo generato da un’intelligenza artificiale.
In seguito alla diffusione su larga scala di strumenti di scrittura basati su LLM (Large Language Models), come ChatGpt e Gemini, i ricercatori hanno analizzato “le parole in eccesso” prodotte dall’IA. E hanno scoperto che “la comparsa dei LLM ha portato a un brusco aumento della frequenza di determinati stilemi”, un fenomeno “senza precedenti sia per qualità che per quantità”.
Nella bozza del loro paper scientifico disponibile sulla piattaforma arXiv – un archivio open source di articoli scientifici di varia natura – i ricercatori tedeschi e americani hanno raccontato di aver analizzato 14 milioni di abstract di articoli scientifici – pubblicati su PubMed tra il 2010 e il 2024 – e di aver registrato la frequenza con cui ogni termine degli articoli in esame è apparso anno dopo anno.
Successivamente, i ricercatori hanno confrontato la frequenza attesa delle stesse parole (basata sulla tendenza con cui sono apparse prima del 2023) con la frequenza effettiva riscontrata negli articoli accademici del 2023 e di inizio 2024, il periodo contraddistinto dall’ascesa degli strumenti di scrittura potenziati dall’intelligenza artificiale generativa.
“La nostra analisi basata sull’utilizzo eccessivo di parole suggerisce che almeno il 10% degli abstract del 2024 sono stati elaborati con l’aiuto di LLM” scrivono i ricercatori.
Ma la notizia più interessante, in questo caso, è che i ricercatori hanno individuato una serie di parole che prima del 2023 non erano molto comuni, negli articoli scientifici, e che invece a partire dall’anno scorso – dopo la comparsa degli LLM insomma – sono diventate improvvisamente popolari.
Per esempio la parola “approfondisce” compare nei paper pubblicati nel 2024 venticinque volte più spesso di quanto ci si aspetterebbe sulla base dello studio dei trend pre-2023. Nel caso delle parole “evidenziare” e “sottolineare”, l’utilizzo è aumentato di nove volte rispetto a quanto accaduto due anni fa. Si registra inoltre l’ascesa di termini come “potenziale” (+4%), “cruciale” (+2,6%) e “risultati” (+2,7%).
Perché queste parole rappresentano degli “indizi” credibili?
Ci sono due motivi.
Il primo è che le lingue e il linguaggio si evolvono, indipendentemente dall’adozione di LLM, ma il tasso di cambiamento lessicale non è così rapido. Uno studio pubblicato su Nature, nel 2012, ha evidenziato come le parole usate più frequentemente, per esempio, tendono a cambiare più lentamente.
Il secondo motivo è che, prima dell’avvento di ChatGpt e di strumenti simili, un cambiamento così radicale ed esponenziale nell’utilizzo di determinati termini – anno su anno – si è verificato solo in presenza di parole legate a enormi crisi sanitarie globali. È cresciuto a dismisura, rispetto a quanto sarebbe stato lecito attendersi, l’uso della parola “ebola” nel 2015, oppure di “coronavirus” e “lockdown” e “pandemia” tra il 2020 e il 2022.
Un’altra cosa di cui si sono accorti i ricercatori tedeschi e americani, è che le “parole in eccesso” frutto dell’era dei LLM sono di tipo “stilistico”. Non pronomi, insomma, ma verbi, aggettivi e avverbi. E questo conferma una tendenza visibile a occhio nudo: le IA tendono a essere prolisse e a infarcire i testi che generano con una quantità di aggettivi e avverbi a cui una persona in carne e ossa, il più delle volte, rinuncerebbe.
Lo studio dell’Università di Tubingen e della Northwest University dimostra che individuare testi scritti da un’intelligenza artificiale è complesso ma – almeno in linea teorica – possibile.
Finora si è rivelato più difficile del previsto, infatti, determinare con sicurezza se un testo è stato scritto da un essere umano oppure da un’intelligenza artificiale. Sul web esistono diversi strumenti che promettono di smascherare l’utilizzo di ChatGpt o Claude, come Gpt Zero, ma l’accuratezza di questi strumenti è tutta da dimostrare.
La stessa OpenAI, azienda di San Francisco che ha creato ChatGpt, ha comunicato qualche tempo fa che gli strumenti di “verifica” di un testo non funzionano. “Sebbene alcuni (inclusa OpenAI) abbiano rilasciato strumenti che pretendono di rilevare contenuti generati dall’intelligenza artificiale, nessuno di questi ha dimostrato di distinguere in modo affidabile tra contenuti generati dall’intelligenza artificiale e contenuti generati dall’uomo”.
Per questo motivo, a luglio 2023, OpenAI ha chiuso “AI Classifier”, uno strumento che era nato con l’intento di stabilire, senza alcun dubbio, se un testo fosse scaturito dal pensiero di una persona o dalla rete neurale di una macchina.
Fonte : Repubblica
