A novembre del 2023 il New York Times scriveva – basandosi sui dati forniti dalla startup Vectara, fondata da ex dipendenti di Google – che il tasso di allucinazione di ChatGpt, vale a dire la frequenza con cui questa IA inventa contenuti o scrive risposte errate, è del 3%.
Può sembrare una percentuale risibile, ma se si ha la sfortuna di imbattersi nell’errore di un chatbot – e non si è in grado di riconoscerlo – le conseguenze possono essere devastanti. Si pensi, per esempio, all’impatto che potrebbe avere un’informazione infondata sulle decisioni di medici, manager o analisti.
Il problema delle “allucinazioni” non riguarda solo ChatGpt. Tutti i chatbot basati su LLM (Large Language Models) occasionalmente commettono errori.
Ma solo una IA, finora, ha messo a disposizione uno strumento molto efficace per verificare l’attendibilità dei testi che genera. Si tratta di Gemini, l’intelligenza artificiale generativa sviluppata da Google.
Proprio come ChatGpt, Gemini si esprime in modo naturale e può soddisfare le richieste che solitamente si fanno a una IA: sintetizzare o riorganizzare un testo, tradurre una frase, suggerire idee creative o rispondere in modo adeguato a una mail.
Ma Gemini, a differenza della versione gratuita di ChatGpt, ha anche accesso alle informazioni più recenti che si trovano sul web. Questo è importante per due motivi: l’utente può sempre contare su risposte aggiornate e, cosa per certi versi più importante, lo stesso utente ha modo di appurare il grado di attendibilità della risposta generata dal chatbot.
Scriviamo “grado” di attendibilità non a caso. Tra poco sarà chiaro il motivo.
Sotto il testo generato da Gemini c’è sempre una “G” colorata, vale a dire il simbolo di Google.
Cliccando questa “G” si avvia una verifica della risposta prodotta dal chatbot. Gemini, in pratica, effettua una “tradizionale” ricerca sul web per trovare informazioni che possano confermare o confutare il testo generato dall’IA.
Quando la ricerca viene completata, Gemini colora alcune frasi della risposta che ha generato di verde oppure di arancione.
Le frasi in verde contengono informazioni “verificate”, di cui Gemini ha trovato una corrispondenza sul web.
Basta cliccarle per ottenere il link di una fonte reputata attendibile che conferma quanto generato dall’IA. Ma Google avverte che il link proposto “non è necessariamente quello usato da Gemini per generare la sua risposta originaria”.
Le frasi colorate di arancione, invece, sono quelle che “probabilmente” differiscono dalle informazioni (corrette) recuperate da Google in rete. C’è anche la possibilità che Google non abbia trovato alcun contenuto pertinente relativo alle frasi arancioni, quindi dubbie. Anche in questo caso viene fornito un link, se disponibile.
L’arancione insomma è un segnale d’allarme: qualcosa nel testo che ha generato l’IA non torna, secondo Google, e un’ulteriore verifica è opportuna.
Potrà capitare, infine, che diverse porzioni del testo non vengano colorate né di verde né di arancione: vuol dire che “non esistono informazioni sufficienti per valutare le dichiarazioni [del chatbot, nda] oppure le dichiarazioni non sono destinate a fornire informazioni oggettive”. In questo caso, ovviamente, è d’obbligo una verifica da parte dell’utente delle informazioni prodotte da Gemini.
Va detto, in conclusione, che altri strumenti dotati di IA capaci di accedere alle informazioni sul web, come per esempio Copilot di Microsoft, o Perplexity, aiutano l’utente a verificare i testi generati offrendo, sotto ogni risposta, una selezione di link utili ad approfondire o verificare autonomamente l’argomento in questione.
Fonte : Repubblica
