Studio rivela come ChatGPT e Gemini siano pessimi nel riassumere le notizie

Secondo un recente studio della BBC, i modelli AI più diffusi si comportano tutt’altro che bene quando si tratta di riassumere le notizie.

La piattaforma televisiva britannica ha messo alla prova quattro delle piattaforme più diffuse e apprezzate del settore, ovvero ChatGPT, Copilot, Gemini e Perplexity. Ai modelli in questione sono state proposte 100 news del notiziario dell’emittente da riassumere, valutando poi le risposte considerate come più accurate.

Stando ai risultati della ricerca, il 51% di tutte le risposte dell’AI si sono rivelate presentare uno o più problemi. Nel 19% dei casi segnalati come errori, si parla di numeri, dati e percentuali inventati di sana pianta, che non corrispondono con quelli della fonte.

I modelli AI odierni non sono ancora capaci a riassumere le notizie in modo efficace

L’esperimento che ha portato l’AI a riassumere le notizie ha dimostrato come diverse affermazioni hanno presentato informazioni datate, con le piattaforme che si sono dimostrate in grande difficoltà a distinguere ciò che è una semplice opinione da un fatto assodato.

Tutto ciò lascia intendere come i recenti problemi di Apple Intelligence, con tanto di rimozione della funzione di riassunto delle notifiche relativa a iOS 18.3, non è forse un qualcosa di così anomalo per l’AI. Questo test, sebbene basilare, ha inoltre dimostrato come questa tecnologia sia ancora acerba e quanto sia importante prendere con la dovuta cautela qualunque tipo di output da parte dei chatbot. Le allucinazioni, di fatto, restano un problema concreto per qualunque modello. In passato, sia OpenAI che Microsoft hanno cercato di limitare casi in ouput non veritieri, di fatto non è ancora stato possibile trovare una soluzione definitiva.

Sebbene fenomeni come le allucinazioni siano sempre meno frequenti, quanto appurato dalla BBC dimostra come l’AI non sia ancora una fonte attendibile per chi vuole mantenersi aggiornato sull’attualità.