Il nuovo chatbot ChatGPT ha guadagnato popolarità dal suo lancio, non da ultimo per le sue prestazioni piuttosto eccezionali. I ricercatori volevano quindi sapere se fosse in grado di produrre in modo convincente riassunti falsi che potessero ingannare gli scienziati facendogli credere che gli studi fossero reali.
A questo scopo, i ricercatori della Northwestern University e dell’Università di Chicago hanno chiesto a ChatGPT di generare falsi abstract di ricerca a partire da 10 abstract reali pubblicati su riviste mediche e hanno sottoposto agli scienziati gli articoli falsi e quelli veri. Lo scopo era quello di distinguere tra quelli veri e quelli falsi, e i risultati sono a dir poco allarmanti.
Gli scienziati non riescono a distinguere tra articoli reali e quelli scritti da ChatGPT
I revisori umani a cui è stato dato un mix di riassunti reali e falsamente generati sono stati in grado di individuare i riassunti generati da ChatGPT solo il 68% delle volte. I revisori hanno anche erroneamente identificato il 14% degli abstract reali come generati dall’IA.
I ricercatori hanno anche eseguito un software di rilevamento del plagio sugli articoli scritti da chatGPT. Sebbene il 100% di esse fosse effettivamente unico, poiché chatGPT genera risposte senza copiare una fonte, solo l’8% di esse soddisfaceva i requisiti di formattazione delle riviste scientifiche.
Quindi chatGPT non è ancora vicino a sostituire i redattori in tutti i campi, ma il chatbot dovrebbe fare passi da gigante nei prossimi anni. Le pubblicazioni scientifiche accademiche si basano su un processo di presentazione e revisione da parte di esperti umani nei settori pertinenti, ma se questi non sono più in grado di distinguere tra documenti generati da un’intelligenza artificiale e da un essere umano, ciò potrebbe mettere in discussione molte professioni.
Per ora, i ricercatori esortano le riviste mediche e le conferenze che si basano su studi scientifici a mantenere “standard scientifici rigorosi” e a implementare rilevatori di output dell’IA durante la revisione degli articoli. Uno studente ha sviluppato un software in grado di capire se un testo è stato generato da chatGPT.
