Intelligenza Artificiale e parole rivelatrici: ecco come scoprire se un testo è stato scritto dall'IA generativa

Un gruppo di ricercatori delle università di Tubinga e Northwestern ha recentemente sviluppato un metodo per identificare l'uso di modelli linguistici di grandi dimensioni (LLM) nella produzione di testi scientifici. Il metodo trae ispirazione dagli studi sull'impatto della pandemia COVID-19, che hanno preso in considerazione i dati relativi all'eccesso di mortalità rispetto alla media: allo stesso modo i ricercatori hanno analizzato l'"uso eccessivo" di determinate parole nei testi accademici dopo la diffusione degli strumenti di scrittura basati su IA generativa.

In precedenza sono già stati condotti altri studi allo scopo di individuare pattern ed indizi che potessero suggerire l'uso di LLM nella scrittura di testi. Lo studio dei ricercatori delle università di Tubinga e Northwestern si basa però su un differente approccio: invece di considerare campioni di scrittura umana "di base" o elenchi predefiniti di marcatori LLM, utilizza l'insieme di abstract antecedenti al 2023 come gruppo di controllo per evidenziare i cambiamenti complessivi nelle scelte lessicali nell'era "post-LLM".

L'analisi ha preso in considerazione 14 milioni di abstract di articoli accademici pubblicati su PubMed tra il 2010 e il 2024. I ricercatori hanno monitorato la frequenza relativa di ciascuna parola anno per anno, confrontando poi la frequenza prevista (basata sulle tendenze pre-2023) con quella effettiva rilevata negli abstract degli articoli pubblicati tra il 2023 e 2024, che corrisponde alla finestra temporale durante la quale l'uso degli LLM si è diffuso a macchia d'olio.

I risultati hanno rivelato un aspetto peculiare: determinate parole, in precedenza riscontrabili piuttosto raramente negli abstract di articoli scientifici, sono diventate improvvisamente di maggior utilizzo dopo l'introduzione degli LLM. Per esempio la parola "delves" (to delve, approfondire) è apparsa con una frequenza 25 volte maggiore rispetto alle previsioni basate sull'analisi degli articoli nel periodo precedente alla diffusione delle IA generative. Altre parole, come "showcasing" (to showcase, mettere in mostra) e "underscores" (to underscore, sottolineare) hanno visto un incremento di circa 9 volte. Anche parole più comuni, come "potential", "findings" e "crucial" (potenziale, concusioni e fondamentale) sono risultate essere usate con maggior frequenza, sebbene in misura minore rispetto alle precedenti.

È importante notare che, prima dell'era degli LLM, aumenti di incidenza nell'uso di determinate parole in misura significativa e improvvisa sono stati riscontrati solamente con parole specifiche e in concomitanza con particolari eventi di ampia portata, come appunto il caso delle parole "lockdown", "coronavirus" e "pandemic" negli anni della pandemia COVID-19. L'analisi dei ricercatori ha evidenziato, invece, come nell'era "post-LLM", l'incremento nella frequenza d'uso di determinate parole si è verificato per parole non specifiche e per avverbi, aggettivi e verbi. 

Secondo i ricercatori queste parole possono essere considerate a tutti gli effetti come dei veri e propri "marcatori" che possono semplificare l'individuazione di indizi dell'uso di LLM nella scrittura di testi. Per esempio nella frase "A comprehensive grasp of the intricate interplay between [...] and [...] is pivotal for effective therapeutic strategies" sono presenti parole marcatrici che indicano con buona probabilità l'uso di un'IA generativa.

Un'analisi statistica della presenza di parole chiave nei singoli articoli ha permesso ai ricercatori di stimare che il 10% degli articoli pubblicati su PubMed dopo il 2022 sono stati realizzati con una qualche forma di assistenza da parte dell'IA generativa. Si tratta di una stima che potrebbe tranquillamente essere in difetto, dal momento che potrebbero essere presenti, nel corpus di documenti analizzato, abstract che non contengono alcuna delle parole chiave utilizzate nell'analisi.

I ricercatori sottolineano l'importanza nel riuscire ad individuare l'eventuale uso di LLM nella produzione di testi scientifici, dal momento che tali tecnologie sono spesso soggette alle cosiddette "allucinazioni", e cioè alla tendenza ad inventare riferimenti e a compiere affermazioni false che tuttavia possono apparire come credibili e verosimili.

E' tuttavia lecito immaginare che con la diffusione della  conosenza delle "parole rivelatrici", allora anche i revisori umani diventeranno più attenti e scrupolosi nel rimuovere queste parole dai testi generati dall'IA prima di procedere alla loro pubblicazione. Inoltre non è da escludre - anzi, è un'aspettativa lecita - che i prossimi modelli linguistici possano in qualche modo tenere conto di questa analisi sulla frequenza di determinate parole, andando quindi a ridurne l'impiego con lo scopo di rendere il loro testo quanto più simile possibile a quello realizzato dall'essere umano.