La valutazione della ricerca basata sulle metriche viene spesso presentata come una soluzione ai problemi di equità e oggettività. «La bibliometria è per la valutazione della ricerca ciò che la diagnostica per immagini è per la medicina»: è quanto sostenuto da Giovanni Abramo in un recente webinar. L’esperienza suggerisce però che il cambiamento degli incentivi non abbia eliminato i comportamenti opportunistici, ma li abbia trasformati. Il caso italiano delle review mills ne è soloun esempio: gruppi organizzati hanno sfruttato il ruolo di revisori per imporre citazioni e gonfiare artificialmente gli indicatori. Quando i dati sono inquinati, bibliometria e “intelligenza artificiale” assomigliano piuttosto a una diagnostica per immagini che confonde i dati di pazienti diversi, producendo valutazioni distorte e premiando chi sa manipolare il sistema invece di chi fa buona ricerca. Questa settimana ho partecipato a un webinar organizzato da Clarivate sul tema “Celebrazione del centenario di Eugene Garfield: passato, presente e futuro della scientometria”. Il webinar ha trattato la storia delle prime opere del compianto Eugene Garfield, nonché gli sviluppi attuali e le tendenze future. Le sessioni storiche sono state affascinanti e hanno descritto le straordinarie innovazioni apportate da Garfield nella sua ricerca per comprendere il corpus di informazioni scientifiche come una rete. Garfield si rese conto che le somiglianze tra gli articoli potevano essere identificate dalle citazioni condivise e, negli anni ’50, ideò dei sistemi per acquisire queste informazioni utilizzando schede perforate. Sono abbastanza vecchia da ricordare quando, negli anni ’70, andavo in biblioteca a consultare lo Science Citation Index, che non solo mi indicava articoli importanti nel mio campo, ma spesso mi portava in direzioni inaspettate, facendomi scoprire altri argomenti affascinanti. Garfield è conosciuto come il padre del Journal Impact Factor, considerato da molti un abominio che distorce il comportamento degli autori a causa delle sue connotazioni di prestigio. Tuttavia, in origine era stato concepito come un indice che aiutasse i bibliotecari a decidere quali riviste acquistare, e solo in seguito è stato riproposto come parametro utilizzato come indicatore dello status dei ricercatori che pubblicavano su quelle riviste. Mi è piaciuto ascoltare la storia di Garfield, che sembra essere stato un poliedrico personaggio affabile e umano, che ha riconosciuto il valore delle informazioni contenute negli indici e ha trovato modi ingegnosi per sintetizzarle. Consiglio di consultare l’archivio delle sue opere conservato dall’Università della Pennsylvania. I relatori successivi del webinar si sono concentrati sui nuovi sviluppi nell’uso della scientometria per valutare la qualità della ricerca. Giovanni Abramo ha osservato come la scienza italiana sia stata influenzata dal favoritismo, a causa dell’esclusivo ricorso alla revisione soggettiva tra pari per valutare i ricercatori e le loro istituzioni. La sua opinione è che l’uso delle metriche migliori la valutazione della ricerca rendendola più equa e obiettiva. Ha osservato che, mentre le metriche potrebbero non essere un’opzione in alcuni settori delle arti e delle discipline umanistiche, per le discipline in cui i risultati appaiono generalmente su riviste indicizzate, la bibliometria è preziosa, concludendo che “la bibliometria è per la valutazione della ricerca ciò che la diagnostica per immagini è per la medicina”, ovvero una fonte fondamentale di informazioni oggettive. Stranamente, 12 anni fa sarei stata d’accordo con lui, quando suggerii che un semplice indice bibliometrico (indice H dipartimentale) potesse ottenere risultati molto simili al complesso e dispendioso processo di revisione tra pari adottato nel REF. All’epoca in cui scrivevo, pensavo che la legge di Goodhart (“Quando una misura diventa un obiettivo, smette di essere una buona misura”) non si applicasse a una metrica basata sulle citazioni, perché le citazioni non erano controllate dagli autori, quindi sarebbe stato difficile manipolarle. A quanto pare ero ingenua. Il metodo più rozzo per manipolare il sistema è l’eccesso di autocitazioni, ma esistono anche i circoli di citazione (tu citi il mio articolo e io citerò il tuo). Quest’anno Maria Ángeles Oviedo-García, René Aquarius e io abbiamo descritto una versione più sofisticata, una “review mill”, in cui un gruppo di medici italiani ha sfruttato la propria posizione di revisori per costringere altri a citare i lavori del gruppo. Abbiamo suggerito che il cambiamento nella valutazione della ricerca italiana, che era stato implementato con le migliori intenzioni, ha condotto a un cinico gioco di revisione tra pari. Si potrebbe rispondere dicendo che questa attività, sebbene inquietante, riguarda solo una piccola percentuale di articoli e quindi non avrebbe un effetto rilevante. Ancora una volta, dieci anni fa sarei stata d’accordo. Ma ora, con un’esplosione di pubblicazioni che sembra guidata da editori più interessati al guadagno che alla qualità (vedi Hanson et al, 2024) e standard editoriali straordinariamente laschi, questo potrebbe non essere più vero. Il punto chiave dei review mill è che abbiamo visto evidenze della loro attività perché utilizzavano modelli generici per le revisioni tra pari, ma questi possono essere rilevati solo per le riviste che pubblicano revisioni tra pari aperte, una piccola minoranza. Il membro più prolifico del review mill era un editor di riviste che aveva quasi 3000 revisioni tra pari verificate elencate su Web of Science, ma solo una manciata di queste era consultabile. Temo quindi che la bibliometria sia più simile a un’immagine diagnostica che ha confuso i dati di diversi pazienti: contiene alcune informazioni valide, ma sono distorte dall’errore. La presentazione finale di Valentin Bogorov ha descritto il futuro della scientometria, in cui l’intelligenza artificiale sarebbe stata sfruttata per fornire informazioni molto più dettagliate e aticolate sull’impatto sociale della ricerca. Ma ho avuto l’impressione che ignorasse il problema della frode che si è insinuato nei database bibliometrici. Le review mills sono un problema per la validità dei dati citazionali, ma le paper mills sono un problema molto più grave. Mentre le review mills si basano sull’auto-organizzazione di gruppi di ricerca dubbi per migliorare la loro reputazione, molte paper mills sono gestite da organizzazioni esterne la cui unica motivazione è il profitto  (Parker et al., 2024). Vendono authorship e citazioni a un prezzo che dipende dall’Impact Factor della rivista: Eugene Garfield si rivolterebbe nella tomba. Sono state individuate per la prima volta circa 12 anni fa, ma si sono moltiplicate come un virus e stanno infettando gravemente interi ambiti di ricerca. A volte vengono riconosciute per la prima volta quando un ricercatore esperto in materia trova articoli anomali o fraudolenti mentre cerca di esaminare il campo (vedi, ad esempio, Aquarius et al, 2025). Le paper mills prosperano in un ambiente favorevole, dove editor corrotti o incompetenti approvano articoli che contengono chiare violazioni del metodo scientifico o che sono evidentemente una collazione di vari articoli plagiati. La speranza degli editori è che l’IA fornisca dei modi per individuare gli articoli fraudolenti e rimuoverli prima che entrino nella letteratura, ma i produttori di articoli di bassa qualità hanno dimostrato di essere abili nel mutare per eludere l’individuazione. Purtroppo, proprio le aree in cui l’IA e i big data sembrano essere più promettenti, come i database che collegano geni, proteine, molecole e biomarcatori, sono già contaminate. Il timore è che gli stessi produttori di articoli di bassa qualità utilizzino sempre più l’IA per creare articoli sempre più plausibili. Non sono contraria alla bibliometria o all’intelligenza artificiale in linea di principio, ma trovo preoccupante l’ottimismo riguardo alla sua applicazione alla valutazione della ricerca, soprattutto perché non è stato fatto alcun riferimento ai problemi che emergeranno se il database interrogato dall’intelligenza artificiale sarà inquinato. Qualsiasi metodo di valutazione avrà costi, benefici e conseguenze impreviste. La mia preoccupazione è che, se ci concentriamo solo sui benefici, potremmo ritrovarci con un sistema che incoraggia i truffatori e premia coloro che sono più abili a manipolare il sistema piuttosto che i migliori scienziati.  

Dopo il pasticcio del decreto sui diritti di riproduzione dei beni culturali, una nuova minaccia si profila per la ricerca e la valorizzazione del patrimonio fotografico italiano. Un emendamento approvato al Senato — su spinta dei fotoreporter e firmato da senatori della Lega — triplica da 20 a 70 anni la durata dei diritti sulle fotografie “semplici”, cioè quelle documentarie e non artistiche. Se la norma passasse alla Camera, interi archivi pubblici e privati dovrebbero essere chiusi o resi a pagamento, vanificando investimenti pubblici e fondi PNRR. Una misura miope e contraria alle tendenze europee, che rischia di infliggere un danno irreparabile alla conoscenza e alla memoria collettiva del Paese. Il Ministero della Cultura circa un anno e mezzo fa aveva messo una pezza a un Decreto Ministeriale relativo ai diritti di riproduzione dei beni culturali di proprietà statale, che l’anno precedente aveva fatto insorgere tutte le istituzioni culturali d’Italia. Roars se ne era occupato qui. Anche con le modifiche migliorative il provvedimento era rimasto un’assurda complicazione con errori ed anacronismi, ma almeno rimediava ai danni maggiori che avrebbe subito la ricerca e l’editoria. Ora assistiamo a una nuova puntata di questa vicenda, che ripropone il tema sotto altra forma nel silenzio generale: su pressione dei fotoreporter alcuni senatori della Lega Nord, con la lungimiranza culturale che li contraddistingue, hanno fatto votare al Senato un emendamento al decreto Disposizioni per la semplificazione e la digitalizzazione dei procedimenti in materia di attività economiche e di servizi a favore dei cittadini e delle imprese – DDL 1184. In sostanza la modifica sostituisce l’articolo 92 della legge 22 aprile 1941, n. 633 e porta a 70 anni dalla data di produzione dello scatto la durata del diritto esclusivo sulle fotografie che non siano “opera fotografica”. Viene così più che triplicato il termine precedente di 20 anni, che valeva per le “fotografie semplici”. Per chiarezza va specificato che con quest’ultima definizione si intendono: le immagini di persone o di aspetti, elementi o fatti della vita naturale e sociale, ottenute col processo fotografico o con processo analogo, comprese le riproduzioni di opere dell’arte figurativa e i fotogrammi delle pellicole cinematografiche. Non sono comprese le fotografie di scritti, documenti, carte di affari, oggetti materiali, disegni tecnici e prodotti simili (legge n. 633 del 1941, art. 87). Dunque, non stiamo parlando delle fotografie artistiche e creative, i cui diritti scadono 70 anni dopo la morte dell’autore. È evidente che, se passasse alla Camera, la norma sarebbe devastante per la ricerca storica e la valorizzazione e divulgazione del patrimonio fotografico nazionale. Esiste infatti nelle collezioni pubbliche e private un patrimonio immenso di foto documentarie della vita e della storia del paese senza le quali non sarebbe più possibile fare ricerca e divulgazione su quel che riguarda le ultime due generazioni di italiani. Sulla base della precedente normativa – quella che prevede una protezione di 20 anni – erano state digitalizzate, catalogate e messe a disposizione della libera fruizione del pubblico intere collezioni con ingente esborso di risorse pubbliche e di fondi PNRR, investimenti che ora verrebbero completamente vanificati. I fondi degli archivi che oggi sono liberamente fruibili dovrebbero infatti essere resi accessibili solo a pagamento e nemmeno sarebbe chiaro come, visto che non si conosce o non è rintracciabile l’autore di un grandissimo numero di queste fotografie. Sarebbe di fatto la paralisi amministrativa. E ovviamente tutto ciò bloccherebbe qualsiasi ulteriore progetto rinviandolo di due giubilei, fra 50 anni, quando molti di noi non saranno più su questa terra. Inoltre, quale ente culturale acquisterebbe collezioni fotografiche sapendo di non poterle toccare per mezzo secolo? Con il rischio (diciamo la certezza) che in questa maniera interi archivi vadano perduti o dispersi. Senza parlare di chi si occupa della storia contemporanea del paese, che troverebbe enormi ostacoli non solo per la ricerca accademica, ma anche per semplice la divulgazione. Questo mentre tutto il mondo civile si sta muovendo in senso contrario verso una progressiva liberalizzazione dell’immagine per promuovere la piena fruibilità del patrimonio storico e culturale, e ovviamente in controtendenza – tanto per cambiare – con la normativa europea. In questo modo si causerebbe un danno gravissimo alla comunità per procurare un vantaggio assai modesto ai fotografi professionisti. Sono infatti solo le foto dell’attualità che hanno una valenza commerciale significativa, non certo quelle di venti anni fa e più. C’è da sperare che il Ministero della Cultura si accorga di questo assurdo autogol, motivato da una visione di straordinaria e miope grettezza, e che si opponga fermamente a una norma che contrasterebbe gli interessi e i progetti promossi dallo stesso Ministero.

agghiacciante [Dorothy Bishop sul Guardian] un oceano di conoscenza in cui galleggia una quantità allarmante di spazzatura. [Adam Marcus e Ivan Oransky su The Atlantic] [Ripreso dal sito openscience.unimi.it] Un bell’articolo sul Guardian fa il punto sullo stato dell’editoria scientifica. L’autore, Ian Sample, parte dal famosissimo caso della immagine del ratto con un pene gigante che ha fatto il giro del mondo e che è stata ritirata da Frontiers tre giorni dopo la pubblicazione insieme all’articolo. Questo episodio purtroppo non è isolato, ma è la punta dell’iceberg di una situazione che Dorotyhy Bishop ha definito sempre sul Guardian agghiacciante e Marcus e Oransky “un oceano di conoscenza in cui galleggia una quantità allarmante di spazzatura“. Come siamo arrivati a questo punto? Sono in molti a interrogarsi sul futuro dell’editoria scientifica, prima fra tutti la Royal society dove si è appena tenuto un convegno sul futuro dell’editoria scientifica e che ha promesso entro la fine dell’estate un report sul tema. Ma quali sono gli aspetti che hanno modificato così profondamente l’editoria scientifica? Certamente la tecnologia che ha portato ad un incremento della produzione non necessario e spesso inutile (se non in quanto riga in più nei cv dei ricercatori). L’incremento del numero di pubblicazioni non si accompagna invece ad un aumento del numero dei revisori che abbiano voglia di dedicare tempo prezioso ad una attività che non viene riconosciuta e che se fatta con coscienza è molto impegnativa. L’insieme di tecnologia e mancanza di tempo hanno portato allo sviluppo di paper e review mills, una piaga difficile da contrastare. A proposito di riconoscimento, molti sistemi performance based incentivano la quantità (numero di pubblicazioni e numero di citazioni) portando i ricercatori ad adottare comportamenti adattativi e spesso frodatori che nulla hanno a che fare con l’amore per la scienza e per lo sviluppo della conoscenza. Anche l’open access nella versione degli editori for profit ha contribuito allo stato deprecabile della ricerca, perché ha spinto gli editori a pubblicare di più e più in fretta ricerca spesso inutile e spesso non ancora sufficientemente robusta. Un altro fenomeno che ha contribuito alla contaminazione del contesto è quello degli special issues, pubblicati spesso secondo criteri di qualità discutibili. Gli effetti sono purtroppo sotto gli occhi di tutti: la crescita e diffusione delle riviste predatorie (anche fra i big five) la crescita del numero di articoli scritti con AI, l’incremento del numero di retractions, le dimissioni di interi editorial board, la crescita dei cosidetti hijacked journals. Per Hanson et al. che hanno pubblicato lo scorso anno un importante articolo sulla pressione per pubblicare, più che il tema della frode scientifica (certamente in crescita) preoccupa l’enorme quantità di ricerche che non portano alcun contributo alla conoscenza e che però hanno un alto costo per il sistema in termini di soldi e ore uomo impiegate da tutte le persone coinvolte nel ciclo di produzione e validazione di un lavoro. Sempre Hanson et al. individuano uno dei problemi maggiori nell’editoria commerciale for profit, che per fare cassa tende a pubblicare il più possibile, anche quando la ricerca è inutile, e vedono in una editoria not for profit una possibile soluzione. Posizione diversa è invece quella degli editori for profit che attribuiscono la crescita del numero di pubblicazioni (con tutte le attività ad esse connesse) alla crescita della ricerca dei paesi emergenti (quali Cina e India ad esempio) e propongono come soluzione l’attivazione di un sistema di filtraggio migliore. Una situazione complessa dunque in cui il contesto cambia velocemente e che merita di essere seguita con grande attenzione. Sono temi che investono senza dubbio il mondo della ricerca ma anche la società che questa ricerca la finanzia e su cui sarebbe necessario discutere sia a livello istituzionale che a livello nazionale. Anche attraverso la pubblicazione di articoli informati come quelli del Guardian.

Dopo Karen Maex ed EUA, un contributo di oltreoceano apparso su Chronicle of higher education. Il titolo parla da sé: What RFK Jr. Got Right About Academic Publishing. The system no longer works for anyone except corporate publishers.  Verrebbe da dire la soluzione sbagliata per la corretta individuazione del problema. (Ringrazio Luca de Fiore per la segnalazione). L’occasione del commento apparso sul Chronicle è la decisione da parte del governo americano, su suggerimento di RFK jr. di avviare la pubblicazione di proprie riviste scientifiche, vale a dire non più governate dagli interessi commerciali bensì da quelli politici. Dalla padella nella brace verrebbe da dire. Tuttavia il punto di partenza è corretto. Il sistema dell’editoria scientifica saldamente in mano ad un oligopolio di editori commerciali presenta forti inefficienze, causa disuguaglianze ed è fortemente orientato al profitto, con costi per pubblicare che raggiungono i 12000 dollari (Nature). Non è sempre stato così, una forte virata verso il profitto si ha con la comparsa di Robert Maxwell che rende l’editoria scientifica una attività produttiva fra le più vantaggiose (molto più di quella dei colossi del web come Google o dell’informatica come Microsoft ad Apple). Ai costi sostenuti dalle istituzioni (per leggere e per pubblicare), si aggiungono quelli degli enti finanziatori Agencies like the National Institutes of Health and the National Science Foundation spend billions on research, only for the findings to be locked behind expensive paywalls. Authors are often required to surrender copyright to publishers, losing ownership of their publicly funded work. Taxpayers fund research, universities pay faculty to conduct it — and both must pay again to access the results. L’open access nella versione degli editori commerciali (gold open access) ha ulteriormente complicato la situazione, aumentato i costi e accresciuto le disuguaglianze. While meant to democratize access, APCs created new barriers for researchers and allowed commercial publishers to retain dominance L’autore dell’articolo su The Chronicle of higher education, professore a Stanford e già associate director del NIH, definisce quattro grossi problemi dell’editora scientifica: La peer review (difficoltà a trovare revisori, mancato riconoscimento e inaccuratezza legata spesso a scarsità di tempo). Le APC che costringono a recuperare fondi anche ricercatori molto giovani e privi di finanziamenti La formattazione degli articoli (ogni volta diversa) che richiede tempi lunghi e che non aggiunge nulla al contenuto L’accesso chiuso che impedisce una disseminazione ampia delle ricerche. La soluzione a questi problemi e inefficienze non è quella di creare un pacchetto di riviste curato dal governo, ma guarda caso quella di basarsi su infrastrutture pubbliche governate dalla comunità scientifiche. The solution is not federal control as suggested by Kennedy, but rather university-led publishing grounded in academic values and supported by modern infrastructure. E così si torna al discorso di Karen Maex (Protect independent and public knowledge) In un sistema di questo tipo revisori ed editors sono ricompensati per il loro lavoro in temini di riconoscimento della attività per gli avanzamenti di carriera o di riduzione di certi carichi istituzionali, le infrastrutture sono gestite dalla istituzioni (anche in forma consortile) e tutte le pubblicazioni sono messe a disposizione ad accesso aperto. I fondi ci sono già nel sistema, ma vanno ridirezionati. This model will require investment, but the funds already exist — locked up in excessive publisher fees. Universities and research institutions currently spend hundreds of millions annually on subscriptions and APCs. Redirecting even a portion of that spending to support in-house publishing could drastically reduce costs and improve access. Commercial publishers enjoy profit margins of 30-40 percent. By eliminating those margins, a university-based system could offer high-quality publishing at far lower cost. Se la soluzione prospettata da Kennedy è totalmente sbagliata il punto di partenza è del tutto corretto The current system no longer works for anyone except corporate publishers. Rather than replacing private publishers with a government-run platform — which raises concerns about political interference — we should empower academic institutions to reclaim control over scholarly communication. Abbiamo la tecnologia, abbiamo l’expertise, abbiamo i fondi. Ciò che manca è la volontà di costruire un sistema that serves science rather than exploits it (pubblicato su: https://openscience.unimi.it/blog/)