Scheda di progetto
BANDO: PRIN: PROGETTI DI RICERCA DI RILEVANTE INTERESSE NAZIONALE – Bando 2022
TITOLO: Measuring Scientific Output via Preferences Elicitation
DURATA: 24 mesi dal 28.09.2023 al 27.09.2025
RESPONSABILE: Prof. Magnani Marco (Responsabile Unità)
SETTORE ERC (European Research Council): SH 1 - “Individuals, Markets and Organisations”
OBIETTIVO SDG (Sustainable Development Goals): Goal 8: Lavoro dignitoso e crescita economica
SITO WEB: PeerRank – Researchers rank it better
Breve descrizione
La valutazione della produzione scientifica si basa sempre più sui dati delle citazioni, nonostante questa non sia mai stata la loro ragione d'essere; ciò ha generato e genera comportamenti strategici e frequenti controversie. Nonostante ciò, è spesso inevitabile l'utilizzo di tali metriche per valutazioni di routine su grandi quantità di pubblicazioni. I forti limiti di questo approccio, e in particolare la mancanza di consenso su quale metodo utilizzare per valutare l'output scientifico, ostacolano la valutazione della scienza e quindi il suo sviluppo - in società in cui la conoscenza svolge un ruolo sempre più centrale e critico. Questo progetto mira a migliorare la valutazione delle riviste scientifiche, affrontando tre questioni principali:
1) L'esistenza o meno di un consenso tra gli scienziati su quali riviste siano più rilevanti.
2) Quale metrica esistente rifletta meglio il giudizio della comunità scientifica sulla qualità delle riviste.
3) L'aggregazione del consenso della comunità in una metrica nuova, PeerRank, che ne rifletta al meglio l'opinione.
Il progetto si propone di raccogliere le preferenze degli scienziati tramite un "sondaggio intelligente", combinando approcci bottom-down - in cui ogni ricercatore esprime una classifica di alcune riviste - bottom-up - in cui invece il ricercatore confronta indicatori già esistenti. I risultati saranno analizzati nel contesto del dibattito sulla valutazione della ricerca, considerando la diversità tra le discipline. Nella fase di aggregazione delle preferenze espresse dai partecipanti, è cruciale la scelta di un algoritmo che sfrutti ottimamente l'informazione ma allo stesso tempo si presti meno possibile a manipolazioni. Per questo motivo, il progetto include una componente di studio teorico di algoritmi di aggregazione, nonché un'analisi empirica del comportamento strategico in contesti, come l'Eurovision Song Contest, in cui vengono espresse preferenze ordinali in presenza di chiari conflitti di interesse.
