Η αποτίμηση της έρευνας αποτελεί μια ευρεία έννοια. Μπορούμε να πούμε ότι αφορά την αξιολόγηση της ποιότητας της έρευνας καθώς και τις μετρήσεις των ερευνητικών συνεισφορών και αποτελεσμάτων αλλά και του ερευνητικού αντίκτυπου. Υιοθετεί τόσο τις ποιοτικές όσο και τις ποσοτικές μεθοδολογίες συμπεριλαμβανομένων της χρήσης των βιβλιομετρικών δεικτών και χαρτογράφησης καθώς και της ομότιμης κρίσης.
Είναι γνωστό ότι η γνώση του αντίκτυπου της έρευνας είναι σημαντική για έναν ερευνητή γιατί μπορεί να τον βοηθήσει να:
- Ενισχύει τη θέση του όταν αιτείται μία θέση ή εξέλιξη.
- Ενισχύει μελλοντικά αιτήματα χρηματοδότησης επιδεικνύοντας την αξία της έρευνάς του.
- Κατανοεί το κοινό και να μαθαίνει πώς να απευθύνεται σε αυτό.
- Αναγνωρίζει ποιος χρησιμοποιεί το έργο του και να επιβεβαιώνει ότι του αποδίδεται ανάλογα.
- Αναγνωρίζει συνεργάτες εντός ή/και εκτός της θεματικής του περιοχής.
- Διαχειρίζεται την ακαδημαϊκή του υπόληψη.
Δείκτες και μετρήσεις
Οι μετρήσεις και οι δείκτες, οι περισσότεροι εκ των οποίων προέρχονται από εμπορικούς παρόχους/δημιουργούς, αποτελούν συχνά αντικείμενο παρανόησης ή λανθασμένης χρήσης. Παρά το γεγονός ότι οι δείκτες μπορεί να είναι ορθοί και ακριβείς, το περιβάλλον της επιστήμης και της έρευνας και όλοι οι εμπλεκόμενοι φορείς καθιστούν δύσκολη και ορισμένες φορές αναξιόπιστη την απόλυτη και μόνο χρήση των δεικτών. Σε κάθε περίπτωση θα πρέπει να εξετάζονται και να χρησιμοποιούνται με προσεκτικό και με τον ενδεδειγμένο για κάθε περίπτωση τρόπο.
Ακολουθεί μια επισκόπηση κάποιων δεικτών και μια περιγραφή του τι εκφράζουν. Οι δείκτες μέτρησης μπορεί να παρέχουν πληροφορία σε επίπεδο είτε περιοδικού είτε άρθρου και οι περισσότεροι αποτελούν προϊόντα παρόχων, όπως οι Thomson Reuters, Elsevier, Google. Ενώ τα Web of Science (Thomson Rheuters) και Scopus (Elsevier) είναι εμπορικά εργαλεία, προσβάσιμα κατόπι συνδρομής, το Google Scholar είναι ελεύθερα διαθέσιμο αλλά στερείται ποιοτικού ελέγχου. Καλό είναι τα δεδομένα από το Google Scholar να χρησιμοποιούνται κατόπιν σχολαστικού ελέγχου και ξεκαθαρίσματος των δεδομένων (data cleaning).
| Δείκτης | Επίπεδο | Πηγή | Περιγραφή | Μειονεκτήματα |
| Impact factor | Περιοδικό | Thomson Reuters | Μέσος όρος αναφορών, χρονικό όριο 2 ετών | Εξαρτώμενος του πεδίου (field dependent), λιγότερο συναφής με Ανθρωπιστικές επιστήμες & Τέχνη |
| Eigenvalue Score | Περιοδικό | Thomson Reuters | Μέσος όρος αναφορών τελευταίων 5 ετών, αποκλείονται οι αυτό-αναφορές | Εξαρτώμενος του πεδίου (field dependent), λιγότερο συναφής με Ανθρωπιστικές επιστήμες & Τέχνη |
| CiteScore | Περιοδικό | Elsevier | Μέσος όρος αναφορών, χρονικό όριο 5 ετών, όλοι οι τύποι τεκμηρίων | Εξαρτώμενος του πεδίου (field dependent) |
| Citations | Άρθρο | Thomson Reuters, Elsevier, Google Scholar | Αναφορές στο τεκμήριο, απεικονίζει την πραγματική χρήση της υποβολής. | Εξαρτώμενος του πεδίου (field dependent), του περιοδικού, της ηλικίας του περιοδικού, της ηλικίας δημοσίευσης, το θέμα των αυτό-αναφορών, αρνητικών και έμμεσων αναφορών. |
| h-index | Άρθρο | Thomson Reuters, Elsevier, Google Scholar | Μέτρηση παραγωγικότητας και αντίκτυπου αναφορών ενός ακαδημαϊκού χρησιμοποιώντας τη συλλογή εργασιών με τις περισσότερες αναφορές και τον αριθμό των αναφορών τους (π.χ. h-index 6 = ο ακαδημαϊκός έχει 6 εργασίες με τουλάχιστον 6 αναφορές η καθεμιά. | field-dependent, length-of-carreer-dependent, flattens out positive outliers & neglects long tail of lesser-cited papers |
| Usage data | Άρθρο | www (repository, publishers …) | Αριθμός μεταφορτώσεων και επισκέψεων, αριθμός αναγνώσεων (reads), αριθμός διαμοιρασμών (shares) | Χρειάζονται περισσότερες μελέτες κ έρευνα σχετικά με αυτά τα δεδομένα |
| Tweets, likes, comments | Άρθρο | www (Twitter, Facebook) | Χρειάζονται περισσότερες μελέτες κ έρευνα σχετικά με αυτά τα δεδομένα |
Αρχές αποτίμησης της έρευνας
Καθώς η αποτίμηση της έρευνας και η αξιολόγηση των ερευνητών έχουν εδώ και χρόνια συνδεθεί με τους δείκτες μέτρησης, έχουν προκαλέσει αρκετές δυσκολίες και μειονεκτήματα. Κατέστη, λοιπόν, φανερό ότι η αποτίμηση της έρευνας θα πρέπει να επικεντρώνεται στο περιεχόμενο της έρευνας και όχι στους τίτλους περιοδικών για παράδειγμα. Την ανάγκη αυτή για βελτίωση των τρόπων και μεθόδων αποτίμησης της έρευνας αναγνώρισαν όλα τα εμπλεκόμενα μέρη, όπως ερευνητές, χρηματοδότες, εκδότες και ιδρύματα, με αποτέλεσμα να αναπτυχθούν καλές πρακτικές αποτίμησης της έρευνας, όπως αυτές της Διακήρυξης του Σαν Φρανσίσκο για την Αποτίμηση της Έρευνας και της Διακήρυξης του Leiden. Ενώ και η Ευρωπαϊκή Επιτροπή αναφέρεται εκτενώς στην αποτίμηση της έρευνας και στις αλλαγές που πρέπει να επέλθουν στο σύστημα στην αναφορά που δημοσίευσε σχετικά με το μέλλον της Επιστημονικής Δημοσίευσης και Επικοινώνησης το 2019. Συστήνει τη δημιουργία ενός συστήματος αποτίμησης που θα αντέχει στη δοκιμασία της αντικειμενικότητας, ουδετερότητας και αυστηρότητας και καλεί τα πανεπιστήμια και ερευνητικά κέντρα να αναπτύξουν ένα διαφανές και δίκαιο σύστημα αποτίμησης υιοθετώντας τις αρχές των Διακηρύξεων του Σαν Φρανσίσκο και του Leiden.
Το 2012 συντάσσεται η Διακήρυξη για την Αποτίμηση της Έρευνας (Declaration on Research Assessment, DORA) κατά τη διάρκεια της Annual Meeting of the American Society for Cell Biology στο Σαν Φρανσίσκο των ΗΠΑ, η οποία καλύπτει όλα τα επιστημονικά πεδία και είναι διαθέσιμη και στα ελληνικά. Η διακήρυξη επικεντρώνεται στα ακόλουθα θέματα:
- την ανάγκη εξάλειψης της χρήσης των δεικτών μέτρησης που βασίζονται στα περιοδικά, όπως journal Impact Factors, κατά την εξέταση χρηματοδότησης, διορισμού και προαγωγής,
- την ανάγκη αποτίμησης της έρευνας ως έρευνα (περιεχόμενο και αποτέλεσμα) και όχι με βάση το περιοδικό, στο οποίο εκδίδεται η έρευνα,
- την ανάγκη αξιοποίησης των ευκαιριών που προσφέρει η ηλεκτρονική δημοσίευση και έκδοση, όπως χαλάρωση των περιορισμών που αφορούν τον αριθμό των λέξεων, σχημάτων και αναφορών στα άρθρα, αναζήτηση νέων δεικτών σημασίας και αντίκτυπου,
ενώ η γενική σύσταση είναι «Να μη χρησιμοποιούνται δείκτες μέτρησης που βασίζονται στα περιοδικά, όπως Journal Impact Factors, ως υποκατάστατο δεικτών μέτρησης της ποιότητας των ερευνητικών άρθρων, για την αποτίμηση της συνεισφοράς ενός επιστήμονα/ερευνητή ή για τις αποφάσεις πρόσληψης, προαγωγής και χρηματοδότησης».
Η Διακήρυξη του Leiden για τους Δείκτες Μέτρησης της Έρευνας (Leiden Manifesto for Research Metrics) συντάχθηκε από πέντε ειδικούς, οι οποίοι πρότειναν 10 αρχές για τη μέτρηση της ερευνητικής απόδοσης και τη δημοσιεύσαν στο περιοδικό Nature το 2015. Αναφέρονται επιγραμματικά οι αρχές:
- Η ποσοτική εκτίμηση θα πρέπει να υποστηρίζει την ποιοτική αποτίμηση ειδικών.
- Μέτρηση απόδοσης ανεξάρτητα από τους ερευνητικούς σκοπούς του ιδρύματος, ομάδας και ερευνητή.
- Διαφυλάττετε την αριστεία στην τοπικά εστιασμένη έρευνα.
- Διατηρείτε τις διαδικασίες συλλογής και ανάλυσης δεδομένων ανοικτές, διάφανες και απλές.
- Επιτρέπετε σε αυτούς που αξιολογούνται να επιβεβαιώνουν τα δεδομένα και την ανάλυση.
- Μέτρηση παραλλαγών/αποκλίσεων ανά πεδίο στις πρακτικές δημοσίευσης και αναφορών.
- Βασική αξιολόγηση των ερευνητών σύμφωνα με την ποιοτική κρίση του συνολικού τους έργου.
- Αποφύγετε άστοχες επικλήσεις αδιάσειστων στοιχείων και λανθάνουσας ακρίβειας.
- Αναγνώριση των συστημικών συνεπειών της αποτίμησης και των δεικτών.
- Ελέγξτε προσεκτικά και τακτικά τους δείκτες και επικαιροποιείστε τους.