Zitier-Indizes als Thema in der Lehre, oder „Wer viel misst, misst Mist…“

Immer wieder einmal ploppt in den Lehrveranstaltungen zum wissenschaftlichen Arbeiten die Frage nach dem Sinn und Nutzen von Zitier-Indizes auf.

In diesem Blogartikel hole ich erst ein wenig aus, um ein paar Informationen über Zitier-Indizes darzulegen (ohne Anspruch auf Vollständigkeit!), und ziehe dann am Ende meine Schlussfolgerungen für die Lehre.

Lassen wir zunächst einmal einen der Pioniere auf dem Gebiet der Zitier-Indizes, Eugene Garfield, zu Wort kommen.

„Citation frequency is a measure of research activity, or of communication about research activity. The measure is a sociometric device. In itself, the number of citations of a man’s work is no measure of significance. Like one scale on a nomogram, it must be used along with other scales to obtain anything useful or meaningful, particularly if the object of the evaluation is in any way qualitative.”

(Garfield, 1973, eigene Hervorhebung)

Trotzdem werden die Indizes als das Non-plus-Ultra angesehen, um wissenschaftliche Bedeutung und Qualität zu bewerten. Gleichzeitig werden sie jedoch auch kritisch hinterfragt. Nur hat dies bisher noch nicht zur Entwicklung eines wirklich guten Index geführt – vermutlich weil es den gar nicht geben kann.

Ein bisschen Hintergrund zu Zitier-Indizes

Der erste Zitier-Index (für Zeitschriftenartikel) war der von Garfield entwickelte Scientific Citation Index (SCI), der seit 1964 genutzt wird. Mittlerweile gibt es eine Vielzahl solcher Indizes; durchgesetzt haben sich der Journal Impact Factor (JIF) für die Bewertung von Journals und der Hirsch-Index (h-Index) für die Bewertung der Leistung einzelner Wissenschaftler:innen. Beide funktionieren nach dem gleichen Prinzip: Der Index misst die Anzahl der Zitationen im Verhältnis zur Anzahl der publizierten Artikel in einem Zeitraum von zwei Jahren bzw. zur Anzahl der (gesamten) eigenen Veröffentlichungen.

Die Indizes haben sich etabliert, da sie bis dato die einfachste Möglichkeit darstellen, wissenschaftlichen Output zu ranken. Allerdings ist Quantität ja nicht gleich Qualität, außerdem haben wir es nur mit einem vermeintlich objektiven Maßstab zu tun.

Moment mal – „vermeintlich objektiv“?

Leider ja. Schon die Auswahl der Journals, die überhaupt in den JIF aufgenommen werden, erfolgt willkürlich und ist hauptsächlich auf englischsprachige Zeitschriften beschränkt. Es kommt zu geografischen und thematischen Verzerrungen.

Zudem unterstützen die Indizes die systematische Benachteiligung von Frauen bzw. weiblich gelesenen Personen. Artikel, die von Wissenschaftlerinnen eingereicht werden, werden seltener angenommen als die von Wissenschaftlern. Hinzu kommt, dass ihre Artikel seltener zitiert werden – vor allem eben von Wissenschaftlern. (Nebenbei gesagt: Werden Zitierstile verwendet, die den Vornamen zu Initialen abkürzen, ändert sich das. Dann werden Artikel von Wissenschaftlerinnen zitiert als wären es Artikel von Wissenschaftlern.) Dies alles sorgt dafür, dass Männer in den Indizes wesentlich besser abschneiden als Frauen. 2021 waren so beispielsweise nur 11 Frauen unter den TOP 100 und sogar nur eine Frau unter den TOP 10 der meist zitierten Wissenschaftler:innen (https://recognition.webofscience.com/awards/highly-cited/2021/).

Erschwerend kommen weitere Faktoren hinzu: So bekommt etwa nur der/die jeweilige Hauptautor:in eines Artikels Credits für den Index und bei der Auswahl werden etablierte Journals/Autor:innen bevorzugt, so dass Wissenschaftler:innen, die am Anfang ihrer Karriere stehen, und innovative oder unkonventionelle Ideen wenig Chancen haben, sich überhaupt zu etablieren. Auch lässt sich der Index einfach manipulieren, z. B. durch Selbstzitierung.

Das Kernproblem der Zitier-Indizes

Das alles weist auch auf das Kernproblem des JIF und anderer Indizes hin: Die Häufigkeit, mit der eine Quelle zitiert wird, lässt keinen Rückschluss auf die Qualität zu. Zudem ist es stark von der Fachcommunity abhängig, wie häufig ein Artikel zitiert wird – ein sehr guter Artikel zu einem Nischenthema in einem kleinen Fachbereich wird deutlich seltener zitiert als ein schlechter Artikel zu einem populären Thema in einer der großen Disziplinen. Auch werden Artikel nicht immer zitiert, weil sie gut sind – bekanntlich dient manches Zitat auch dazu, um die Inhalte einer Quelle zu kritisieren oder zu widerlegen.

All diese Kritikpunkte führten unter anderem dazu, dass der JIF von Forschenden nicht mehr bei ERC-Anträgen angegeben werden darf. Trotzdem zählt er in Deutschland als der scientometrische Indikator: Dozierende raten ihren Studierenden, sich bei der Literaturauswahl für die eigenen Arbeiten daran zu orientieren, und Universitäten suchen spezifisch nach vielzitierten Wissenschaftler:innen, um ihr Ranking zu verbessern.

Aber warum eigentlich?

Ein simpler Grund ist, dass es aktuell keinen Indikator gibt, der wirklich besser ist. Der Eigenfactor, der SCImago Journal Rank (SJR) und der Source Normalized Impact per Paper (SNIP) beheben jeweils ein paar der genannten Schwachstellen, funktionieren aber immer noch nach dem gleichen Prinzip. Altmetrics (eine Wortschöpfung aus den beiden Wörtern „alternative“ und „metric“) verfolgen einen komplett anderen Ansatz, indem sie versuchen, den Impact einer Veröffentlichung zu erheben und dabei auch die Resonanz auf Social Media einzubeziehen.

Auch wird es eine echte Lösung im Sinn einer „Qualitätsprüfung“ nicht geben können. Die Vielzahl an Veröffentlichungen tatsächlich auf ihre Qualität hin zu prüfen, wäre nicht nur zeitaufwendig und kostenintensiv. Es wäre grundlegend fraglich, wer diese Qualität überhaupt bewerten sollte und anhand welcher Kriterien.

Messen
Foto von Miguel A Amutio

Zitier-Indizes als Thema in der Lehre

Für die Lehre heißt das für mich Folgendes: Je nach Vorkenntnissen der Studierenden diskutiere ich die Funktionsweise und die Aussagekraft von Zitier-Indizes auf unterschiedliche Arte.

  • Bei Studierenden, die gerade das Bachelor-Studium aufgenommen haben und an ihren ersten Arbeiten sitzen, ist dies erfahrungsgemäß kaum ein Thema. Sie sind noch zu sehr mit den Basics beschäftigt und ich weise auch nicht aktiv auf Zitier-Indizes hin.
  • Bei erfahreneren (Bachelor-)Studierenden in späteren Semestern kommt das Thema „Zitier-Indizes“ manchmal auf, weil jemand es bei befreundeten Studierenden aus anderen Studiengängen aufgeschnappt hat oder weil Lehrende es aufgebracht haben (Letzteres leider meist auf die unkritische Art im Sinne von „Zitieren Sie vorzugsweise aus hochgerankten Quellen.“). Dann erlaube ich mir, ein wenig Aufklärungsarbeit zu leisten und die Studierenden mit Argumenten auszustatten.
  • Bei fortgeschrittenen Studierenden in Master-Studiengängen und darüber hinaus setze ich das Thema selbst auf die Agenda und diskutiere es mit den Studierenden. Allerdings habe ich die Erfahrung gemacht, dass man dabei sehr gut aufpassen muss, wann das Ende dieser Diskussion erreicht ist. Allzu leicht machen sich sonst Resignation und eine gewisse „Wissenschaftsfeindlichkeit“ breit. Damit meine ich in diesem Kontext eine Haltung, die es der Wissenschaft zum Vorwurf macht, noch keine Lösung für diese komplexe Problem gefunden zu haben, und daraufhin die Wissenschaft generell in Frage stellt.

Was ist mir wichtiger als Zitier-Indizes?

Es dürfte klar geworden sein, dass ich Zitier-Indizes insgesamt nicht für einen guten Maßstab und schon gar nicht für das Maß aller Dinge für die Literaturauswahl der Studierenden erachte. Für wesentlich wichtiger halte ich es, gemeinsam mit den Studierenden kritisch zu diskutieren, wie neues Wissen entsteht und verbreitet wird oder eben auch nicht.

Derweil träume ich weiter von einer Wissenschaftspraxis,

  • in der nur wirklich veröffentlichungswerte Erkenntnisse veröffentlicht werden und in der nicht aus Karrieregründen mal wieder eine „Least publishable unit“ – sorry – „rausgehauen werden muss“,
  • in der auch innovative und unkonventionelle Ideen eine Chance haben, weil sie zu Ende gedacht und dann auch noch veröffentlicht und rezipiert werden können
  • in der Transparenz ein wichtiger Wert bei der Entstehung und Kommunikation von Wissen ist (hallo Open Science!) und in der nicht durch das unreflektierte Verwenden von Zitier-Indizes Verzerrungen reproduziert werden.

Wie thematisieren Sie Zitier-Indizes in der Lehre?