KI-FOMO

In schwachem Licht sieht man einen Bahnsteig, auf dem eine Person mit Rollkoffer steht und einem fortfahrenden Zug hinterherblickt.
generiert mit ChatGPT-4 am 01.02.2024, und ja, der Zug fährt neben dem Gleis 😊

Geht es Ihnen auch so, wenn Sie an KI denken?

Der Bahnsteig ist leer, der Zug ist abgefahren, alle anderen sind weg. Nur Sie stehen noch da und sind – wahrscheinlich – der einzige Mensch auf Erden, der noch nie mit KI-Tools gearbeitet hat. Na ja, oder zumindest haben Sie das nicht systematisch getan. Nur hier und da mal ein bisschen, und dann eher auch für private Zwecke. Vielleicht haben Sie auch wieder damit aufgehört, weil Sie mit den Ergebnissen nichts anfangen konnten, und Sie haben sich gefragt, ob das schon alles war. Wieso dann der ganze Hype? Oder, Moment mal, haben Sie vielleicht etwas falsch gemacht?

Sicher nutzen alle anderen die Tools schon systematisch und noch dazu sehr versiert. Haben schon herausgefunden, wie das funktioniert und wie sie sich zurechtfinden, in diesem Wust an Informationen über immer neue Möglichkeiten. Wie man richtig promptet und der KI Inhalte entlockt, mit denen sich wirklich etwas anfangen lässt.

KI-FOMO? Ja, das ist sie: die Angst, etwas zu verpassen. Nicht ausreichend Bescheid zu wissen. Was, wenn alle anderen plötzlich besser, toller, produktiver sind, weil sie eben verstanden haben, wie es geht?

Alle anderen?

Ganz sicher nicht.

Lassen Sie sich gesagt sein: Da draußen gibt es noch sehr viele Menschen, die sich nicht eingehend mit KI-Tools befasst haben. Oder genauer: Da draußen gibt es noch sehr viele Lehrende, die sich nicht eingehend – oder gar nicht – mit der Nutzung von KI-Tools für den Einsatz in Lehre und Forschung befasst haben.

Die reden nur nicht über ihre Nicht-Nutzung. Es ist en vogue, über KI Bescheid zu wissen, und diejenigen, die nicht mithalten können, reden eben nicht. Sie sitzen dabei und sind stumm. Denn über ein Jahr, nachdem die breite Verfügbarkeit von ChatGPT den Hype ausgelöst hat, erscheint es seltsam, sich noch überhaupt nicht mit diesem Thema beschäftigt zu haben.

Ist es zu spät für den Einstieg?

Ganz sicher nicht.

Das Feld ändert sich kontinuierlich und, wie viele es empfinden, beängstigend schnell. Das ist eine gute Nachricht, so paradox es klingt. Die Halbwertszeit des Wissens hier ist gering, weil die technologische Entwicklung so rasant ist. Wenn Sie jetzt einsteigen und aufholen möchten, müssen Sie also nicht alles „nachlernen“, bis Sie auf dem aktuellen Stand sind. Sie überspringen einfach das, was jetzt schon nicht mehr gilt. Damit haben sich die Früheinsteiger wochen- und monatelang befasst, jetzt ist es nicht mehr nötig. Ich finde das ein wenig vergleichbar mit anderen technischen Skills: Einer Person, die nie in der Zeit an einem PC gearbeitet hat, in der Dateinamen noch maximal acht Zeichen lang sein durften, fehlt dieses Wissen später nicht. Sie musste kein ausgeklügeltes System entwerfen, mit dem sie ihre Dateien benennen und vor allem wiederfinden kann. Genauso wenig muss eine Person, die heute in die Welt der KI einsteigt, wissen, mit welchen (viel spezifischeren) Prompts sie vor einem Jahr zum gewünschten Output gelangt wäre, wenn heute schon sehr viel durch Conversational Prompting erreicht werden kann. Ebenso ist das Wissen über bestimmte Workflows irrelevant, die noch vor kurzer Zeit üblich waren: Heute muss ich nicht mehr wissen, dass ich mir in ChatGPT einen Prompt formulieren lassen kann, um ihn in einem Bildgenerierungs-Tool zu verwenden. Denn das inzwischen multimodale ChatGPT erzeugt das Bild einfach selbst (lassen wir für dieses Beispiel außen vor, dass es natürlich Unterschiede zwischen den Tools gibt).

Die Grundlagen hingegen sind immer noch die gleichen wie vor Monaten. DIE müssen Sie kennen. Und die sind schnell erklärt. In meinen Workshops verwenden wir im ersten Angang meist nicht wesentlich mehr als eine viertel Stunde darauf. Natürlich kommen wir im Verlauf immer wieder darauf zu sprechen, aber für den Einstieg genügt es, sich kurz über die Basics zu verständigen.

Die absoluten Basics über textgenerierende KI

Bringen wir es auf den Punkt:

  • Ein textgenerierende KI-Tool ist kein Lexikon.
  • Ein textgenerierende KI-Tool ist keine Suchmaschine.
  • Ein textgenerierende KI-Tool ist kein Mensch.

Dazu noch ein paar Worte zu Datenschutz und Sicherheit. That’s it.

Wenn diese Grundlagen klar sind, können wir in den Tool-Test starten und einfach MACHEN.

KI-Tools beim wissenschaftlichen Arbeiten

In meinen Workshops sitzen vor allem zwei Zielgruppen. Ich führe zum einen KI-Schreibwerkstätten mit Studierenden durch, zum anderen erarbeite ich mit Lehrenden, wie sie – jetzt, da KI-Tools nun einmal existieren und auch nicht mehr verschwinden werden – wissenschaftliches Arbeiten lehren können. Die Inhalte dieser Workshops lassen sich nachvollziehbarerweise nicht von den Eigeninteressen der Lehrenden lösen. Sie wollen wissen, wie sie ihre eigenen Schreibaktivitäten durch den Einsatz von KI „optimieren“.

Es ist natürlich ein berechtigtes Anliegen, das eigene Schreiben entwickeln zu wollen. Mich wundert nur die Vehemenz, mit der es manchmal vorgetragen wird. Da entsteht bei mir schnell der Eindruck, als sollen die KI-Tools jetzt richten, was schon seit Jahren im Argen liegt. Schreibprozesse, die als nicht angenehm und als zu wenig produktiv empfunden werden, sollen nun mit Hilfe der KI-Tools beschleunigt werden.

Hier kommt auch wieder KI-FOMO ins Spiel. Was, wenn alle anderen besser, toller und schneller Texte produzieren? Wenn sie mehr publizieren und dadurch ihre akademische Karriere beschleunigen? Da hätten jene das Nachsehen, die keine KI-Tools nutzen.

Auch diesen Druck verstehe ich. Dennoch halte ich die Frage nach dem optimalen KI-Tool-Workflow für zu kurz gedacht. Damit meine ich die Frage, die mir in meinen Workshops regelmäßig gestellt wird: Wie bilde ich meinen Schreibworkflow möglichst lückenlos durch KI-Tools ab?

Analyse vor Lösung, ob mit oder ohne KI

Schreibprozesse sind individuell und damit sehr unterschiedlich. Wie immer fasse ich den Begriff des Schreibens weit und verstehe darunter auch vor- und nachgelagerte Tätigkeiten wie Literaturrecherche oder Überarbeiten. (Nicht dass hier ein ungewollter Eindruck entsteht: Damit meine ich nicht, dass die Literaturrecherche zeitlich immer komplett vor und das Überarbeiten immer nach dem Schreiben liegen sollte. Vielmehr greifen die Schritte oft ineinander.)

Vor einer angestrebten Umgestaltung des eigenen Schreibens sollte vor allem die folgende Frage geklärt sein:

Wie schreibe ich überhaupt?

Das bedeutet im Einzelnen z.B.:

  • Welche Raum nehmen die verschiedenen Tätigkeiten ein?
  • Was gelingt mir leicht, wobei tue ich mir schwer?
  • Welche Schreibstrategien setze ich, bewusst oder unbewusst, ein?

Solange das nicht geklärt ist, kann eine Lösung nicht greifen.

Bemühen wir mal zwei (zugegebenermaßen etwas schräge) Bilder:

Nummer 1: Wenn ich einen Fleck auf dem Sofa entdecke, renne ich besser auch nicht los in den Drogeriemarkt und kaufe wahllos fünf verschiedene Fleckenentferner. Erst schaue ich mir an, was den Fleck verursacht haben könnte und dann sehe ich noch nach, welche Mittelchen ich schon vorrätig habe.

Nummer 2: Wenn meine Ärztin mir sagt, ich solle gesünder leben, würde ich nicht gleichzeitig mit Intervallfasten, drei Sportarten und zehn Supplementen anfangen, sondern mich erst einmal fragen, wo genau das Problem liegt. Passt die Ernährung vielleicht schon? Ist mein Sportmix vielleicht schon ausgewogen? Dann sollte ich daran nicht drehen.

Was ich damit meine: Eine voreilige „Lösung“ verursacht oft neue Probleme (und wenn es nur bedeutet, dass ich ohne echten Gegenwert viel Geld ausgegeben habe). Diese voreilige Lösung ist eine Verschlimmbesserung.

Ok, wie geht es besser?

Schritt 1: Verschaffen Sie sich einen groben Überblick über die verschiedenartigen KI-Tools. Damit meine ich nicht, dass Sie alle Tools auf Herz und Nieren prüfen sollen. Nein, schauen Sie erst einmal, an welcher Stelle im Schreibprozess die Tools überhaupt ansetzen. Das reine Generieren von Text ist nur ein Bruchteil dessen, was möglich ist.

Schritt 2: Testen Sie gezielt, was Sie vermutlich (!) am weitesten bringt. Lesen Sie z.B. langsam, testen Sie ein Lese-Tool. Gefallen Ihnen Ihre Formulierungen oft nicht, testen Sie einmal, wie Sie den Überarbeitungsprozess mit einem KI-Tool gestalten können etc.

Schritt 3: Immer weiter im PDCA-Zyklus. „Plan – do – check – act“, das bedeutet einfach, dass Sie ausprobieren, was funktioniert, und ab da in einen kontinuierlichen Verbesserungsprozess einsteigen.

Eine steile These zum Abschluss

Es wird keinen durchoptimierten Workflow mit KI-Tools für das wissenschaftliche Arbeiten geben, genauso wenig wie es einen generell gültigen Workflow für das wissenschaftliche Arbeiten gibt.

Wir werden nicht 100 Texte in Tool 1 stecken, das Ergebnis in Tool 2 weiterverarbeiten und dann in Tool 3 aufs Knöpfchen drücken und den publikationsreifen Text vor uns sehen.

Tool-Gurus: Prove me wrong!

Aber selbst wenn: Würden wir das wirklich wollen?

P.S. Ganz genau so können Sie in der Folge auch mit Ihren Studierenden an die Sache herangehen. Wenn die Studierenden Sie fragen, welche Tools sie am besten für ihre Arbeiten einsetzen sollen, fragen Sie zurück: „Wie schreiben Sie überhaupt?“

Immer auf dem Laufenden bleiben?

Melden Sie sich für den Newsletter an! Sie werden benachrichtigt, wenn ein neuer Beitrag auf dem Blog erscheint, und können auch ein wenig hinter die Kulissen blicken.

Zitier-Indizes als Thema in der Lehre, oder „Wer viel misst, misst Mist…“

Immer wieder einmal ploppt in den Lehrveranstaltungen zum wissenschaftlichen Arbeiten die Frage nach dem Sinn und Nutzen von Zitier-Indizes auf.

In diesem Blogartikel hole ich erst ein wenig aus, um ein paar Informationen über Zitier-Indizes darzulegen (ohne Anspruch auf Vollständigkeit!), und ziehe dann am Ende meine Schlussfolgerungen für die Lehre.

Lassen wir zunächst einmal einen der Pioniere auf dem Gebiet der Zitier-Indizes, Eugene Garfield, zu Wort kommen.

„Citation frequency is a measure of research activity, or of communication about research activity. The measure is a sociometric device. In itself, the number of citations of a man’s work is no measure of significance. Like one scale on a nomogram, it must be used along with other scales to obtain anything useful or meaningful, particularly if the object of the evaluation is in any way qualitative.”

(Garfield, 1973, eigene Hervorhebung)

Trotzdem werden die Indizes als das Non-plus-Ultra angesehen, um wissenschaftliche Bedeutung und Qualität zu bewerten. Gleichzeitig werden sie jedoch auch kritisch hinterfragt. Nur hat dies bisher noch nicht zur Entwicklung eines wirklich guten Index geführt – vermutlich weil es den gar nicht geben kann.

Ein bisschen Hintergrund zu Zitier-Indizes

Der erste Zitier-Index (für Zeitschriftenartikel) war der von Garfield entwickelte Scientific Citation Index (SCI), der seit 1964 genutzt wird. Mittlerweile gibt es eine Vielzahl solcher Indizes; durchgesetzt haben sich der Journal Impact Factor (JIF) für die Bewertung von Journals und der Hirsch-Index (h-Index) für die Bewertung der Leistung einzelner Wissenschaftler:innen. Beide funktionieren nach dem gleichen Prinzip: Der Index misst die Anzahl der Zitationen im Verhältnis zur Anzahl der publizierten Artikel in einem Zeitraum von zwei Jahren bzw. zur Anzahl der (gesamten) eigenen Veröffentlichungen.

Die Indizes haben sich etabliert, da sie bis dato die einfachste Möglichkeit darstellen, wissenschaftlichen Output zu ranken. Allerdings ist Quantität ja nicht gleich Qualität, außerdem haben wir es nur mit einem vermeintlich objektiven Maßstab zu tun.

Moment mal – „vermeintlich objektiv“?

Leider ja. Schon die Auswahl der Journals, die überhaupt in den JIF aufgenommen werden, erfolgt willkürlich und ist hauptsächlich auf englischsprachige Zeitschriften beschränkt. Es kommt zu geografischen und thematischen Verzerrungen.

Zudem unterstützen die Indizes die systematische Benachteiligung von Frauen bzw. weiblich gelesenen Personen. Artikel, die von Wissenschaftlerinnen eingereicht werden, werden seltener angenommen als die von Wissenschaftlern. Hinzu kommt, dass ihre Artikel seltener zitiert werden – vor allem eben von Wissenschaftlern. (Nebenbei gesagt: Werden Zitierstile verwendet, die den Vornamen zu Initialen abkürzen, ändert sich das. Dann werden Artikel von Wissenschaftlerinnen zitiert als wären es Artikel von Wissenschaftlern.) Dies alles sorgt dafür, dass Männer in den Indizes wesentlich besser abschneiden als Frauen. 2021 waren so beispielsweise nur 11 Frauen unter den TOP 100 und sogar nur eine Frau unter den TOP 10 der meist zitierten Wissenschaftler:innen (https://recognition.webofscience.com/awards/highly-cited/2021/).

Erschwerend kommen weitere Faktoren hinzu: So bekommt etwa nur der/die jeweilige Hauptautor:in eines Artikels Credits für den Index und bei der Auswahl werden etablierte Journals/Autor:innen bevorzugt, so dass Wissenschaftler:innen, die am Anfang ihrer Karriere stehen, und innovative oder unkonventionelle Ideen wenig Chancen haben, sich überhaupt zu etablieren. Auch lässt sich der Index einfach manipulieren, z. B. durch Selbstzitierung.

Das Kernproblem der Zitier-Indizes

Das alles weist auch auf das Kernproblem des JIF und anderer Indizes hin: Die Häufigkeit, mit der eine Quelle zitiert wird, lässt keinen Rückschluss auf die Qualität zu. Zudem ist es stark von der Fachcommunity abhängig, wie häufig ein Artikel zitiert wird – ein sehr guter Artikel zu einem Nischenthema in einem kleinen Fachbereich wird deutlich seltener zitiert als ein schlechter Artikel zu einem populären Thema in einer der großen Disziplinen. Auch werden Artikel nicht immer zitiert, weil sie gut sind – bekanntlich dient manches Zitat auch dazu, um die Inhalte einer Quelle zu kritisieren oder zu widerlegen.

All diese Kritikpunkte führten unter anderem dazu, dass der JIF von Forschenden nicht mehr bei ERC-Anträgen angegeben werden darf. Trotzdem zählt er in Deutschland als der scientometrische Indikator: Dozierende raten ihren Studierenden, sich bei der Literaturauswahl für die eigenen Arbeiten daran zu orientieren, und Universitäten suchen spezifisch nach vielzitierten Wissenschaftler:innen, um ihr Ranking zu verbessern.

Aber warum eigentlich?

Ein simpler Grund ist, dass es aktuell keinen Indikator gibt, der wirklich besser ist. Der Eigenfactor, der SCImago Journal Rank (SJR) und der Source Normalized Impact per Paper (SNIP) beheben jeweils ein paar der genannten Schwachstellen, funktionieren aber immer noch nach dem gleichen Prinzip. Altmetrics (eine Wortschöpfung aus den beiden Wörtern „alternative“ und „metric“) verfolgen einen komplett anderen Ansatz, indem sie versuchen, den Impact einer Veröffentlichung zu erheben und dabei auch die Resonanz auf Social Media einzubeziehen.

Auch wird es eine echte Lösung im Sinn einer „Qualitätsprüfung“ nicht geben können. Die Vielzahl an Veröffentlichungen tatsächlich auf ihre Qualität hin zu prüfen, wäre nicht nur zeitaufwendig und kostenintensiv. Es wäre grundlegend fraglich, wer diese Qualität überhaupt bewerten sollte und anhand welcher Kriterien.

Messen
Foto von Miguel A Amutio

Zitier-Indizes als Thema in der Lehre

Für die Lehre heißt das für mich Folgendes: Je nach Vorkenntnissen der Studierenden diskutiere ich die Funktionsweise und die Aussagekraft von Zitier-Indizes auf unterschiedliche Arte.

  • Bei Studierenden, die gerade das Bachelor-Studium aufgenommen haben und an ihren ersten Arbeiten sitzen, ist dies erfahrungsgemäß kaum ein Thema. Sie sind noch zu sehr mit den Basics beschäftigt und ich weise auch nicht aktiv auf Zitier-Indizes hin.
  • Bei erfahreneren (Bachelor-)Studierenden in späteren Semestern kommt das Thema „Zitier-Indizes“ manchmal auf, weil jemand es bei befreundeten Studierenden aus anderen Studiengängen aufgeschnappt hat oder weil Lehrende es aufgebracht haben (Letzteres leider meist auf die unkritische Art im Sinne von „Zitieren Sie vorzugsweise aus hochgerankten Quellen.“). Dann erlaube ich mir, ein wenig Aufklärungsarbeit zu leisten und die Studierenden mit Argumenten auszustatten.
  • Bei fortgeschrittenen Studierenden in Master-Studiengängen und darüber hinaus setze ich das Thema selbst auf die Agenda und diskutiere es mit den Studierenden. Allerdings habe ich die Erfahrung gemacht, dass man dabei sehr gut aufpassen muss, wann das Ende dieser Diskussion erreicht ist. Allzu leicht machen sich sonst Resignation und eine gewisse „Wissenschaftsfeindlichkeit“ breit. Damit meine ich in diesem Kontext eine Haltung, die es der Wissenschaft zum Vorwurf macht, noch keine Lösung für diese komplexe Problem gefunden zu haben, und daraufhin die Wissenschaft generell in Frage stellt.

Was ist mir wichtiger als Zitier-Indizes?

Es dürfte klar geworden sein, dass ich Zitier-Indizes insgesamt nicht für einen guten Maßstab und schon gar nicht für das Maß aller Dinge für die Literaturauswahl der Studierenden erachte. Für wesentlich wichtiger halte ich es, gemeinsam mit den Studierenden kritisch zu diskutieren, wie neues Wissen entsteht und verbreitet wird oder eben auch nicht.

Derweil träume ich weiter von einer Wissenschaftspraxis,

  • in der nur wirklich veröffentlichungswerte Erkenntnisse veröffentlicht werden und in der nicht aus Karrieregründen mal wieder eine „Least publishable unit“ – sorry – „rausgehauen werden muss“,
  • in der auch innovative und unkonventionelle Ideen eine Chance haben, weil sie zu Ende gedacht und dann auch noch veröffentlicht und rezipiert werden können
  • in der Transparenz ein wichtiger Wert bei der Entstehung und Kommunikation von Wissen ist (hallo Open Science!) und in der nicht durch das unreflektierte Verwenden von Zitier-Indizes Verzerrungen reproduziert werden.

Wie thematisieren Sie Zitier-Indizes in der Lehre?