Empirisch forschen

From bad to better

Andrea KleinNo Comments

Meinfelder, Florian und Rebekka Kluge (Hrsg.) (2019): Bad Science: Die dunkle Seite der Statistik. München: Vahlen.

29,80 Euro

Inhaltsübersicht

I Methodische Grundlagen (3 Beiträge)

II (K)eine Anleitung zum Mogeln (3 Beiträge)

III Wie man unter Zuhilfenahme statistischer Methoden Nonsens-Forschung einen wissenschaftlichen Anstrich verpasst (2 Beiträge)

IV Handfeste Konsequenzen in der wirklichen Welt (3 Beiträge)

 

From bad to better

Was ist Wissenschaft? Was ist Pseudo-Wissenschaft? Und was ist einfach nur schlechte Wissenschaft? Unter „Bad Science“ verstehen die Herausgeber des Sammelbandes laut Vorwort „schlampiges Vorgehen beim wissenschaftlichen Arbeiten“, aber auch einseitige Untersuchungen und gefälschte Ergebnisse. Der Fokus des Buches liegt klar auf Letzterem, wie schon der Untertitel „Die dunkle Seite der Statistik“ zeigt. Dahinter steckt der Gedanke, dass Menschen, die versiert mit Statistik umgehen können, diese nicht missbrauchen, sondern sie für gute Wissenschaft nutzen.

Als Herausgeber fungieren Dr. Florian Meinfelder von der Otto-Friedrich-Universität Bamberg und Rebekka Kluge, die am GESis Leibniz-Institut für Sozialwissenschaften Mannheim promoviert. Bei den Autoren der Beiträge handelt es sich um ehemalige Master-Studierende der Universitäten Bamberg, Berlin und Trier, die im Sommersemester 2016 am Seminar „Survey Methodik“ teilgenommen hatten.

Wie ist das Buch aufgebaut?

Auf den ersten Blick findet man den klassischen Aufbau eines Sammelbands vor: Auf das Vorwort und die Einleitung der Herausgeber folgen nacheinander mehr oder minder aufeinander abgestimmte Beiträge, er schließt mit einem Nachwort der Herausgeber. Im vorliegenden Sammelband ergänzen sich jedoch die vier Teile – „Methodische Grundlagen“, „(K)eine Anleitung zum Mogeln“, „Wie man unter Zuhilfenahme statistischer Methoden Nonsens-Forschung einen wissenschaftlichen Anstrich verpasst“ und „Handfeste Konsequenzen in der wirklichen Welt“ – sehr gut. Zudem sind sie jeweils mit einem einführenden Zwischentext der Herausgeber verbunden. Das Buch wird zu einem angenehmen Mix aus Grundlagen und Anwendung, aus theoretischem Hintergrundwissen zur Statistik und der Beschreibung praktischer Auswirkungen in der echten Welt.

Was lernt man in dem Buch?

Im ersten Teil zu den methodischen Grundlagen geht es zunächst einmal um die Unzulänglichkeiten des p-Werts. Dieser Signifikanzwert ist als Standard derzeit noch nicht aus der Statistik wegzudenken; die als Alternative geltende Bayes-Statistik wird vergleichsweise selten eingesetzt bzw. ist in der einschlägigen Software noch nicht implementiert.

Das sogenannte p-Hacking (die Suche nach einer möglichst spektakulären und somit gut veröffentlichbaren signifikanten Aussage) und das HARKing (Hypothesizing after Results are known) werden anschaulich und an mehreren Beispielen in den folgenden Teilen dargestellt.

Und, leider, leider, lernt man in dem Buch auch, dass Schokolade doch nicht schlank macht (waaas?). Sie erinnern sich: Vor fast fünf Jahren, im März 2015, entstand ein ziemlicher Rummel um eine Studie, die angeblich zeigte, dass Schokolade beim Abnehmen hilft. Nach zwei Monaten erst klärten die Autoren auf, dass es sich um eine Fake-Studie gehandelt hatte, und mahnten so zu einer kritischeren Auseinandersetzung mit Studienergebnissen.

Welchen Studierenden kann man das Buch empfehlen?

Wer im Studium viel mit Statistik zu tun hat oder sich gar darauf spezialisiert hat, findet in dem vorliegenden Buch eine Zusammenstellung modernerer Ansätze, die so noch nicht in allen Lehrbüchern und noch viel weniger in Lehrunterlagen zu finden sind. Es wäre gut möglich, dass man nach der Lektüre auf einem aktuelleren Wissensstand angelangt ist als eine Lehrperson, die sich seit geraumer Zeit nicht mehr weitergebildet hat, „weil sich bei der Statistik eh nichts ändert“. Das ungläubige Staunen, dass sich da doch etwas tut, sollte man dann aushalten oder verargumentieren können.

Was bringt das Buch für den Einsatz in der Lehre?

Für Lehrende, die bisher nicht gerade tief in die Statistik eingetaucht sind, ist der Sammelband sicher keine gute Einstiegslektüre in das Gebiet. Ein wenig Vorbildung auf diesem Gebiet sollte man schon mitbringen, so etwa das Wissen darüber, was statistische Analysen im Gegensatz zu einer qualitativen Herangehensweise eigentlich leisten sollen und vor allem, was es mit dem Hypothesentesten und dem berühmten p-Wert auf sich hat. Dann macht die Lektüre Laune und es ist möglich, ausgewählte Beispiele zur Diskussion ins Seminar mitzunehmen – auf dass „Bad Science“ erkannt und in Zukunft immer mehr durch „Good Science“ ersetzt werde.

—

Herzlichen Dank an den Verlag für das Rezensionsexemplar!

 

Immer auf dem Laufenden bleiben?

Melden Sie sich für den Newsletter an! Sie werden benachrichtigt, wenn ein neuer Beitrag auf dem Blog erscheint, und können auch ein wenig hinter die Kulissen blicken.

Methoden als Erfahrungsräume

Andrea KleinNo Comments

Da das Thema in einer Diskussion in der Facebook-Gruppe Hochschuldidaktik gerade wieder hochkam, möchte ich in diesem Beitrag noch einmal den Aspekt aufgreifen:

„Wo lernt man denn Wissenschaftliches Arbeiten, wenn nicht an der Hochschule?“

Oder, wie ich es in einem älteren Artikel formuliert habe: „Ist es nicht paradox, dass man sich im wissenschaftlichen System gerade ‚Wissenschaft‘ selbst beibringen soll?“

Lassen Sie uns noch tiefer in die gleiche Kerbe schlagen:

Methodisch und methodologisch gut ausgebildete Studierende sind ein Segen.

Hochschulen sollen den Studierenden nicht nur wissenschaftliches Schreiben beibringen (was viele nicht einmal tun), sondern gefälligst auch, wie sie zu neuen Erkenntnissen gelangen können.

Das bedeutet:

Studierende sollen wissen, welche Methode sie im vorliegenden Fall anwenden möchten, um ihre Fragestellung einer Lösung zuzuführen. Sie sollen auch wissen, welche Methode sie besser nicht anwenden.

  • Damit ist einerseits das Wissen darum gemeint, was die Methode zu leisten vermag und was nicht. Studierende sollen wissen, was sie von der gewählten Methode erwarten können und wo die Limitationen liegen. Sie sollen beurteilen können, was herausgekommen ist und wie dies einzuordnen ist.
  • Andererseits geht es um die Möglichkeiten der Studierenden. In seinem Kommentar zu meinem Beitrag von Anfang April schreibt Christian Wymann sinngemäß, die Studierenden sollen realistisch bleiben, wenn sie eine forschende Haltung einnehmen. Dem stimme ich voll und ganz zu. Es ist dabei die Aufgabe der Lehrperson, in der Beratung das Forschungshandeln zu kanalisieren und sinnlose oder überambitionierte Projekte in eine bessere Richtung zu lenken.

Eine These

An der Stelle wage ich einmal eine These: Auch mit der besten Schreibberatung kann niemand aus einer schlecht angelegten Arbeit eine sehr gute machen.

Das ist ja auch gar nicht das Ziel. Aber: Wir brauchen alles drei: Schreibtraining, Schreibberatung und eine solide Methodenausbildung im Fach.

Mit einer soliden Methodenausbildung meine ich nicht nur eine einzelne Vorlesung in Statistik. Wer eine solche Vorlesung besucht hat, weiß danach (eventuell!), was er mit Daten tun kann. Aber woher kommen diese Daten, wie werden sie erhoben? Hat das einmal jemand mit den Studierenden besprochen? Geschweige denn, geübt?

Ich wiederhole mich gern: Methodisch und methodologisch gut ausgebildete Studierende sind ein Segen.

Sie wissen nicht nur, was sie tun wollen, sondern auch noch, wie sie es in die Tat umsetzen. Zusätzlich sind sie in der Lage, den Methodenteil ihrer Arbeit so zu verfassen, dass er der Sache gerecht wird und gut lesbar ist.

Methoden als Erfahrungsräume

Der Ausdruck „Methoden als Erfahrungsräume“ aus der Überschrift stammt übrigens nicht von mir, sondern von Rolf Arnold und Christiane Stroh. Sie verwenden ihn in einem anderen Kontext in ihrem Buch „Methoden Systemischer Erwachsenenbildung“. Gemeint ist, dass die Methode viel mehr als nur der Weg zum Ziel ist, sondern Erfahrungsräume für diejenigen öffnet, die an ihr teilnehmen (in einem Setting der Erwachsenenbildung). Da das empirische Forschen ja vom Wortsinn her ebenfalls mit Erfahrung zu tun hat (griechisch empeiria, Erfahrung), passt das gut. Je nachdem, welche Methode jemand in seinem Forschungsprojekt verwendet, öffnet er den einen oder den anderen Erfahrungsraum. Die Person wird mit Methode A andere bzw. andersartige Ergebnisse herausbekommen als mit Methode B. Daher ist das Wissen um die Vor- und Nachteile der Methoden und deren Aussagekraft so wichtig.

Inwiefern sind Sie bei Ihrer Arbeit mit den Studierenden mit Methodenfragen konfrontiert?

Immer auf dem Laufenden bleiben?

Melden Sie sich für den Newsletter an! Sie werden benachrichtigt, wenn ein neuer Beitrag auf dem Blog erscheint, und können auch ein wenig hinter die Kulissen blicken.

Haltungsschäden

Andrea Klein2 Comments

Welche Haltungsschäden haben Ihre Studierenden so?

Das geht Sie nichts an, meinen Sie?

Ok, natürlich meine ich damit keine körperlichen Schäden. Ich meine vielmehr die Haltung, die die Studierenden an den Tag legen, wenn sie wissenschaftlich arbeiten.

Eine forschende Haltung einnehmen

Unter einer Haltung wird gemeinhin eine tief verwurzelte Einstellung verstanden, die das Denken und Handeln prägt. Für sinnvolles wissenschaftliches Arbeiten – das ist hoffentlich unstrittig – ist das Einnehmen einer forschenden Haltung förderlich. Das bedeutet, dass die Studierenden etwas erkunden sollen und nach neuen Erkenntnissen suchen.

Und hier beginnt auch schon gleich das Problem. Wenn Sie zu Ihren Studierenden sagen, dass diese einen Sachverhalt erkunden sollen, ist das missverständlich und wird daher leider oft auch tatsächlich missverstanden. „Erkunden“ kann (auch) verstanden werden als das Zusammenstellen von bereits vorhandenen Inhalten. Diese sind für die Studierenden zwar subjektiv neu. Aber aus der Perspektive der Wissenschaft handelt es sich um Altbekanntes, das in etwa so spannend ist wie eine abgemalte Landkarte. Die Studierenden fühlen sich derweil wie ein Mensch, der als Erster ein unbekanntes Stück Land betritt und es kartographiert.

Forschen bedeutet, sich um neue wissenschaftliche Erkenntnisse zu bemühen, so steht es im Duden. Ich halte das Wort „bemühen“ hier für ausschlaggebend. Wer sich bemüht, bekommt am Ende vielleicht, aber auch nur vielleicht, ein Ergebnis heraus. In anderen Kontexten bereitet das Probleme und wird als Scheitern gewertet („er war stets bemüht“), im Forschungsprozess ist es jedoch ziemlich normal. Es mag also sein, dass am Ende des Forschens viele neue Fragen aufgetaucht sind, während die Ausgangsfrage vielleicht schon gar nicht mehr relevant erscheint. Das Zusammenstellen bekannter Inhalte nimmt im Forschungsprozess wenig Raum ein, außer selbstverständlich beim Aufbereiten des Forschungsstandes.

Die schulische Haltung ablegen

Das Einnehmen einer forschenden Haltung geschieht bei den Studierenden nicht von heute auf morgen. In der gemeinsamen Arbeit ist daher ein langer Atem nötig, um sie ihr schulisches Denken ablegen zu lassen. Das Denken in Fragen muss zunächst eingeübt und im Lauf des Studiums immer wieder aufgefrischt werden.

Um die Studierenden zu einer forschenden Haltung zu führen, ist es unabdingbar, dass die Lehrperson ebenfalls eine forschungsförderliche Haltung einnimmt. Sie muss sowohl in der Lehre als auch in der Beratung von Studierenden Fragen und Uneindeutigkeit den Vorrang geben vor vermeintlich sicheren Erkenntnissen. Denkt man diesen Gedanken zu Ende, ist auch in Prüfungssituationen verstärkt auf die Fragen zu achten, die Studierende stellen, als auf reproduziertes Wissen.

Weiterführende Links

Zwei Artikel über Lehrveranstaltungen zum empirischen Forschen: „Empirisch forschen 101“ http://www.wissenschaftliches-arbeiten-lehren.de/empirisch-forschen-101/ und „Empirisch forschen revisited“ http://www.wissenschaftliches-arbeiten-lehren.de/empirisch-forschen-revisited/

Ein Artikel über die Ausgestaltung von Fragestellung bzw. Forschungsfragen: „Fragen über Fragen“: http://www.wissenschaftliches-arbeiten-lehren.de/fragen-ueber-fragen/

Die Rezension des Sammelbandes „Forschendes Lernen“ von Mieg und Lehmann (Hrsg.)

http://www.wissenschaftliches-arbeiten-lehren.de/mieg-lehmann-erneuerung-durch-forschendes-lernen/

 

 

Immer auf dem Laufenden bleiben?

Melden Sie sich für den Newsletter an! Sie werden benachrichtigt, wenn ein neuer Beitrag auf dem Blog erscheint, und können auch ein wenig hinter die Kulissen blicken.

„Empirisch forschen“ revisited

Andrea KleinNo Comments

Gehen Sie manchmal schwimmen?

Im Schwimmbad oder in freier Natur?

Kennen Sie eigentlich die Baderegeln? Oder ist der Erwerb des Seepferdchens bei Ihnen dann doch schon zu lange her?

Vor geraumer Zeit hatte ich einmal darüber geschrieben, wie ich Empirisches Forschen im Studiengang BWL unterrichte – nämlich sehr anwendungsorientiert, indem ich mit den Studierenden eintauche ins praktische Tun. Schwimmen statt Trockenschwimmen.

Mittlerweile habe ich eine neue Variante im Repertoire. In einem anderen Studiengang nutzen wir neuerdings ein Konzept mit zwei Lernwegen. Einige Kleingruppen führen wie gehabt ein Mini-(Mini-Mini-) Forschungsprojekt in zwölf Unterrichtseinheiten tatsächlich durch, andere Kleingruppen erstellen ein Konzept. Das bedeutet, dass diese Studierenden ihr Forschungsprojekt „nur“ planen.

Die „Durchführungs-Gruppen“ packen die Badesachen und gehen schwimmen.

Die „Konzept-Gruppen“ betrachten die Frage, wo man denn als Schwimmanfänger überhaupt schwimmen sollte (besser im Schwimmbad in A-Stadt oder im Schwimmbad in B-Dorf oder vielleicht doch am bewachten Badestrand) und wo man es lieber erst einmal noch bleiben lässt (am einsamen Flussufer). Sie planen den Ausflug ans Wasser, fahren aber nicht los.

Das ist ja einfach!

Ist das nicht ziemlich unfair? Beim Schwimmen würde man die bemitleiden, die nur planen und nicht losziehen dürfen. Beim wissenschaftlichen Arbeiten ist es umgekehrt. Die einen müssen wirklich „im Feld“ empirisch ran und führen beispielsweise eine kleine Befragung durch, die sie selbstverständlich erst einmal vorbereiten und danach auch noch auswerten müssen. Und die anderen Gruppen machen – nichts? Also zumindest gefühlt nichts. Sie dürfen sich hinsetzen, ein bisschen brainstormen und am Ende zusammenschreiben, was sie sich überlegt haben? Klingt gemütlich.

Ganz so einfach ist es dann doch nicht. Die „Konzept-Gruppen“ befassen sich mit dem Ziel, der theoretischen Fundierung, den Forschungsfragen und dem Aufbau des Projekts sowie nicht zuletzt mit einem ungefähren Kosten- und Zeitplan. Als groben Orientierungsrahmen gebe ich hier die eigene Bachelorarbeit vor, damit nicht aus Spaß an der Freude Millionenprojekte geplant werden. Davon hätte ja schließlich niemand etwas.

Die „Konzept-Gruppen“ gehen dabei natürlich mehr in die Tiefe als die „Durchführungs-Gruppen“, die aber selbstverständlich auch ein Ziel und Forschungsfragen brauchen und sich Gedanken machen müssen, was umsetzbar ist. Nur eben aus einer viel pragmatischeren Perspektive mit der Umsetzung in wenigen Tagen.

Die „Durchführungs-Gruppen“ arbeiten wie in „Empirisch forschen 101“ beschrieben, allerdings thematisch ausgerichtet auf sozialpädagogische Themen und nicht auf die BWL bezogen. Zudem verfügen sie über sehr nützliches Wissen aus der vorgelagerten Lehrveranstaltung „Grundlagen (sozialpädagogischer) Forschung“. Das ist eine hervorragende Basis. Dazu weiter unten mehr.

Was soll das?

Ähnlich wie in der gleichen Veranstaltung im BWL-Studiengang lernen die Gruppen voneinander – hier nun aber in mehrerlei Hinsicht. Weiterhin findet Trial and Error im eigenen Projekt statt. Das Beobachtungslernen weist nun zwei Ebenen auf: erstens Lernen von den entsprechenden Nachbargruppen („Durchführungs-Gruppen“ von „Durchführungs-Gruppen“) und zweitens Lernen von jenen Gruppen, die den anderen Weg beschritten haben („Durchführungs-Gruppen“ von „Konzept-Gruppen“ und umgekehrt)

Durch die kurzen Resümee-Statements am Ende jedes Termins erfahren alle von den aktuellen Herausforderungen der anderen Gruppen. Sie sehen, welche Fragen die anderen Gruppen umtreiben, und wie diese damit umgehen.

Zum Abschluss der Lehrveranstaltung wird präsentiert und ausführlich reflektiert. Der Fokus liegt hier nicht auf hehren wissenschaftlichen Erkenntnissen, sondern auf dem Nachvollziehen des Forschungsprozesses, der Entscheidungen und deren Auswirkungen.

Sehr hilfreich ist…

Was mir bei all dem sehr zugutekommt: Die Studierenden haben im zweiten Semester eine Veranstaltung namens „Grundlagen (sozialpädagogischer) Forschung“ und kennen daher die wichtigsten Ansätze in ihrem Feld (Praxisforschung, Agencyforschung, Evaluationsforschung etc.). Sie wurden sogar darüber geprüft und erfahren nun einen schönen, durchaus erwünschten Nebeneffekt: „Oh, das ganze Zeug ist ja wirklich für irgendwas gut…“.

Learnings

Aus Sicht der Lehrenden ist das eine sehr, sehr hilfreiche Erweiterung des bestehenden Formats. Ich ziehe ein positives erstes Fazit. Wirklich wissen kann ich es sowieso erst nach den Bachelorarbeiten. Fest steht jedoch: Die Gruppen haben in der Veranstaltung sehr gut gearbeitet und viel voneinander gelernt. Am Ende gab es sogar vereinzelte Stimmen, dass die Zeit gern hätte länger sein dürfen.

Für die Studierenden war die Veranstaltung eine Zumutung (rückblickend jedoch eine positive)! Gerade zu Beginn lässt sich aus Studierendenperspektive schwer abschätzen, worauf das alles hinauslaufen soll und was eigentlich die Erwartungshaltung an ihre Ergebnisse ist. Das hängt damit zusammen, dass die Veranstaltung ja gerade dazu dienen soll, den Studierenden eine realistischere Einschätzung von Forschungsvorhaben zu ermöglichen. Also ahnen sie vorab nur, welche Art und welcher Umfang angemessen ist.

Meine allerbeste Erfahrung will ich zum Abschluss des Beitrags auch noch mit Ihnen teilen.

Denn es war einfach zu schön! Nach der letzten Seminarsitzung kam ein Studierender ungefähr mit den Worten „Ich habe mir da mal was ausgedacht, haben Sie einen Moment für mich?“ auf mich zu. Wer mich kennt, weiß, dass ich für so etwas immer einen Moment Zeit habe. Es stellte sich im Gespräch heraus, dass der Studierende bereits eine Serie von aufeinander aufbauenden Arbeiten bis hin zur Masterarbeit entworfen hatte. So will (und ich bin mir sicher: so wird) er sich multiperspektivisch und multimethodisch mit seinem Thema befassen. Wer weiß, ob ihm das ohne die Lehrveranstaltung „Empirisch forschen“ in den Sinn gekommen wäre. Bei Gelegenheit frage ich ihn einmal.

Wenn Sie das Konzept an Ihrer Hochschule implementieren wollen

ist es notwendig, dass

  • die Studierenden die Grundlagen des wissenschaftlichen Arbeitens (im Sinne von „Ziel und Zweck“ des wissenschaftlichen Arbeitens) bereits in den Vorsemestern kennengelernt und verinnerlicht haben
  •  die Studierenden relevante Forschungsansätze in ihrem Feld kennen

ist es optimal, wenn

  • die Gruppe nicht mehr als 40, besser 30 Personen umfasst
  • wenn Sie als Lehrperson ein gemeinsames Oberthema für alle Gruppen vorgeben
  • wenn die 12 UE in 6×2 UE aufgeteilt sind, die zeitlich nicht zu weit auseinander liegen
  • wenn Sie Basisliteratur zu einzelnen Methoden zur Verfügung stellen können, so dass sich die Studierenden schnell einen Überblick erarbeiten können.

Los geht’s, Sie können Ihre Bademeister-Karriere nun starten!

Danner-Schröder/Müller-Seitz: Qualitativ hochwertig

Andrea KleinNo Comments

Danner-Schröder, Anja und Gordon Müller-Seitz (2017): Qualitative Methoden in der Organisations- und Managementforschung. Ein anwendungsorientierter Leitfaden für Datensammlung und -analyse. München: Vahlen.

Preis: 14,90 Euro

 

Überblick über den Inhalt:

1. Möglichkeiten und Herausforderungen qualitativer Methoden der Organisations- und Managementforschung

1.1 Problemstellung – Herausforderungen qualitativer Methoden der Organisations- und Managementforschung und Konsequenzen für diesen Leitfaden

1.2 Wie der Leitfaden zu nutzen ist

2. Fallauswahl sowie Ein- und Abgrenzung

2.1 Überblick

2.2 Forschungslücken identifizieren und Forschungsfragen ableiten

2.3 Fallauswahlstrategien

2.4 Empirische Rahmenbedingungen

3. Datensammlung

3.1 Überblick

3.2 Vorbereitende Maßnahmen und Überlegungen

3.2.1 Ethische und politische Erwägungen

3.2.2 Feldzugang herstellen

3.2.3 Gütekriterien

3.3 Interviews führen

3.3.1 Formen von Interviews

3.3.2 Entwicklung eines Interviewleitfadens

3.3.3 Hinweise, was es zu berücksichtigen und zu vermeiden gilt

3.4 (Teilnehmend) beobachten

3.4.1 Formen der Beobachtung und verschiedene Beobachtungsdimensionen

3.4.2 Das Protokollieren der erfassten Daten

3.4.3 Hinweise, was es zu berücksichtigen und zu vermeiden gilt

3.5 Dokumente und Artefakte erfassen

4. Ausgewählte Datenanalyseformen

4.1 Überblick

4.2 Sichten und sortieren der Daten

4.3 Daten kodieren und kategorisieren

5. Daten für Ergebnisdarstellungen aufbereiten

5.1 Überblick

5.2 Auswertungsprozess darstellen

5.3 Ergebnisse durch Abbildungen unterstützen

6. Fazit

Danner-Schröder/Müller-Seitz: Qualitativ hochwertig

Vorab: Das Buch erfüllt seinen eigenen Anspruch aus dem Untertitel sehr gut, es ist tatsächlich eine „anwendungsorientierte, methodische Arbeitshilfe für Seminar- und Abschlussarbeiten“. Das unterscheidet es von den meisten (allen?) deutschsprachigen Werken zu Methodenfragen. Es ist das Buch, das im Regal mit der Methodenliteratur noch fehlte.

Auf 112 Seiten geht es von der Fallauswahl über die Datensammlung und die Datenaufbereitung bis hin zur Ergebnisdarstellung. Der Schwerpunkt des Buches liegt eindeutig bei der Datensammlung.

Zwei durchgängige Beispiele aus Danner-Schröders und Müller-Seitz‘ eigener Forschung veranschaulichen die theoretisch-methodischen Inhalte. Das ist zum einen ein Projekt der Autorin („Routinen im Katastrophenmanagement“), zum anderen ein Projekt des Autors („Umgang mit Unsicherheit“). Bei beiden Projekten handelt es sich um „echte Forschung“, nicht um Lehrprojekte.

Als Leserin erhalte ich einen detaillierten Einblick in den Ablauf von A bis Z, die Unwägbarkeiten und die zu treffenden Entscheidungen. Die Schilderungen sind dabei sehr offen, so dass noch unerfahrene Leser direkt sehen können, dass eben nicht immer alles nach Schema F wie aus dem Lehrbuch abläuft. Es werden auch Aspekte thematisiert, die sonst eher ausgeklammert werden, etwa so alltägliche (und gleichzeitig allesentscheidende!) Probleme wie der Zugang zum Feld (S. 36 f.). Weiterhin fand ich sehr wichtig, dass die ethische Dimension bei Befragungen und Beobachtungen angerissen wird (S. 26 ff.), und auch die Subjektivität qualitativer Methoden offengelegt wird. Letzteres wird zum Beispiel an der Frage deutlich, wie man denn ein Ende für seine Datenerhebung findet („Das Gefühl, dass Sie das alles schon einmal gesehen oder gehört haben, ist meist ein guter Indikator, dass Sie genügend Daten gesammelt haben“ (S. 69) – danke, dass es einfach mal jemand so offen schreibt!). Für hilfreich halte ich auch die Anregungen, wie man die Ergebnisse für die Darstellung aufbereitet (S. 98 ff.). Das kommt in vergleichbaren Werken oft zu kurz.

Zielgenau verfasst

Das Buch ist sehr gut lesbar, einfach und verständlich ausgedrückt, so dass nicht die Sprache unnötig den Zugang zu den Inhalten erschwert. Ich finde, man merkt dem Buch an, dass es „vom Leser her gedacht“ ist. Didaktisch sinnvoll der Aufbau: „Ausgewählte Lernziele“ stehen zu Beginn jedes Kapitels, es wurden viele Übungen und Beispiele integriert, und am Ende eines Kapitels finden sich oft so genannte „Anregungen aus der Literatur“. Dabei handelt es sich um Hinweise auf fremde Studien, die in Hinblick auf eine gute Nachvollziehbarkeit ausgewählt wurden. Zu guter Letzt erleichtert ein Glossar das Nachschlagen der Fachbegriffe.

Ausbaufähig an zwei Stellen

Aus meiner Sicht weist das Buch zwei kleinere Schwachstellen auf:

Erstens kommt die Transkription etwas kurz (S. 52 f.). Vor allem über den (oft unterschätzten!) Zeitaufwand finden die Leser keine Angaben und leider auch keine Hinweise auf weiterführende Literatur. Gerade bei zeitlich eng abgesteckten Arbeiten wie eben Seminar- oder Bachelorarbeiten sollten die Studierenden einen Anhaltspunkt dafür bekommen, was machbar ist, um sich notfalls auch gegen die Vorstellungen ihrer Betreuungsperson abgrenzen zu können.

Zweitens wären bei den Studierenden Lösungen oder zumindest Lösungsansätze für die vielen Übungsaufgaben und Reflexionen bestimmt gern gesehen. Hier tappen die Leser im Dunkeln, ob ihre Gedanken denn in eine sinnvolle Richtung gehen.

Welchen Studierenden kann man das Buch empfehlen?

Die Zielgruppe des Buches sind Studierende der Wirtschaftswissenschaften und anderer Fachbereiche, insbesondere der Sozialwissenschaften, die für Seminar- oder Abschlussarbeiten qualitative Methoden einsetzen. Das bedeutet, dass die Entscheidung für die qualitativen Methoden bereits gefallen ist. Denn über die Abwägung „quantitativ vs. qualitativ vs. kombinierter Einsatz“ findet man im Buch keine Informationen oder Entscheidungshilfen – was auch nicht nötig ist, dazu gibt es andere Ratgeber.

Was bringt es für den Einsatz in der Lehre?

In der Lehre sind die vielen Beispiele und Übungsaufgaben sicher hilfreich. Bei der nächsten passenden Gelegenheit werde ich es testen.

 

Herzlichen Dank an den Verlag für das Rezensionsexemplar!

 

Verwandte Themen

„Empirisch forschen 101“

 

Die Qual der Wahl bei Online-Umfragetools – was raten Sie Ihren Studierenden?

Andrea Klein5 Comments

letzte Aktualisierung: 26. Juli 2023

 

Kommt ein Studierender in die Sprechstunde: „Welches Tool können Sie mir denn für Umfragen in meiner Abschlussarbeit empfehlen?“

Wohl denen, deren Hochschule Lizenzen für ein bestimmtes Umfrage-Tool zur Verfügung stellt! Denn dann ist die Empfehlung klar. Die Studierenden sollten in dem Fall natürlich mit genau dieser Software arbeiten. Sie erhalten bei Fragen leicht und unkompliziert Unterstützung aus dem direkten Umfeld. Sei es über Mitstudierende, die sich bereits auskennen, sei es über das Rechenzentrum. Vor allem wenn die Studierenden im Umgang mit größeren Datenmengen noch unerfahren sind, ist das Gold wert.

Was aber, wenn die Hochschule keine Lizenzen anbietet? Gerade an jüngeren oder kleineren Hochschulen oder an solchen, bei denen quantitative Methoden eher unüblich sind, stehen die Studierenden mit großen Fragezeichen in den Augen in Ihrer Sprechstunde.

Das Angebot an Online-Tools für Umfragen ist zwar groß, aber dennoch gut zu überschauen. Dazu müssen Sie sich nur im Vorfeld die richtigen Fragen stellen. Zum einen gelten natürlich die generellen Kriterien für die Software-Auswahl (-> Downloads; Checkliste), zum anderen kommen einige für Umfrage-Tools spezifische Aspekte hinzu.

Mein Fokus liegt in diesem Beitrag auf kostenlos verfügbaren Tools, um den studentischen Geldbeutel nicht zu belasten. Die genannten Tools können Sie also empfehlen, ohne dass Ihren Studierenden Kosten entstehen.

Hauptauswahlkriterium: Zahl der Befragten

Die Preismodelle der Online-Umfrage-Tools sind anders gestaltet als die der sonstigen Freemium-Programme, die normalerweise in ihren kostenlosen Konten einfach weniger Funktionen freischalten als in der Premiumvariante. Bei den Freemium-Befragungstools richten sich die Bezahlgrenzen jedoch in den meisten Fällen nach der Anzahl der Befragten (»kostenlos bis 100 Befragte« oder auch »kostenlos bis 25 Befragte pro Monat«). Achtung: Manchmal ist die Anzahl der ausgefüllten Fragen maßgeblich (»kostenlos bis 4.000 Fragen«, also beispielsweise 400 Bögen mit 10 Fragen oder 100 Bögen mit 40 Fragen). Ihre Studierenden sollten also genau lesen, bevor sie sich für ein Programm entscheiden. Die uninformierte oder unbedachte Wahl eines Programms könnte den Fortschritt der studentischen Arbeit verzögern, verteuern oder im schlimmsten Fall sogar unmöglich machen.

Welche Kriterien sind noch wichtig bei der Auswahl von Online-Umfrage-Tools?

Für Hinweise auf die folgenden Aspekte sind Ihre Studierenden wahrscheinlich dankbar:

  • Anonymität und Datensicherheit

Achten Sie darauf, über welche Server die Daten laufen. Gerade online eröffnen sich viele Möglichkeiten, die Antworten auf eine bestimmte Person zurückzuführen, was Befragte üblicherweise nicht sehr schätzen. Besondere Vorsicht ist dort geboten, wo IP-Adressen protokolliert oder Kontaktdaten abgefragt werden. Entsteht die Arbeit des Studierenden im Zusammenhang mit einem Unternehmen, ist hier erhöhte Aufmerksamkeit nötig.

  • Arbeit in der Gruppe

Erlaubt das Tool den Zugriff mehrerer Personen auf eine Umfrage, so dass Gruppen gemeinsam arbeiten können? Einige Tools haben diese Funktion bei den kostenlosen Konten eingeschränkt.

  • Methodische Gestaltungsoptionen

Hier geht es um die zur Verfügung stehenden Frage- und Antworttypen. Wie soll gefragt werden, welche Antworten und Skalen sollen zur Auswahl stehen, wie die Daten anschließend ausgewertet werden? Ist es erforderlich, dass Bilder, Videos oder Audiodateien in die Befragung integriert werden? Das erlauben nicht alle kostenfreien Versionen.

  • Schnittstellen beim Datenexport

Welche Dateiformate bietet das Tool? Wie können Ihre Studierenden mit den Daten weiterarbeiten? Der Export nach Excel oder SPSS ist in den meisten Programmen vorgesehen, aber eben nicht in allen.

Zwei Anbieter, die unterschiedlicher nicht sein könnten

Aus den vielen, vielen Anbietern habe ich in meinem Buch elf geeignet erscheinende für die Fact Sheets ausgewählt und drei davon im Text näher besprochen. Wiederum zwei davon möchte Ihnen hier kurz zeigen.

Das eine Ende der Skala: Google Forms

Eine der sehr leicht zugänglichen Optionen ist Google Forms mit einigen wenigen Frage- und Antwort-Typen. Damit lassen sich schnell kleinere und unkomplizierte Befragungen aufsetzen. Beim Erstellen des Fragebogens können mehrere Personen gleichzeitig an einem Dokument arbeiten. Sobald der Link zur Umfrage verschickt ist und Antworten eintreffen, generiert Google automatisch erste Auswertungen und Grafiken.

Das mag alles schön und gut sein, für anspruchsvollere Befragungen eignen sich die Google Forms jedoch auf keinen Fall – von der Datensicherheit ganz zu schweigen. Meine Studierenden schlagen von sich aus gern Google Forms vor, weil sie mit Google vertraut sind. Ich rate meistens ab.

Das andere Ende der Skala: SoSci Survey

Bedeutend umfangreichere Funktionen als einfache Formulare bieten spezielle Online-Befragungs-Dienstleister. Hier kann man zwischen deutlich mehr Frage- und Antworttypen wählen und auch Filter setzen, also Sprünge zwischen Fragen einbauen, die von der Antwort auf die vorhergehende Frage abhängen.

SoSci Survey ist für wissenschaftliche, nicht-kommerzielle Befragungen kostenlos und ohne jede Einschränkung zu nutzen. Bis zu 5.000 (!) ausgefüllte Fragebögen sind hier möglich. Seinen Ursprung hat SoSci Survey übrigens am Institut für Kommunikationswissenschaft der Universität München. Ein Pluspunkt ist unter Sicherheitsaspekten die Nutzung deutscher Server.

Die Oberfläche erscheint vielen Studierenden zunächst weniger handlich, das ist leider nicht wegzudiskutieren. Eine gewisse Einarbeitung in die vielen Möglichkeiten der Software ist nötig. Für Arbeiten mit Unternehmensbezug (wie etwa an Berufsakademien oder Fachhochschulen) erhebt SoSci Survey eine Gebühr zwischen 49 und 699 Euro, die sich nach dem Umfang der Befragung richtet.

Weitere ausgewählte Anbieter von Umfrage-Tools

Die restlichen Anbieter aus meinen Fact Sheets habe ich Ihnen hier aufgelistet:

LamaPoll: https://www.lamapoll.de

LimeSurvey: https://www.limesurvey.org/de/

Onlineumfragen: http://onlineumfragen.com/

Q-Set: http://www.q-set.de/

QuestionPro: https://www.questionpro.de/

Questionstar: https://www.questionstar.de/

SurveyMonkey: https://de.surveymonkey.com/

Umfrage Online: https://www.umfrageonline.com

UniPark: http://www.unipark.com/de/umfragesoftware/

In Hinblick auf die kostenlos verfügbare Anzahl an Befragten sind LamaPoll und Q-Set hervorzuheben. Studierende haben hier drei Monate bis 500 Befragte (LamaPoll) bzw. 4.000 beantwortete Fragen (Q-Set) frei (Stand Ende Juli 2023).

Was raten Sie Ihren Studierenden, wenn Sie nach Online-Umfragetools gefragt werden?

 

Neu erschienen:

„Wissenschaftliche Arbeiten schreiben“ (2023, 3. Auflage)

Cover Andrea Klein 2023 Wissenschaftliche Arbeiten schreiben

 

Immer auf dem Laufenden bleiben?

Melden Sie sich für den Newsletter an! Sie werden benachrichtigt, wenn ein neuer Beitrag auf dem Blog erscheint, und können auch ein wenig hinter die Kulissen blicken.

Empirisch forschen 101

Andrea Klein2 Comments

Ist es möglich, die Grundlagen des empirischen Forschens in zwölf Unterrichtseinheiten zu lehren?

Ja, das geht. Auf einem sehr grundlegenden Niveau geht das. Manche nennen das Niveau niedrig. Trotzdem stehe ich voll und ganz hinter dieser Art von Veranstaltung. Aktuell lehre ich das so im dritten Semester eines Bachelor-Studiengangs.

Wie läuft das ab?

Ab ins kalte Wasser

Zu Beginn des Semesters führe ich die Studierenden in die Grundlagen des empirischen Forschens ein. Das geschieht in Form eines Vortrags von etwa 30 Minuten Länge. Danach geht es dann auch schon los mit der Umsetzung. Ich werfe die Studierenden also ins kalte Wasser. (An den verwendeten Bildern können Sie erkennen, zu welcher Jahreszeit dieser Beitrag geschrieben wurde ;-)) Oder, um es treffender zu sagen, wir stürzen uns gemeinsam in die eiskalten Fluten. Denn wir haben alle keine Ahnung, welche Untiefen und Stromschnellen uns unterwegs erwarten.

Die Studierenden finden sich zu viert oder fünft zusammen und suchen gemeinsam ein interessantes Thema, das innerhalb ihres Studienfaches verortet ist. Da diese Studierenden in ihrem BWL-Studium zwischen fast einem Dutzend Vertiefungsrichtungen wählen können, sind ziemlich alle Branchen und Funktionen durch die Themen abgedeckt. Da heißt es dann gedanklich flexibel bleiben… Ich ermuntere die Studierenden, ein Thema zu nehmen, beim dem sie bereits über Vorkenntnisse verfügen. Das ist zu Beginn des dritten Semesters gar nicht so einfach, immerhin studieren sie ja erst seit einem Jahr. Am Ende steht aber meist zumindest einmal die grobe Richtung fest. Oder anders gesagt, die Gruppen klammern sich an den vermeintlich rettenden Strohhalm.

Bei den nächsten Terminen widmen wir uns den konkreten Forschungsfragen, den Hypothesen und der Methodenwahl. Nicht selten werden dann die Themenvorschläge aus der ersten Sitzung doch für unbrauchbar befunden, und die Suche nach einem neuen Thema beginnt. Solange das gut bearbeitbar ist, soll es für mich in Ordnung sein. Manchmal trauere ich den ersten Varianten etwas hinterher; manchmal bin ich froh darüber, dass doch noch etwas Besseres nachkam.

Der Plan für die Datenerhebung ist als nächstes an der Reihe, danach kommen die tatsächliche Durchführung der Befragung (oder Beobachtung usw.), die Datenerfassung und -auswertung, und ganz am Ende stehen natürlich die Abschlusspräsentationen. Diese werden gefolgt von einer Reflexion über das Gelernte und über die Schlüsse, die die Studierenden daraus ziehen.

Die einzelnen Schwimmstunden a.k.a. Vorlesungstermine

Bis auf den letzten Termin mit den Präsentationen laufen die einzelnen Veranstaltungen relativ ähnlich ab. Zu Beginn gibt es ein Status-Update: An welchem Punkt befinden sich die einzelnen Gruppen gerade? Hat sich seit dem letzten Termin etwas Neues ergeben? Was sind konkret die nächsten Schritte am heutigen Tag?

Wenn nötig, gebe ich kurz theoretischen Input zu den anstehenden Arbeiten oder beantworte aufgelaufene Fragen. Vieles lässt sich jedoch auch im Foliensatz nachschlagen, den die Studierenden zu diesem Zeitpunkt schon erhalten haben.

Es schließt sich die Erarbeitungsphase in den Kleingruppen an. Die meisten Fragen ergeben sich genau dann, während der Diskussionen in den Gruppen. Manche kommen nicht weiter, weil ihnen ein kleiner Impuls fehlt oder weil sie sich innerhalb der Gruppe nicht auf ein Vorgehen einigen können und gern eine Meinung von außen hätten. (Zu diesem Zeitpunkt wäre es fantastisch, wenn nicht nur einer, sondern mehrere Lehrende anwesend wären, denn meistens wollen viele Gruppen gleichzeitig etwas, und Stillstand ist bei der knapp bemessenen Zeit natürlich extrem unerwünscht.)

Gegen Ende jedes Termins, nach Abschluss der Erarbeitungsphase, ziehen wir kurz im Plenum Resümee. Das dauert nicht länger als ein bis zwei Minuten pro Gruppe.

Warum lehre ich das alles so und nicht anders?

Schon oft musste ich diesen Ansatz gegen Kritiker verteidigen. Deren Argumente liegen auf der Hand: „Was in diesen 12 Unterrichtseinheiten gemacht wird, bleibt aufgrund der Kürze der Zeit an der Oberfläche. Eine wirkliche Auseinandersetzung mit empirischen Forschungsmethoden ist in diesem Format nicht möglich.“

Mein Standpunkt ist ein anderer: Würde ich die gleichen Inhalte in Form einer klassischen Vorlesung gestalten, könnte ich zwar deutlich mehr in die Tiefe gehen. Allerdings glaube ich nicht, dass das gleichbedeutend ist mit einer tiefen Auseinandersetzung.

(Es gibt übrigens auch andere Lehrende, die ähnlich lehren.)

Durch eine detailreichere Beschäftigung mit der Materie kennen die Studierenden zwar mehr Details – wenn sie sie denn behalten. Aber: Wenn wir über empirisches Forschen nur sprechen, also quasi trockenschwimmen, fehlt die eigene Erfahrung. Zumal dann ja meistens nur einer spricht, nämlich der Lehrende. Erstens, weil er über das Know-How verfügt, und zweitens, weil nur er die entsprechenden Erfahrungen mitbringt.

Erfahrung überträgt sich nicht durch das Darüber-Sprechen (Ich sage nur: Kind und Herdplatte). Nur indem die Studierenden selbst nachdenken und selbst etwas tun dürfen, haben sie die Möglichkeit, Fehler zu machen, die Fehler als solche zu erkennen und diese im nächsten Anlauf zu korrigieren.

Einige Studierende starten auch mit der naiven Vorannahme, dass man so eine Erhebung doch mal schnell nebenbei durchführen könne. Sie sehen dann, dass genau das nicht der Fall ist. Sie lernen – teilweise auf die harte Art –, dass sie untergehen, wenn sie die Zeit zu knapp kalkulieren.

Die Studierenden können nach Abschluss der Lehrveranstaltung auf viele Erfahrungen zurückgreifen. Sie erinnern sich daran,

  • dass gut formulierte Forschungsfragen und Hypothesen alle weiteren Arbeiten erleichtern
  • welche Formulierungen im Fragebogen schlechte, uneindeutige Antworten bringen
  • wie lange sie gebraucht haben, um vergleichsweise wenige Daten aufzubereiten und auszuwerten
  • dass bei einer verzerrten Auswahl der befragten Personen die Aussagekraft der Ergebnisse leidet
  • was nach der Abschlusspräsentation an ihrem Vorgehen kritisiert und in Frage gestellt wurde.

Ein weiteres Plus

Durch die Aufteilung in Gruppen entsteht eine Bandbreite an Beispielen, nicht nur inhaltlicher, sondern auch methodischer Art. Wenn Gruppe 1 Fehler A nicht begeht, dann ganz sicher Gruppe 2 oder 3… Es kommen immer jede Menge Aspekte zusammen, anhand derer wir gut über die Aussagekraft empirischer Ergebnisse diskutieren können. Für jede Vorgehensweise zur Beantwortung der Forschungsfragen finden sich Pros und Contras. Und schon habe ich die Studierenden da, wo ich sie haben möchte: Sie sollen nachdenken, was mit empirischer Forschung möglich ist und was nicht.

Zusätzlich zu ihren eigenen Erfahrungen profitieren die Studierenden von den Erfahrungen der anderen Gruppen. Sie sehen, was diese anders gemacht haben und ob das zum Ziel geführt hat oder nicht.

Halten wir also fest:

Natürlich bleiben wir mit dieser Methode an der Oberfläche. Dafür schaffen wir Anknüpfungspunkte. Studierende, die später in ihrer Abschlussarbeit etwas Empirisches machen wollen, müssen sich sowieso intensiver mit der Methodenfrage befassen. Sie können das mit einem Vorwissen tun, das sich auf vielfältige Erfahrungen stützt.

Als Lehrende wissen wir zwar zu Beginn nicht, wohin die Reise in den eiskalten Fluten uns führt. Aber wir kennen immerhin die potentiellen Gefahren und die verschiedenen Auswege aus diesen Situationen. Wir stehen in einem solchen Lehrformat mit dem Rettungsring an der Seite und werfen ihn den Studierenden bei Bedarf zu, so dass uns niemand komplett untergeht. Ende der Metapher, Ende des Beitrags.

Was bevorzugen Sie – Trockenschwimmen oder das Bad in den eiskalten Fluten? Gern verlinke ich auch weitere Beispiele.