Evaluation von eLernprozessen: Theorie und Praxis 9783486704747, 9783486592108

Citation preview

Evaluation von eLernprozessen Theorie und Praxis

von

Professor Dr. Horst Otto Mayer und

Professor Dr.Willy Kriz 3., volständig überarbeitete Auflage

OldenbourgVerlag München

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

© 2010 Oldenbourg Wissenschaftsverlag GmbH Rosenheimer Straße 145, D-81671 München Telefon: (089) 45051-0 oldenbourg.de Das Werk einschließlich aller Abbildungen ist urheberrechtlich geschützt. Jede Verwertung außerhalb der Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Bearbeitung in elektronischen Systemen. Lektorat: Kristin Beck Herstellung: Anna Grosser Coverentwurf: Kochan & Partner, München Gedruckt auf säure- und chlorfreiem Papier Gesamtherstellung: Grafik + Druck GmbH, München ISBN 978-3-486-59210-8

Inhalt 1 Einleitung............................................................................................................................11 Theoretische Grundlagen......................................................................................................13 2 Evaluation von eLearning-Produkten/Prozessen...........................................................15 Horst O. Mayer 2.1 Vorbemerkungen...............................................................................................................15 2.2 Zum Begriff Evaluation....................................................................................................16 2.2.1 Definition.......................................................................................................................16 2.2.2 Verschiedene Ebenen der Evaluation ...........................................................................16 2.2.3 Evaluationsformen.........................................................................................................17 2.3 Evaluationsverfahren........................................................................................................18 2.3.1 Vergleichsgruppen.........................................................................................................18 2.3.2 Kriterienkatalog.............................................................................................................19 2.3.3 Expertenbeurteilung.......................................................................................................20 2.3.4 Rezensionen...................................................................................................................20 2.4 Grenzen der Evaluation....................................................................................................21 2.5 Resümee............................................................................................................................21 2.6 Literatur............................................................................................................................22 3 Summative Evaluation von eLearning............................................................................25 Horst O. Mayer 3.1 Vorbemerkungen...............................................................................................................25 3.2 Das Forschungsdesign......................................................................................................25 3.3 Versuchsdurchführung......................................................................................................28 3.4 Subjektive Beurteilung der Lern-CD................................................................................33 3.5 Zusammenfassung............................................................................................................35 3.6 Literatur............................................................................................................................36

6

Inhalt

4 Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele.........39 Jan Ulrich Hense 4.1 Einleitung..........................................................................................................................39 4.2 Was ist formative Evaluation?..........................................................................................40 4.3 Umsetzung formativer Evaluationen von eLearning........................................................41 4.4 Ansatzpunkte der Verbesserung von eLearning durch formative Evaluation...................43 4.4.1 Verbesserung von Konzept, Umsetzung oder Implementierung?.................................44 4.4.2 Verbesserung welcher curricularen Merkmale?............................................................46 4.5 Theoriebezug bei der formativen Evaluation von eLearning...........................................48 4.5.1 Prozessmodelle des eLearning.......................................................................................49 4.5.2 Didaktische Grundposition beim eLearning..................................................................52 4.6 Zwei Beispiele aus der Praxis...........................................................................................54 4.6.1 Formative Evaluation von Digital Learning Games in der Konzeptphase durch kriteriengestützte Expertenanalysen..........................................................................54 4.6.2 Formative Evaluation eines Blended-Learning-Seminars in der Pilotphase durch Lerntagebücher und Teilnehmerbefragungen............................................................56 4.7 Ausblick............................................................................................................................58 4.8 Literatur............................................................................................................................59 5 Evaluation von ePlanspielen und digitalen Lernspielen................................................61 Willy Christian Kriz 5.1 Plan- und Lernspiele.........................................................................................................61 5.1.1 Planspielmethoden und ePlanspiele...............................................................................61 5.1.2 Beispiele für die Verknüpfung von Planspiel und eLearning........................................71 5.1.3 Lernspiele, Serious Games und Game Based eLearning...............................................73 5.2 Evaluation von Planspielen, ePlanspielen und digitalen Lernspielen..............................76 5.2.1 Theoriebasierte Evaluation von Planspielen und die Funktion logischer Modelle.......78 5.2.2 Beispiel: logisches Modell von Simgame ....................................................................80 5.2.3 Defizite der Evaluation von ePlanspielen......................................................................82 5.2.4 Beispiel: Aktuelle Evaluationstrends beim Fernplanspiel MARGA.............................83 5.3 Fazit..................................................................................................................................85 5.4 Literatur............................................................................................................................86 6 Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen..............................97 Wolfgang Hagleitner & Theo Hug 6.1 Einleitung .........................................................................................................................97 6.2 GEM - Ein Generische Evaluations-Modell.....................................................................98 6.2.1 Das Grundkonzept von GEM........................................................................................98

Inhalt

7

6.2.2 Methodentriangulation als Konvergenz- bzw. Komplementaritätsmodell..................100 6.3 Das Grundkonzept von GEM.........................................................................................102 6.3.1 Qualitativer Zugang.....................................................................................................102 6.3.2 Quantitativer Zugang...................................................................................................104 6.3.3 Logfiles .......................................................................................................................106 6.3.4 Die Schnittbereiche......................................................................................................110 6.4 Ausblick..........................................................................................................................111 6.5 Literatur..........................................................................................................................113 Praxisbeispiele......................................................................................................................117 7 eLearning – Qualität und Evaluation von Konzepten in der Praxis...........................119 Peter Littig 7.1 Qualität und Evaluation von eLearning Konzepten aus Sicht eines Anbieters beruflicher Aus- und Weiterbildung...........................................................................................119 7.1.1 eLearning: Aus Erfahrung klug geworden?.................................................................120 7.1.2 Evaluation in der Praxis: ein hochkomplexer Prozess.................................................122 7.1.3 Praxisbeispiele aus dem Arbeitsfeld der DEKRA Akademie......................................127 7.1.4 Conclusio.....................................................................................................................141 7.2 Literatur..........................................................................................................................141 8 Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren ...................143 Stéphanie Gretsch, Jan Hense & Heinz Mandl 8.1 Problemstellung..............................................................................................................143 8.2 Anforderungen an E-Tutoren..........................................................................................144 8.3 Problemorientierte Gestaltung von virtuellen Lernszenarien ........................................145 8.4 Ein Online-Kurs zur professionellen Ausbildung von E-Tutoren..................................147 8.4.1 Zielgruppe....................................................................................................................147 8.4.2 Lernziele......................................................................................................................147 8.4.3 Didaktisches Konzept..................................................................................................148 8.4.4 Aufbau und Ablauf......................................................................................................148 8.5 Evaluation des Online-Kurses zur Ausbildung von E-Tutoren......................................151 8.6 Fragestellungen...............................................................................................................152 8.7 Methode..........................................................................................................................153 8.7.1 Stichprobe....................................................................................................................153 8.7.2 Untersuchungsdesign und Instrumente........................................................................153 8.7.3 Auswertungsverfahren.................................................................................................154 8.8 Ergebnisse der modulspezifischen Evaluation...............................................................155

8

8.8.1 8.8.2 8.8.3 8.8.4 8.8.5

Inhalt

Modul 1 „Aufgaben des E-Tutors“ .............................................................................155 Modul 2 „Mediendidaktische Grundlagen“ ................................................................156 Modul 3 „Individuell Lernende“.................................................................................158 Modul 4 „Lerngruppen“ .............................................................................................159 Modul 5 „Technische Grundlagen“.............................................................................161

8.9 Ergebnisse der abschließenden Gesamtevaluation ........................................................162 8.9.1 Akzeptanz des Kurses und der Gruppenarbeit.............................................................163 8.9.2 Zufriedenheit mit Kursaufbau, Betreuung und Plattform............................................164 8.9.3 Lernerfolg und Nützlichkeit........................................................................................165 8.10 Diskussion und Konsequenzen.....................................................................................166 8.11 Literatur........................................................................................................................168 9 Kontinuierliche Qualitätsentwicklung eines Methodenkurses - Von der Präsenz zur E-Lehre ..................................................................................................................171 Gabi Reinmann, Alexander Florian & Silvia Sippel 9.1 Von der Qualitätssicherung zur Qualitätsentwicklung...................................................171 9.1.1 Evaluation zur Qualitätssicherung...............................................................................171 9.1.2 Evaluation zur Qualitätsentwicklung...........................................................................172 9.2 Fallbeispiel: Kurs zur QuSalitativen Sozialforschung....................................................173 9.2.1 Die Didaktik des Kurses .............................................................................................173 9.2.2 Das Assessment des Kurses.........................................................................................174 9.2.3 Die Entwicklung des Kurses im Überblick.................................................................175 9.3 Zyklen der Qualitätsentwicklung im Fallbeispiel...........................................................176 9.3.1 Entwicklungszyklen in der Blended Learning-Variante..............................................176 9.3.2 Entwicklungszyklus in der eLearning-Variante...........................................................177 9.4 Lehren für die Qualitätsentwicklung aus dem Fallbeispiel............................................179 9.5 Literatur..........................................................................................................................180 10 Evaluation des Projektes „i-literacy“ ..........................................................................183 Hannah Dürnberger, Theresia Meyer & Anna-Maria Schmidt 10.1 Evaluationskontext: i-literacy.......................................................................................183 10.2 Evaluationskonzept.......................................................................................................185 10.3 Ziele der Evaluation......................................................................................................185 10.4 Evaluationsmethoden....................................................................................................186 10.5 Evaluationsergebnisse..................................................................................................189 10.5.1 Nutzungszahlen.........................................................................................................189 10.5.2 Ergebnisse des Usability-Tests..................................................................................191 10.5.3 Ergebnisse der Online-Umfrage und Interviews.......................................................193

Inhalt

9

10.6 Zusammenfassung und Verbesserungsvorschläge........................................................196 10.7 Ausblick und Konzept für eine angebotsbegleitende formative Evaluation.................197 10.8 Literatur........................................................................................................................198 11 Evaluation von Bedienoberflächen für eLearning Applikationen............................201 Guido Kempter 11.1 Einleitung......................................................................................................................201 11.2 Kriterien zur Evaluation von Bedienoberflächen.........................................................202 11.2.1 Konsistenz als Evaluationskriterium.........................................................................202 11.2.2 Kontrolle als Evaluationskriterium............................................................................205 11.3 Verfahren zur Evaluation von Bedienoberflächen........................................................208 11.3.1 Experteninspektion....................................................................................................208 11.3.2 Benutzertests..............................................................................................................211 11.4 Mögliche Widersprüche in den Evaluationsergebnissen..............................................214 11.5 Literatur........................................................................................................................215 12 Einflussfaktoren auf die Nutzung und Akzeptanz von eLearning-Angeboten........221 Christian Kreidl & Ullrich Dittler 12.1 Einleitung und Überblick..............................................................................................221 12.2 Mögliche Einflussfaktoren...........................................................................................222 12.2.1 Didaktische Gestaltung..............................................................................................222 12.2.2 Organisatorische Gestaltung......................................................................................224 12.2.3 Sonstige Faktoren......................................................................................................226 12.3 Darstellung der Untersuchung......................................................................................227 12.3.1 Methodik und Stichprobe..........................................................................................227 12.3.2 Ausgewählte Ergebnisse............................................................................................229 12.3.3 Wie wird das eLearning-Angebot wahrgenommen?.................................................229 12.3.4 Welche Faktoren haben den größten Einfluss?..........................................................230 12.3.5 Wahrnehmung oder Wirklichkeit?.............................................................................232 12.4 Fazit und Zusammenfassung........................................................................................234 12.5 Literatur........................................................................................................................234 13 Die NetGeneration im Studium?..................................................................................237 Oliver Strunk & Ullrich Dittler 13.1 Einleitung......................................................................................................................237 13.2 NetGeneration und Digital Natives..............................................................................238 13.3 Das Lernverhalten der NetGeneration..........................................................................240

10

13.3.1 13.3.2 13.3.3 13.3.4

Inhalt

Zielsetzung der Studie...............................................................................................240 Untersuchungsmethode der Studie............................................................................241 Vorstellung des Fragenbogens und der Fragenkomplexe..........................................242 Organisation und Durchführung der Studie...............................................................243

13.4 Ergebnisse der Studie ..................................................................................................244 13.5 Fazit .............................................................................................................................251 13.5.1 Ist eine NetGeneration an der Hochschule angekommen?........................................251 13.5.2 Wie schätzen Studierende die studienbezogene Integration Neuer Medien ein?......252 13.5.3 Welche Konsequenzen ergeben sich durch das tatsächliche Mediennutzungs- und Lernverhalten Studierender für die Lehr- und Lernunterstützung?.........................252 13.6 Literatur........................................................................................................................253 14 Autorinnen und Autoren der Beiträge.........................................................................255

1

Einleitung

Information und Wissen werden heute immer mehr zur strategischen Ressource. Der industrielle Sektor wurde in seiner Rolle als entscheidender Wertschöpfungsbereich der Gesellschaft vom Informationssektor abgelöst, unsere Gesellschaft ist heute insbesondere von den Entwicklungen im Bereich der Informations- und Kommunikationstechnologie geprägt. Die hohe Bedeutung von Information und Wissen legt es daher nahe, von einer „Informations-“ oder „Wissensgesellschaft“ zu sprechen. Zentrale Aspekte dieser Entwicklung sind der Informations- und Wissenstransfer und damit auch der Bereich Aus- und Weiterbildung. Dabei sollen „Neue Medien“ den vermehrten Ausund Weiterbildungsbedarf unterstützen. Dem Einsatz „Neuer Medien“ in seiner unterschiedlichen Ausprägung kommt daher heute eine immer größere Bedeutung zu. Immer mehr Lernprozesse werden mit unterschiedlich stark interaktiv ausgeprägten eLearningelementen angereichert. Dies gilt sowohl für Hochschulen als auch für Unternehmen. Da neben der Hoffnung einer positiven Auswirkung auf die Lernergebnisse auch erhebliche Kosten verbunden sind, rückt das Interesse an Evaluation als qualitätssichernde bzw. qualitätsfördernde Maßnahme bei der Integration von „Neuen Medien“ in der Aus- und Weiterbildung immer mehr in den Vordergrund. Mit Hilfe der Evaluation soll untersucht werden, wie eLearningmaßnahmen im Rahmen des Informations- und Wissenstransfers wirken. Was ist nun Evaluation, welche Formen von Evaluation gibt es oder wie sieht eine Evaluation in der Praxis aus, das sind einige Fragestellungen, denen in diesem Buch nachgegangen werden soll. Dazu ist das Buch in zwei Teile gegliedert. Ausgehend von theoretischen Vorüberlegungen zur Evaluation von „Neuen Medien“ in der Aus- und Weiterbildung im ersten Teil des Buches, beinhaltet der zweite Teil verschiedene Formen von Praxisberichten. Dabei sollen empirisch fundierte Evaluationsstudien und Erfahrungsberichte aus der Praxis die Bandbreite und die Intensität der Auseinandersetzung mit den Wirkungen von „Neuen Medien“ in der Aus- und Weiterbildung aufzeigen. Unser besonderer Dank gilt Frau Monika Drexel und Frau Katharina Donner für ihre wertvolle Unterstützung bei der redaktionellen Korrektur der Manuskripte und bei der Layouterstellung.

Horst O. Mayer und Willy Kriz

Theoretische Grundlagen

2

Evaluation von eLearningProdukten/Prozessen Horst O. Mayer

2.1

Vorbemerkungen

Die Evaluation von eLearning-Produkten und eLearning-Szenarien dient dazu, anhand verschiedener Kriterien zu untersuchen, ob ein Produkt, ein eLearning-Konzept, ein eLearningKurs etc. für die vorgegebenen Anforderungen geeignet ist bzw. ob die an sie gestellten Anforderungen erfüllt werden. Neben der Überprüfung der Eignung eines eLearning-Angebotes für eine spezifische Anwendung ergibt sich die Notwendigkeit einer Evaluation auch aus dem ständig steigenden Angebot an eLearning-Produkten sowie aus den hohen Entwicklungskosten (vgl. dazu z. B. Mayer u.a. 2005, S. 187). eLearning kann als mit Kommunikations- und Informationstechnologie unterstütztes bzw. ermöglichtes Lernen oder kurz als elektronisch unterstütztes Lernen verstanden werden (vgl. Mayer 2004a, S. 123). Ähnlich die Definition von Issing und Klimsa, die unter eLearning alle Formen von Lernen verstehen, bei denen digitale Medien für die Distribution und Präsentation von Lernmaterialien einschließlich der Unterstützung zwischenmenschlicher Kommunikation in Lernprozessen zum Einsatz kommen (vgl. Issing und Klimsa 2009, S. 14). Man unterscheidet dabei zwischen Offline- (z. B. DVD) bzw. Online-Lernen (Internet). Neben der Förderung der Individualisierung des Lernens durch die zeitliche, örtliche und oft inhaltliche Unabhängigkeit von Lernen ist es die Möglichkeit der multimodalen und multikodalen Kodierung des Lehrstoffes, die eLearning auszeichnet. Als weiterer wichtiger Aspekt des eLearning ist die Möglichkeit der Interaktivität zu nennen. Interaktive Lernprogramme fördern die Auseinandersetzung der Lernenden mit dem Lerninhalt und damit deren aktive Aneignung (vgl. Gudjons 1997, S. 10 sowie Paechter 1997, S. 255). Zur Evaluation von eLearning-Angeboten werden unterschiedliche Verfahren mit ihren jeweiligen spezifischen Vor- und Nachteilen eingesetzt. Dieser Beitrag soll einen Überblick über die Evaluation im eLearning geben und dabei auch auf die Grenzen von Evaluation eingehen.

16

Evaluation von eLearning-Produkten/Prozessen

2.2

Zum Begriff Evaluation

2.2.1

Definition

Nach J. Reischmann wird mit Evaluation im Bildungsbereich „das Erfassen und Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion“ bezeichnet (1995, S. 1). Ähnlich die folgende Definition von Tergan: „Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle. Sie gilt der Beurteilung von Planung, Entwicklung, Gestaltung und Einsatz von Bildungsangeboten bzw. einzelnen Maßnahmen dieser Angebote (Methoden, Medien, Programme, Programmteile) unter dem Aspekt von Aktualität, Funktionalität, Wirkungen, Effizienz und Nutzen.“ (2000, S. 23)

Evaluation im Bildungsbereich bezieht sich auf die Beurteilung und Bewertung von Lernangeboten, Lernprozessen oder entsprechenden Rahmenbedingungen. Es geht hier darum, ob bestimmte Lernziele erreicht oder Standards und Normen erfüllt werden bzw. eine entsprechende Akzeptanz bei den am Lernprozess Beteiligten vorhanden ist (vgl. Tergan 2004 sowie Schenkel u.a. 2000). Allgemeine Aufgaben von Evaluation im Bildungsbereich sind, Schwachstellen bei der Entwicklung oder der Auswahl eines Bildungsangebotes aufzudecken, Planung und Entscheidung beim Einsatz von Bildungsangeboten zu unterstützen sowie Erkenntnisse über Effekte im Vergleich mit anderen Bildungsangeboten zu generieren (vgl. Tergan 2000, S. 24). Für die Evaluation werden Daten systematisch erhoben und ausgewertet, um den Untersuchungsprozess und dessen Ergebnisse nachvollziehbar und überprüfbar zu machen. Die Evaluation selbst erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten und begründeten Soll-Werten.

2.2.2

Verschiedene Ebenen der Evaluation

Kirkpatrick macht vier verschiedene Ebenen der Evaluation aus, denen Schenk und Tergan noch zwei weitere hinzufügen (vgl. Kirkpatrick 1960 sowie Schenk u. Tergan 2004, S. 4). Zusammen sind dies: 1. 2. 3. 4. 5. 6.

Evaluation der Akzeptanz, Evaluation des Lernerfolges, Evaluation des Transfers des Gelernten in das berufliche Handeln, Evaluation der Veränderung betrieblicher Kennzahlen, Return to Investment zur Berücksichtigung der Rentabilität sowie Qualität des Inputs.

Evaluation von eLearning-Produkten/Prozessen

17

Eine hohe Akzeptanz (Ebene 1) ist eine wichtige Voraussetzung für den Lernerfolg (Ebene 2), der wiederum die Voraussetzung für die Transformation des Gelernten in das berufliche Handeln darstellt (Ebene 3). Angewandtes Wissen wirkt sich auf betriebliche Prozesse aus und ist schlussendlich an betrieblichen Kennzahlen ablesbar (Ebene 4). Um die zunehmende Ökonomisierung auch des Bildungswesens zu berücksichtigen, haben Schenkel und Tergan die fünfte Ebene, das Return to Investment eingeführt. Eine sechste Evaluationsebene, Qualität des Inputs, meint z. B. die Beurteilung der Qualität des Lernangebotes durch Experten, als Orientierung für potentielle Anwender (vgl. Schenkel u. Tergan 2004, S. 4 sowie Schenkel, Fischer u. Tergan 2004). Bei der Planung und Durchführung der Evaluation sind auf jeder Ebene unterschiedliche Probleme zu bewältigen. Bei der Beurteilung der Qualität wiederum müssen unterschiedliche Formen und Verfahren angewandt werden (vgl. Schenk u. Tergan 2004, S. 4).

2.2.3

Evaluationsformen

Die Verwendung von Begriffen im Rahmen der Systematisierung verschiedener Evaluationsformen wird sowohl in der Evaluationsforschung als auch in der Evaluationspraxis sehr uneinheitlich gehandhabt. Häufig findet man die Unterscheidung zwischen formativer und summativer, interner und externer, subjektiver und objektiver sowie zwischen quantitativer und qualitativer Evaluation (vgl. Fricke 1997, S. 406, Schenkel u.a. 2000 sowie Kromrey 2001). Die formative Evaluation ist prozessbegleitend (Prozessevaluation), hier wird die Bildungsmaßnahme (eLearning Produkt oder eLearning Szenarien) kontinuierlich während des gesamten Entwicklungsprozesses getestet. Die formative Evaluation zielt auf eine entwicklungsbegleitende Optimierung eines Lernangebotes. Dagegen ist die summative Evaluation eine abschließende Bewertung eines bereits entwickelten Lernangebotes (vgl. Scriven 1972). Es handelt sich hier um eine produktbewertende Evaluation (Produktevaluation). Die Bedeutung der formativen Evaluation ist unbestritten. Es macht z. B. wenig Sinn, ein aufwendiges und teures eLearning-Produkt lediglich abschließend zu beurteilen und dann festzustellen, dass es den Anforderungen nicht oder nur unzureichend entspricht. Im Rahmen dieses Beitrages steht bei den folgenden Evaluationsverfahren die Produktevaluation im Vordergrund. Sehr anschauliche Beispiele zur formativen Evaluation findet man in diesem Buch im Beitrag von Jan Ulrich Hense sowie in Kriz u. Hense 2005. Bei der internen Evaluation (Selbstevaluation) führen die Entwickler die Evaluation selbst durch. Bei der externen Evaluation (Fremdevaluation oder Peer-Review) sind dies Personen außerhalb des Entwicklungsteams (Anwender, Experten, Institutionen etc.). Eine subjektive Evaluation stellt die Beurteilung durch die Anwender dar. Hier werden eher so genannte „weiche“ Daten gewonnen, wie z. B. ob die Benutzung des Systems bequem oder angenehm ist, ob man den Eindruck hat, viel gelernt zu haben, ob die Lernzielüberprüfung hilfreich war etc. Bei objektiven Methoden wird versucht, subjektive Einflüsse weitgehend auszuschalten. Es geht hier um die Gewinnung quantitativer, statistisch abgesicherter

18

Evaluation von eLearning-Produkten/Prozessen

Daten, wie z. B. Ausführungs- und Lernzeiten, Fehlerraten, Testpunkte unter genau kontrollierten Bedingungen. Die Unterscheidung zwischen quantitativer und qualitativer Evaluation bezieht sich auf die Forschungsmethode bzw. auf unterschiedliche Erkenntnistheorien. Bei quantitativen Verfahren stehen statistisch auswertbare Daten z. B. zur Hypothesenüberprüfung im Vordergrund. Bei der qualitativen Evaluation steht die Interpretation von Aussagen bezüglich Meinungen, Einstellungen, Beweggründen etc. sowie deren latente Hintergründe im Zentrum der Aufmerksamkeit. (vgl. dazu z. B. Mayer 2008)

2.3

Evaluationsverfahren

Es können verschiedene Verfahren wie z. B. Vergleichsgruppen, Beurteilung anhand von Kriterienkatalogen und Checklisten, Expertenbeurteilung, Rezensionen, Einstellungsmessung etc. unterschieden werden (vgl. Issing 1997, S. 213 sowie Schenkel u.a. 2000). Davon wollen wir hier die Vergleichsgruppen, den Kriterienkatalog, die Expertenbeurteilung sowie die Rezension etwas näher betrachten.

2.3.1

Vergleichsgruppen

Im Rahmen einer Evaluation gilt es häufig zu untersuchen, ob ein eLearning-Angebot besser oder zumindest gleichgut ist als herkömmliche Lernmethoden. So wird z. B. ein online-Kurs mit einem entsprechenden Präsenzkurs, eine eLearning-CD mit einem Präsenzseminar verglichen etc. Bei solchen experimentellen oder häufig auch quasiexperimentellen Vergleichsuntersuchungen werden mindestens zwei Gruppen (Experimentalgruppe und Kontrollgruppe), z. B. hinsichtlich des Lernerfolges miteinander verglichen (vgl. z. B. Mayer 2003). Eine experimentelle Untersuchung erfordert eine zufällige Zuordnung der Versuchsteilnehmer zur Experimental- bzw. zur Kontrollgruppe (randomisierte Versuchsgruppen) oder eine Parallelisierung (Matching) sowie eine strikte Kontrolle von Störvariablen (vgl. Bortz u. Döring 2002, S. 62). Ziel solcher Untersuchungsdesigns ist es, kausale Zusammenhänge zwischen einer oder mehreren unabhängigen und einer abhängigen Variable unter Konstanthaltung aller übrigen Einflussfaktoren zu finden. Oft stehen jedoch keine randomisierte Versuchsgruppen zur Verfügung und es wurde auch keine Parallelisierung durchgeführt, in diesem Falle spricht man von einem quasiexperimentellen Forschungsdesign. Zur Veranschaulichung der Vorgehensweise bei einer experimentellen Vergleichsuntersuchung soll folgendes Beispiel dienen (vgl. dazu Mayer 2004b, S. 254 ff.): Im Rahmen einer Evaluation einer Lern-CD zum Erlernen praxisorientierter Inhalte wurden die Versuchspersonen hinsichtlich der Lerninhalte der Lern-CD getestet und anschließend drei Gruppen mit gleicher Verteilung der entsprechenden Kenntnisse zugeordnet (Parallelisierung). Eine Gruppe erhielt nur Unterricht mit der Lern-CD, eine zweite Gruppe verwendete die Lern-CD zu-

Evaluation von eLearning-Produkten/Prozessen

19

sätzlich zum Präsenzunterricht (Blended Learning) und die dritte Gruppe (Kontrollgruppe) erhielt herkömmlichen Präsenzunterricht. Abschließend führten alle drei Gruppen einen Test zu theoretischen Inhalten und zu praxisorientierten Inhalten durch. Mit den Testergebnissen wurden dann verschiedene statistische Rechenverfahren durchgeführt, um zu überprüfen, ob signifikante Unterschiede zwischen den einzelnen Gruppen bestehen (Hypothesenüberprüfung). Für die Sicherung des Lernerfolges ist neben entsprechend didaktisch aufbereiteten Lerninhalten auch eine hohe Akzeptanz des eLearning-Angebotes notwendig (vgl. z. B. Schenkel u. Tergan, 2004, S. 4). Im oben angeführten Beispiel wurden daher neben den objektiven Daten (Testpunkte) auch so genannte subjektive Daten in Form einer Beurteilung der Lern-CD durch die Anwender erhoben. Der Fragebogen zur Beurteilung der Lern-CD (Einstellungsmessung) enthielt drei Bereiche: eine Frage zum allgemeinen Eindruck mit einer sechsstufigen Antwortvorgabe von sehr gut bis sehr schlecht sowie mehrere Fragen zu den Bereichen Design (Benutzerführung, Übersichtlichkeit, Textgestaltung, Grafiken) und Didaktik (Motivation, Stoffaufbau, Förderung des Verständnisses) (vgl. dazu Yass 2000 S. 296 ff., Meier 2000 sowie Korbmacher 2000). Diese Befragung wurde selbstverständlich ohne die Kontrollgruppe durchgeführt, da diese nicht mit der Lern-CD gearbeitet hatte (vgl. Mayer 2004b, S. 257, ff.). Evaluation wurde bei der Entwicklung dieser Lern-CD als permanenter Prozess betrachtet und nicht erst am Ende der Entwicklung durchgeführt (vgl. Mayer 2004b, S. 254). Neben der hier kurz skizzierten abschließenden Evaluation (Produktevaluation bzw. summative Evaluation) wurde die Lern-CD in diesem Projekt während der gesamten Entwicklungsphase immer wieder v.a. mit Einbeziehung der Zielgruppe evaluiert (Prozessevaluation bzw. formative Evaluation).

2.3.2

Kriterienkatalog

Ob ein eLearning-Angebot einen höheren oder zumindest gleichen Lerneffekt aufweist als herkömmliche Lernmethoden, lässt sich nur empirisch mittels Vergleichsuntersuchungen nachprüfen. Da dies in der Praxis oft viel zu aufwendig ist, wird versucht, solche Evaluationsstudien durch die Verwendung von Qualitätskriterien zu ersetzen. Dabei sind Qualitätskriterien entweder empirisch überprüfte Merkmale eines eLearning-Angebotes oder Merkmale, von denen man aufgrund von Erfahrungen, plausiblen Schlüssen etc. vermutet, dass sie das Lernen positiv beeinflussen (vgl. Fricke 2000, S. 75). Kriterienkataloge wiederum sind Listen mit einzelnen Qualitätskriterien, die Punkt für Punkt durchgearbeitet werden. Dabei haben Kriteriumskataloge den Anspruch, „die für den Zweck des Lernens relevanten funktionalen Produktmerkmale möglichst vollständig und ausreichend differenziert zu erfassen“ (Rockmann 2004, S. 72). Die Qualitätskriterien umfassen in der Regel Dimensionen wie technische Aspekte, Inhalt, Didaktik und Design (vgl. dazu z. B. Meier 2000 sowie Korbmacher 2000). Die Einzelmerkmale werden nach einer vorgegebenen Skala (z. B. von sehr gut bis sehr schlecht) eingestuft. Aus der Summe der Einzelbewertun-

20

Evaluation von eLearning-Produkten/Prozessen

gen ergibt sich das Gesamturteil über die Qualität eines eLearning-Angebots (vgl. dazu auch Baumgartner u.a. 2004). Wegen der einfachen Anwendung ist die Qualitätsbeurteilung von eLearning-Angeboten mit Hilfe von Kriterienkatalogen weit verbreitet (vgl. Baumgartner 1997, S. 241). Es liegt eine Vielzahl von Kriterienkatalogen vor, die jeweils für unterschiedliche Intentionen entwickelt wurden. Bekannte Kriterienkataloge sind beispielsweise AKAB, MEDA, SODIS oder SCORM (vgl. Meier 2000, Korbmacher 2000 sowie Pawlowski 2004). Als Probleme von Kriterienkatalogen nennt Baumgartner die mangelnde Vollständigkeit bzw. Detailliertheit, die fehlende oder strittige Bewertungs- und Gewichtungsverfahren sowie die fehlende theoretische Orientierung (1997, S. 242). Hinzu kommt, dass allgemeine Kriterienkataloge situationsspezifische Faktoren wie beispielsweise Lernziele, Zielgruppe und Rahmenbedingungen oft nur unzureichend oder überhaupt nicht berücksichtigen können. Die Lernenden sind in diesem Prozess weder in Form einer Akzeptanzüberprüfung noch hinsichtlich der Auswirkungen des eLearning-Angebotes einbezogen.

2.3.3

Expertenbeurteilung

Für die Expertenbeurteilung werden Expertinnen und Experten mittels unterschiedlicher Verfahren wie der Delphi-Methode, moderierten Gruppensitzungen oder Interviews befragt und zu einem Werturteil geführt. Bei dieser Methode handelt es sich um ein vergleichsweise kostengünstiges und relativ einfach durchzuführendes Verfahren. Die Vorteile sind weiters darin zu sehen, dass die Expertinnen und Experten eine erste Orientierung bei der weitergehenden Evaluation geben und Qualitätsmaßstäbe setzen können. Als Nachteile sind die schlechte Nachvollziehbarkeit und die fehlende Wiederholbarkeit der Methode zu nennen. (vgl. Baumgartner 2004) Die Methode der Expertenbeurteilung wird bei der Evaluation von Lernsoftware v.a. dann verwendet, wenn die Lernsoftware nach fachlich-inhaltlichen, technischen oder pädagogischdidaktischen Kriterien beurteilt werden soll und Expertise in den betreffenden Bereichen eine wesentliche Voraussetzung für die Beurteilungen darstellt. Häufig werden bei der Expertenbeurteilung Kriterienkataloge eingesetzt.

2.3.4

Rezensionen

Unter dem Begriff „Rezensionen“ werden Artikel oder Essays in einschlägigen Fachzeitschriften verstanden. Häufig zählen hier weniger die objektiven Fakten, sondern die subjektiven Erfahrungswerte und Einschätzungen. Trotzdem können Rezensionen oft beträchtliche wirtschaftliche Auswirkungen haben. Den Vorteilen der geringen Kosten und der sofortigen Verfügbarkeit (da auf Erfahrungswerte anderer zurückgegriffen werden kann) stehen Nachteile der Subjektivität und der geringen Vergleichbarkeit (uneinheitliche Prioritätenlegung, uneinheitliche Vorgehensweise etc.) ge-

Evaluation von eLearning-Produkten/Prozessen

21

genüber (vgl. Baumgartner 2004). Deshalb sind Rezensionen v.a. für einen groben Überblick geeignet.

2.4

Grenzen der Evaluation

Wie oben ausgeführt, bezieht sich Evaluation im Bildungsbereich auf die Beurteilung und Bewertung von Lernangeboten, Lernprozessen oder entsprechenden Rahmenbedingungen. Mit Hilfe einer Evaluation soll überprüft werden, ob bestimmte Lernziele erreicht oder Standards und Normen erfüllt werden bzw. eine entsprechende Akzeptanz bei den am Lernprozess Beteiligten vorhanden ist. Die Qualität von Lernangeboten kann jedoch nicht voraussetzungslos gesehen werden. Es gibt keine absolute Qualität von Lernangeboten, sondern nur eine relative Qualität im Rahmen gegebener Bedingungen, für eine bestimmte Zielgruppe und im Hinblick auf gewählte Ziele. Die Qualität eines Lernangebotes ist nicht allein von der professionellen Erstellung abhängig, sondern auch davon, inwieweit ein Programm für den spezifischen Einsatz geeignet ist. (vgl. Schenkel 2000) Zudem müssen Lernziele, die im Rahmen einer Evaluation zu überprüfen sind, operationalisiert werden. Dies bedeutet, es ist ein konkretes Verhalten zu beschreiben, das die Lernenden nach Absolvierung eines Lernprozesses zeigen können sollten. Im Rahmen einer Operationalisierung kann jedoch nicht das gesamte Verhalten berücksichtigt werden, das ein Lernziel insgesamt beinhaltet. Es kann niemals der gesamte Bedeutungszusammenhang eines abstrakten Lernzieles im Rahmen einer Operationalisierung mit eingeschlossen werden. Dadurch führt jede Operationalisierung zu einer notwendigen Einschränkung der Bedeutung eines Lernzieles. Es wird also bereits bei der Operationalisierung von Lernzielen eine eigene Wirklichkeit konstruiert. Wichtig ist, dass man sich dessen bewusst ist. (vgl. Mayer, Hertnagel u. Weber 2009) Evaluationsergebnisse müssen daher immer unter Berücksichtigung der gewählten Ziele, Zielgruppen, Rahmenbedingungen, der notwendigen Einschränkungen etc. interpretiert werden. Evaluation ist also nie eine objektiv zutreffende Beschreibung des Zustandes, der Effektivität und Effizienz eines eLearning-Angebotes. Sie gibt uns lediglich Auskunft in den jeweils vorgegebenen Grenzen.

2.5

Resümee

Evaluation sollte als selbstverständlicher Bestandteil von Konzeption und Entwicklung von eLearning-Angeboten verstanden werden. Sie hilft uns zu überprüfen, ob ein eLearning-Programm, ein eLearning-Konzept, ein eLearning-Kurs etc. für eine bestimmte Anwendung geeignet ist. Nur mit Hilfe von Evaluationen können hohe didaktische Qualität und Effizienz von eLearning-Angeboten erreicht werden.

22

Evaluation von eLearning-Produkten/Prozessen

Bei der Planung und Durchführung einer Evaluation sind die verschiedenen Evaluationsebenen zu berücksichtigen und adäquate Evaluationsformen sowie -verfahren anzuwenden. Eine Evaluation nur durch Experten reicht in der Regel nicht aus. Wenn immer möglich, sind die Lernenden in eine Evaluation mit einzubeziehen. Um eine hohe Qualität zu erreichen und hohe Entwicklungskosten nicht zu gefährden, sollte neben einer summativen Evaluation auch eine formative Evaluation Berücksichtigung finden. Zudem gilt es, verstärkt Evaluationen hinsichtlich der Didaktik bzw. Lernpsychologie theoretisch zu fundieren (vgl. dazu z. B. Baumgartner 1997). Trotz einer sorgfältigen Planung und Durchführung sind der Evaluation jedoch Grenzen gesetzt. Evaluationsergebnisse sind immer hinsichtlich der jeweiligen Vorgaben und Rahmenbedingungen zu interpretieren.

2.6

Literatur

Baumgartner, P. (2004): Content Management Systeme in e-education. Innsbruck/Wien Baumgartner, P. (1997): Didaktische Anforderungen an (multimediale) Lernsoftware. In: Issing, L. J. u. Klimsa, P. (Hg.): Information und Lernen mit Multimedia, S. 242–252 Baumgartner, P., Häfele, H. u. Maier-Häfele K. (2004): Content Managementsysteme in e-Education Auswahl, Potenziale und Einsatzmöglichkeiten. Innsbruck/Wien Bortz, J. u. Döring, N. (2002): Forschungsmethoden und Evaluation. Berlin/Heidelberg/New York Fricke, R. (2000): Qualitätsbeurteilung durch Kriterienkataloge. Auf der Suche nach validen Vorhersagemodellen. In: Schenkel, P., Tergan, S.-O. u. Kottmann, A. (Hg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme, S. 75–88 Fricke, R. (1997): Evaluation von Multimedia. In: Issing, L. J. u. Klimsa, P. (Hg.): Information und Lernen mit Multimedia, S. 400–413 Gudjons, H. (1997): Handlungsorientiert lehren und lernen. Bad Heilbrunn Issing, L. J. (1997): Instruktionsdesign für Multimedia. In: Issing, L. J. u. Klimsa, P. (Hg.): Information und Lernen mit Multimedia, S. 193–220 Issing, L. J. u. Klimsa, P. (Hg.) (2009): Online-Lernen. Handbuch für Wissenschaft und Praxis. München Kirkpatrick, D. L. (1960): Techniques for evaluating training programs. In: Journal of the American Society of Training Directors, S. 13–18 u. S. 28–32

Evaluation von eLearning-Produkten/Prozessen

23

Korbmacher, K. (2000): Evaluation von Lernsoftware auf der Basis von SODIS. In: Schenkel, P., Tergan, S.-O. u. Kottmann, A. (Hg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme, S. 190–216 Kriz, W. C. u. Hense, J. (2005): Evaluation und Qualitätssicherung von Planspielen. In : Blötz, U. u. Bundesinstitut für Berufsbildung BIBB Bonn (Hg.): Planspiele in der beruflichen Bildung, S. 188–227 Kromrey, H. (2001): Evaluation - ein vielschichtiges Konzept Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: http://www.bibb.de/dokumente/pdf/a11_vielschichtiges_konzept.pdf (Stand: 09.06.2008) Mayer, H. O. (2009): Interview und schriftliche Befragung, 5. Auflage. München/Wien Mayer, H. O. (2004a): Multimediales Lernen. In: Mayer, H. O. u. Treichel, D. (Hg.): Handlungsorientiertes Lernen und eLearning, S. 59–75 Mayer, H. O. (2004b): Akustik Lern-CD für Regelverstärker. In: Mayer, H. O. u. Treichel, D. (Hg.): Handlungsorientiertes Lernen und eLearning, S. 247–263 Mayer, H. O. (2003): Verringerung von trägem Wissen durch E-Learning. In: Kerres, M. u. Voß, B. (Hg.): Digitaler Campus. Vom Medienprojekt zum nachhaltigen Medieneinsatz in der Hochschule, S. 226–237 Mayer, H. O., Hertnagel, J. u. Weber, H. (2009): Lernzielüberprüfung im eLearning. München/Wien Mayer, H. O., Weber, F. u. Weber, H. (2005): eLearning in der betrieblichen Weiterbildung. In: Markowitsch, J. u. Strobl, P. (Hg.): Betriebliche Weiterbildung in Österreich, S. 181–194 Meier, A. (2000): MEDA und AKAB: Zwei Kriterienkataloge auf dem Prüfstand. In: Schenkel, P., Tergan, S.-O. u. Kottmann, A. (Hg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme, S. 164–189 Pawlowski, J. M. (2004): Lerntechnologiestandards: Gegenwart und Zukunft. In: Tergan, S.O. u. Schenkel, P. (Hg.): Was macht E-Learning erfolgreich? S. 93–109 Paechter, M. (1997): Auditive und visuelle Texte in Lernsoftware. In: Unterrichtswissenschaft, H. 3, S. 197–206 Reischmann, J. (1995): Evaluation von Bildungsprozessen, Teil 1. Studienbrief Erwachsenenbildung, Universität Kaiserslautern Rockmann, U. (2004): Qualitätskriterien für IT-basierte Lernmedien – nützlich oder unsinnig? In: Tergan, S.-O. u. Schenkel, P. (Hg.): Was macht E-Learning erfolgreich? S. 71–81 Schenkel, P. (2000): Ebenen und Prozesse der Evaluation. In: Schenkel, P., Tergan, S.-O. u. Lottmann, A.: Qualitätsbeurteilung multimedialer Lern- und Informationssysteme - Evaluationsmethoden auf dem Prüfstand. Nürnberg

24

Evaluation von eLearning-Produkten/Prozessen

Schenkel, P., Fischer, A. u. Tergan, S.-O. (2004): Das Evaluationsnetz zur Evaluation von E-Learning. In: Tergan, S.-O. u. Schenkel, P. (Hg.): Was macht E-Learning erfolgreich? S. 131–138 Schenkel, P. u. Tergan, S.-O. (2004): Qualität von E-Learning: eine Einführung. In: Tergan, S.-O. u. Schenkel, P. (Hg.): Was macht E-Learning erfolgreich? S. 3–13 Schenkel, P., Tergan, S.-O. u. Kottmann, A. (2000): Qualitätsbeurteilung multimedialer Lernund Informationssysteme. Nürnberg Scriven, M. (1972): Die Methodologie der Evaluation. In: Wulf, C. (Hg.), Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen, S. 60–91 Tergan, S.-O. (2004): Realistische Qualitätsevaluation von E-Learning. In: Meister, D. M. , Tergan, S.-O. u. P. Zentel (Hg.): Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte und Zukunftsperspektiven, S. 131–154 Tergan, S.-O. (2000): Grundlagen der Evaluation: ein Überblick. In: Schenkel, P., Tergan, S.O. u. Kottmann, A. (Hg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme, S. 22–51 Yass, M. (2000): Entwicklung multimedialer Anwendungen. Heidelberg

3

Summative Evaluation von eLearning Horst O. Mayer

3.1

Vorbemerkungen

Eine summative Evaluation wird meist nach der Entwicklung eines eLearning-Produktes, eines eLearning Szenarios etc. angewandt. Ziel dabei ist es, eine zusammenfassende Beurteilung bzw. Bewertung der Effekte und der Vorteile eines eLearning-Angebotes zu erhalten. Es soll überprüft werden, ob das Produkt den Erwartungen entspricht, ob es erfolgreicher ist als andere, ähnliche Produkte, ob die eLearning-Anwendung besser ist als reines Präsenzlernen etc. Damit steht die summative Evaluation der Idee der Qualitätskontrolle nahe. Bei einer summativen Evaluation unter Verwendung von Vergleichsgruppen gilt es mit Hilfe systematisch angewandter empirischer Forschungsmethoden zu untersuchen, ob die beobachteten Effekte wie z. B. Lernerfolg, Kompetenzerwerb, Lerntransfer etc. möglichst eindeutig auf das betreffende eLearning-Angebot zurückgeführt werden können. Im Folgenden soll nun anhand eines kleinen Beispiels eine mögliche Vorgehensweise bei einer summativen Evaluation mit Vergleichsgruppen aufgezeigt werden. Es geht dabei um eine Lern-CD, die den Präsenzunterricht teilweise ersetzt. Mittels einer geeigneten Versuchsanordnung gilt es nun zu untersuchen, ob die Lern-CD zu einem höheren Lernerfolg führt als der reine Präsenzunterricht.

3.2

Das Forschungsdesign

Um zu überprüfen, ob beobachtete Effekte wie z. B. Lernerfolg, Kompetenzerwerb, Lerntransfer etc. möglichst eindeutig auf das betreffende eLearning-Angebot zurückgeführt werden können, ob also so genannte Kausalbeziehungen1 vorhanden sind, ist ein experimentelles 1

Kausalität ist die Annahme, dass jedes Ereignis durch ein vorangegangenes Ereignis (Ursache = lat. causa) hervorgerufen wird. Es wird davon ausgegangen, dass ein (gesetzmäßiger) Wirkungszusammenhang zwischen Er-

26

Summative Evaluation von eLearning

Design die geeignete Methode (vgl. z. B. Sarris u. Reiß 2005, S. 20 oder Sedlmeier u. Renkewitz 2008, S. 125). „Auch wenn bei der Definition der Methode des Experiments bisweilen unterschiedliche Akzente gesetzt werden, so besteht doch allgemein Einigkeit darin, dass die aktive Manipulation der Versuchsbedingungen (=Treatmentbedingungen) durch den Experimentator und damit die Möglichkeit Ursache und Wirkung zu unterscheiden, das Wesentliche am Experiment ausmacht. Das Experiment stellt wohl die einzige Forschungsform dar, die es erlaubt Kausalbeziehungen zwischen Variablen zu überprüfen: Zwei oder mehr Variablen sind kausal verbunden, wenn sie in einem empirisch nicht umkehrbaren, asymmetrischen Zusammenhang stehen. X erzeugt Y, aber nicht umgekehrt. X ist dabei die unabhängige und Y die abhängige Variable.“ (Stangl 2009)

Ein Experiment ist eine wissenschaftliche Untersuchung, bei der der Forscher eine oder mehrere unabhängige Variablen manipuliert und die Veränderungen der abhängigen Variablen beobachtet. Dabei erfolgt der Versuch unter kontrollierten Bedingungen, das heißt, es wird versucht, den Einfluss von Störvariablen (z. B. unterschiedliche Motivation der Versuchspersonen in beiden Gruppen, unterschiedliches Vorwissen, unterschiedliche Lernzeiten etc.) zu kontrollieren, um die Wirkung der unabhängigen Variablen (z. B. Lehrform) auf die abhängige Variable (z. B. Lernerfolg) zu isolieren. Ziel eines Experimentes ist es, Kausalhypothesen, also postulierte Ursache-Wirkungsbeziehungen zu überprüfen. Eine kausale Interpretation der Wirkung einer unabhängigen Variable auf eine abhängige Variable wird aber zunichte gemacht, wenn sich deren Daten durch so genannte Störvariablen in systematischer Weise verändern (vgl. Bortz u. Döring 2002, S. 62, Selg, Klapprott u. Kamenz 1992, S. 59 ff. sowie Sarris u. Reiß 2005, S. 30 ff.). Die Eliminierung aller Störvariablen ist in der Realität meist jedoch nicht vollständig möglich, weshalb Ursache-Wirkungsbeziehungen in der Regel nur als wahrscheinlich betrachtet werden können. Zufallsauswahl



Pretest

Lernphase

Posttest Lernerfolg







Experimentalgruppe

Experimentalgruppe

Experimentalgruppe







Kontrollgruppe

Kontrollgruppe

Kontrollgruppe

Abb. 3.1 Experimentelle Untersuchungsanordnung

eignissen vorliegt, dass also ein Ereignis X unter bestimmten Bedingungen ein Ereignis Y hervorbringt, wobei die Ursache X der Wirkung Y zeitlich vorausgeht.

Summative Evaluation von eLearning

27

Um in einem Experiment z. B. die Wirkung eines eLearning-Produkts auf den Lernerfolg zu untersuchen, werden die Versuchspersonen in zwei Gruppen aufgeteilt, wobei der einen Gruppe das eLearning-Produkt zur Verfügung gestellt wird und die andere Gruppe reinen Präsenzunterricht erhält. Damit die personenbezogenen Störvariablen annähernd gleich ausgeprägt sind, werden in einer experimentellen Untersuchung die Versuchspersonen den Untersuchungsbedingungen nach Zufall zugeordnet. Diese Vorgehensweise wird Randomisierung genannt (siehe Abbildung 3.1). Oft kann, wie in unserem Beispiel, eine Randomisierung jedoch nicht durchgeführt werden, da z. B. Schulklassen, Gruppeneinteilungen etc. bereits existieren. In diesem Fall spricht man von einem quasiexperimentellen Untersuchungsdesign2 (siehe Abbildung 3.2). Posttest Lernerfolg

Pretest

Lernphase







Experimentalgruppe

Experimentalgruppe Lern-CD

Experimentalgruppe







Kontrollgruppe

Kontrollgruppe Präsenzunterricht

Kontrollgruppe

Abb. 3.2 Quasiexperimentelle Untersuchungsanordnung

Die unabhängige Variable ist hier die Lernform (Lern-CD vs. reiner Präsenzunterricht). Die abhängige Variable ist der Lernerfolg. Der Einfluss der unabhängigen Variablen auf die abhängige Variable ist Gegenstand der Untersuchung, dazu wird die unabhängige Variable (Lernform) im Experiment planmäßig variiert. Alle übrigen Variablen, die einen Einfluss auf die abhängige Variable, also den Lernerfolg, haben, werden als Störvariablen bezeichnet und müssen konstant gehalten bzw. so kontrolliert werden, dass sie keinen Einfluss auf das Testergebnis haben. Um zu überprüfen, ob bei beiden Gruppen das gleiche Vorwissen bezüglich der Lerninhalte der Lern-CD bzw. des Präsenzunterrichtes besteht, wird ein Pretest durchgeführt. Damit sichere Aussagen über die Wirkung der Lern-CD gemacht werden können, ist ein gleiches Vorwissen notwendig (ungleiches Vorwissen = Störvariable). 2

Da durch eine Randomisierung die personengebundenen Störvariablen weitgehend neutralisiert werden, hat dieser Untersuchungstyp natürlich eine höhere interne Validität, als das hier angewandte quasiexperimentelle Untersuchungsdesign (vgl. Bortz 1999, S. 9).

28

Summative Evaluation von eLearning

Sind keine signifikanten Unterschiede vorhanden, so kann die Lernphase beginnen.3 Die Experimentalgruppe erhält die Lern-CD, die einen Teil der Präsenzlehre ersetzt und die Kontrollgruppe erhält die Präsenzlehre. Um gleiche zeitliche Bedingungen (unterschiedliche zeitliche Bedingungen = Störvariable) zu erhalten, muss sichergestellt werden, dass die Lern-CD nur in der dafür vorgesehenen Zeit verwendet wird. Anschließend führen die beiden Gruppen einen Posttest durch mit dem der Lernerfolg gemessen werden soll. Für die Entwicklung der beiden Tests sind Lernziele zu entwickeln, die zu operationalisieren sind (vgl. dazu Mayer, Hertnagel u. Weber 2009). Mittels statistischer Verfahren kann dann untersucht werden, wie hoch der Lernzuwachs ist bzw. ob ein signifikanter Unterschied zwischen beiden Gruppen bezüglich des Lernerfolges besteht.

3.3

Versuchsdurchführung

In unserem Beispiel waren 20 Versuchspersonen in der Experimentalgruppe und 21 Personen in der Kontrollgruppe. Der Pretest ergab bei der Experimentalgruppe einen Mittelwert der Testpunkte von 13,0 und bei der Kontrollgruppe einen Mittelwert von 12,38. Der maximale Punktewert betrug 20. Sind verschiedene Bedingungen erfüllt, so können mit Hilfe eines tTests für unabhängige Stichproben die beobachteten Mittelwertunterschiede auf Signifikanz untersucht werden. Der t-Test für unabhängige Stichproben ist ein Verfahren zum Vergleich der Mittelwerte bei zwei unabhängigen Stichproben, die aus normalverteilten Grundgesamtheiten kommen (die Bedingung der normalverteilten Grundgesamtheiten gilt bei n ≤ 30). Die abhängige Variable muss quantitatives Skalenniveau besitzen (hier die Testpunkte), die unabhängige Variable ist nominal (hier die beiden Gruppen mit Lern-CD und Präsenzlernen) 4. Sind diese Bedingungen erfüllt, kann der Mittelwertunterschied der beiden Gruppen untersucht werden (vgl. dazu z. B. Mayer 2009, S. 142 ff. sowie Bühl u. Zöffel 2000, S. 276 ff.). Die Überprüfung ergibt eine Irrtumswahrscheinlichkeit α von 0,568 und somit keinen signifikanten Unterschied auf dem 5 % -Niveau (vgl. dazu z. B. Mayer 2009, S. 125). SPSS gibt die Werte des t-Tests sowohl für den Fall homogener (gleicher) Varianzen als auch für den Fall heterogener (nicht gleicher) Varianzen aus. Üblicherweise wird die Gleichheit der Varianzen (Varianzhomogenität) verworfen, falls der Levene-Test ein p < 0,05 ergibt (vgl. Bühl u. Zöfel 2000, S. 278). In unserem Fall liegt kein signifikanter Unterschied zwi3

Mit Hilfe eines geeigneten statistischen Tests wird überprüft, ob ein beobachteter Unterschied nur gering und damit zufällig ist, oder ob statistisch darauf geschlossen werden kann, dass ein signifikanter Unterschied vorliegt (vgl. dazu z. B. Bortz 1999, Clauß, Finze u. Partzsch 1999 oder Mayer 2009).

4

Zu den Bedingungen, den Grundlagen sowie zur Durchführung eines t-Tests siehe z. B. Bortz 1999, S. 134 f., Clauß, Finze u. Partzsch 1999, S. 222 ff. oder Mayer 2009, S. 143. Sollten die Bedingungen nicht erfüllt sein indem z. B. ordinale Daten vorliegen, kann beispielsweise ein u-Test durchgeführt werden (vgl. z. B. Bortz 1999, S. 146 ff. sowie Clauß, Finze u. Partzsch 1999, S. 210 ff.). Zur Durchführung und Interpretation des u-Tests in SPSS siehe z. B. Bühl u. Zöfel 2000, S. 292 ff.

Summative Evaluation von eLearning

29

schen den Varianzen der beiden Gruppen vor (p = 0,915). Daher wird der t-Test für gleiche Varianzen ausgewertet (Zeile Varianzen sind gleich). Test bei unabhängigen Stichproben Levene-Test der Varianzgleichheit F Pretest

Varianzen sind gleich Varianzen sind nicht gleich

Signifikanz

,012

,915

T-Test für die Mittelwertgleichheit Sig. (2T df seitig) ,576 ,576

39 38,912

,568 ,568

Abb. 3.3 Signifikanzüberprüfung beim Pretest (t-Test in SPSS)

Die folgende Abbildung zeigt symbolhaft die Ergebnisse des Pretests. Da zwischen den beiden Gruppen kein signifikanter Unterschied besteht, kann nun zur Lernphase übergegangen werden. Posttest Lernerfolg

Pretest

Lernphase







Experimentalgruppe E = 13,0

Experimentalgruppe Lern-CD

Experimentalgruppe







Kontrollgruppe K = 12,4

Kontrollgruppe Präsenzunterricht

Kontrollgruppe

Δ ≠ signifikant

Abb. 3.4 Signifikanzüberprüfung beim Pretest

Die Experimentalgruppe erhält nun die Lern-CD, wobei in unserem Beispiel nur die Lernphase, die durch die Lern-CD abgedeckt wird, behandelt werden soll. Aus diesem Grund erhält die Kontrollgruppe lediglich den von der Lern-CD abgedeckten Präsenzunterricht. Wie bereits erwähnt, muss dabei sichergestellt werden, dass die Lern-CD von den Studierenden

30

Summative Evaluation von eLearning

nur in der Unterrichtsphase verwendet werden kann, damit beide auch zeitlich gleiche Bedingungen vorfinden. Ansonsten könnte ein eventuell besseres Abschneiden der Gruppe mit Lern-CD auf eine längere Lernphase (Störvariable) und eben nicht nur auf die Wirkung der Lern-CD zurückgeführt werden. Posttest Lernerfolg

Pretest

Lernphase







Experimentalgruppe

Experimentalgruppe Lern-CD

Experimentalgruppe







Kontrollgruppe

Kontrollgruppe Präsenzunterricht

Kontrollgruppe

Abb. 3.5 Die Lernphase

Nach Abschluss der Lernphase führen beide Gruppen einen zweiten Test (Posttest) zur Lernzielüberprüfung durch. Dabei sollte man darauf achten, dass möglichst verschiedene Schwierigkeitsgrade abgedeckt werden und ein Test sich nicht mit der Überprüfung von reinem Faktenwissen begnügt (zum Thema Operationalisierung und zur Ordnung von Lernzielen nach deren Schwierigkeitsgrad siehe z. B. Mayer, Hertnagel und Weber 2009). Die beiden Gruppen zeigen einen deutlichen Mittelwertunterschied. Bei der Gruppe mit der Lern-CD liegt der Mittelwert der erreichten Testpunkte bei 16,5. Bei der Kontrollgruppe hingegen lediglich bei 14,3. Es stellt sich nun die Frage, ob dieser Unterschied zufällig ist, oder ob der Unterschied zwischen den beiden Mittelwerten groß genug ist, dass er als überzufällig (Signifikant) bezeichnet werden kann (siehe Abbildung 3.6).

Summative Evaluation von eLearning

31

Posttest Lernerfolg

Pretest

Lernphase







Experimentalgruppe E = 13,0

Experimentalgruppe Lern-CD

Experimentalgruppe E = 16,5 Δ = signifikant







Kontrollgruppe K = 12,4

Kontrollgruppe Präsenzunterricht

Kontrollgruppe K = 14,3

Abb. 3.6 Signifikanzüberprüfung beim Posttest

Sind die am Beginn dieses Kapitels beschriebenen Bedingungen zur Durchführung eines tTests erfüllt, was bei dieser Untersuchung der Fall ist, kann der Mittelwertunterschied wieder mit Hilfe eines t-Tests auf Signifikanz überprüft werden (vgl. Bortz 1999, S. 134 f., Clauß, Finze u. Partzsch 1999, S. 222 ff. oder Mayer 2009, S. 143). Test bei unabhängigen Stichproben Levene-Test der Varianzgleichheit F Posttest

Varianzen sind gleich Varianzen sind nicht gleich

Signifikanz

,142

,709

T-Test für die Mittelwertgleichheit Sig. (2T df seitig) 2,200 2,204

39 38,960

,034 ,033

Abb. 3.7 Signifikanzüberprüfung beim Posttest (t-Test in SPSS)

Der t-Test für unabhängige Stichproben ergibt einen signifikanten Unterschied. Die Irrtumswahrscheinlichkeit α liegt bei 0,034 (also 3,4 %) und damit deutlich unter dem vorgegebenen 5 % Niveau. Die Lern-CD führt also zu einem signifikant besseren Lernergebnis als der entsprechende Präsenzunterricht. Zur Überprüfung des Lernzuwachses ist es notwendig, dass der Pretest und der Posttest den gleichen Schwierigkeitsgrad haben. Ist der Pretest leichter, so kann dessen Punktezahl nicht mit der erreichten Punktezahl des Posttests verglichen werden. Der Posttest beinhaltet in die-

32

Summative Evaluation von eLearning

sem Fall ja schwerere Aufgaben. Oft ist es jedoch notwendig, z. B. wegen der geringen Vorkenntnis der Versuchspersonen, einen Prestest mit einfacheren Fragen als beim Posttest zu gestalten, um eine genügende Differenzierung bei den Ergebnissen zu erhalten. Sind die Aufgaben im Pretest mit denen im Posttest vergleichbar, kann der Lernzuwachs untersucht werden. Dabei ist zu beachten, dass es sich hierbei um abhängige und nicht wie bisher um unabhängige Stichproben handelt. Wurden in den vorhergehenden Tests die beiden Gruppen (Experimentgruppe und Kontrollgruppe) miteinander verglichen, erfolgt nun ein Vergleich der Testpunkte einer Versuchsperson im Pretest mit den Testpunkten derselben Versuchsperson im Posttest. (vgl. dazu z. B. Bortz 1999, S. 140 ff. und Clauß, Finze u. Partzsch 1999, S. 181) Pretest

Lernphase

Posttest Lernerfolg







Experimentalgruppe E = 13,0

Experimentalgruppe Lern-CD

Experimentalgruppe E = 16,5







Kontrollgruppe

Kontrollgruppe Präsenzunterricht

Kontrollgruppe

Abb. 3.8 Überprüfung des Lernzuwachses bei der Experimentalgruppe (Lern-CD)

Da die Testpunkte jeweils paarweise einander zugeordnet sind, wird auch von gepaarten Stichproben gesprochen. Der t-Test für abhängige Stichproben (gepaarte Stichproben) ergibt einen signifikanten Unterschied. Die Irrtumswahrscheinlichkeit α liegt bei unter 0,000 und damit deutlich unter dem vorgegebenen 5 % Niveau (siehe Abbildung 3.9). Die Überprüfung des Lernzuwachses bei der Kontrollgruppe ergibt ebenfalls einen signifikanten Unterschied zwischen der erreichten Punktezahl im Pretest mit der im Posttest. Die Testergebnisse des Posttests sind jedoch bei der Kontrollgruppe (Präsenzlehre) signifikant niedriger als bei der Experimentalgruppe (Lern-CD), wie die entsprechende Überprüfung gezeigt hat (siehe Abbildungen 3.6 und 3.7).

Summative Evaluation von eLearning

33

Test bei gepaarten Stichproben Gepaarte Differenzen Mittelwert Pretest1 - Posttest1

-3,50000

T -17,616

df

Sig. (2-seitig) 19

,000

Abb. 3.9 Überprüfung des Lernzuwachses bei der Experimentalgruppe (t-Test bei gepaarten Stichproben in SPSS)

Bei Vergleichsstudien zwischen eLearning und Präsenzlernen darf nicht übersehen werden, dass neben elektronischen auch traditionelle Lernumgebungen sehr unterschiedlich gestaltet werden können und letztendlich diese Ausgestaltung über die Effektivität einer Lernumgebung entscheidet. Die Effektivität eines Frontalvortrages im Rahmen einer Großveranstaltung beispielsweise kann relativ einfach durch eine interaktive eLearning-Anwendung übertroffen werden, wohingegen diese interaktive Lernumgebung einem persönlichen Coaching nur schwer standhalten kann. (vgl. Simon u.a. 2008, S. 716)

3.4

Subjektive Beurteilung der Lern-CD

Von Interesse beim Einsatz von eLearning-Produkten bzw. eLearning-Szenarien ist aber nicht nur ihre Auswirkung auf die Leistungssteigerung der Lernenden, sondern auch deren Akzeptanz. Auch wenn ein eLearning-Angebot noch so gute Ergebnisse bezüglich des Lernzuwachses bringt, ist es nicht einsetzbar, wenn es von den Anwendern nicht akzeptiert wird. Zudem steigert Motivation die Effektivität des Lernens (vgl. Simon u.a. 2008, S. 719). Die Untersuchungen im vorherigen Kapitel zeigen, dass die Lern-CD zu einem signifikant besseren Lernerfolg führt als der entsprechende Präsenzunterricht. Wichtig ist es nun zu wissen, ob die Lern-CD von den Lernenden akzeptiert oder ob sie von ihnen aus verschiedenen Gründen wie z. B. Unübersichtlichkeit, schwer handhabbar, schwer verständlich etc. abgelehnt wird. Um dies zu überprüfen, wurde die Gruppe, die die Lern-CD einsetzte (n = 20), mittels eines standardisierten Fragebogens befragt. Bei der Entwicklung eines solchen Fragebogens ist darauf zu achten, dass alle für die Untersuchung relevanten Dimensionen Berücksichtigung finden (zu „dimensionale Analyse“ siehe z. B. Mayer 2009, S. 33 ff.). Solche Dimensionen können beispielsweise sein: – – – – –

der Programmaufbau, der Inhalt (zu tief vs. zu oberflächlich, zu lang vs. zu kurz, Praxisrelevanz etc.), die Navigation (Hilfefunktion, Zwischenspeicherung, vor- und zurückblättern etc.), die multimediale Gestaltung (Text, Grafik, Animationen etc.), die Interaktivität (angemessen, Förderung des aktiven Lernens, etc.),

34

Summative Evaluation von eLearning

– die Lernzielkontrolle (unterschiedliche Kompetenzniveaus, abspeichern möglich etc.), – die Motivation. Wichtig bei der Sammlung „relevanter“ Dimensionen ist die theoretische Orientierung. Einmal ist darauf zu achten, dass die einzelnen Dimensionen theoretisch abgesichert sind und zum anderen sollte den Fragen insgesamt ein theoretisches Konzept zugrunde liegen. (vgl. z. B. Simon u.a. 2008). Meist wird mit einer Frage nach dem allgemeinen Eindruck begonnen, da dieser Eindruck durch Fragen nach verschiedenen Einzelheiten beeinflusst werden könnte. Wenn die Detailfragen im Anschluss an die Frage nach dem allgemeinen Eindruck erfolgen, wird diese Beeinflussung ausgeschlossen. Nachdem die Fragen formuliert, also aus den verschiedenen Dimensionen abgeleitet und operationalisiert sind, gilt es, ihnen Ausprägungen zuzuordnen. Eine Rating-Skala ist dabei eine sehr häufig verwendete Skalierungsmethode. Die Befragten werden dabei aufgefordert, ihre Einstellung zur gestellten Frage auf einer Merkmalsdimension anzukreuzen (vgl. Mayer 2009, S. 83 ff.). stimme stark zu

lehne stark ab

Mein allgemeiner Eindruck ist sehr gut











Die Bedienung des Lernprogramms ist einfach











Die Praxisrelevanz ist vorhanden











Das Programm wirkt motivierend











…

Abb. 3.10 Beispiel für eine Ratingskala zur Beurteilung der Lern-CD

Eine weitere Möglichkeit besteht darin, den Befragten die Möglichkeit zu geben, ihre Meinung zur Lern-CD zwischen zwei gegensätzlichen Polen (z. B. von „sehr gut“ bis „sehr schlecht“, oder von „einfach“ bis „kompliziert“) anzugeben. Allgemeiner Eindruck Bedienung … Der Umfang ist Der Inhalt ist Die Praxisrelevanz ist Das Programm wirkt

sehr gut einfach

 

 

 

 

 

sehr schlecht kompliziert

zu groß zu tief vorhanden motivierend

   

   

   

   

   

zu klein zu oberflächlich nicht vorhanden langweilig

Abb. 3.11 Beispiel für ein Polaritätsprofil zur Beurteilung der Lern-CD

Summative Evaluation von eLearning

35

Genau genommen liefern diese Skalen lediglich ordinale Daten. Bei einer genügend großen Anzahl von Ausprägungen (wie z. B. fünf) kann jedoch angenommen werden, dass die Abstände auf der Skala von den Befragten als gleiche Intervalle aufgefasst werden (vgl. Mayer 2009, S. 83). Für die Auswertung können somit dieselben statistischen Verfahren wie für quantitative Variablen angewandt werden. Für die deskriptive Auswertung der subjektiven Beurteilung werden, abhängig vom Skalenniveau und der Verteilung, verschiedene Mittelwerte und Streuwerte der subjektiven Einschätzungen berechnet. Mit Hilfe verschiedener Testverfahren können Zusammenhänge oder Unterschiede, z. B. hinsichtlich des Geschlechtes, des Alters etc. auf ihre Signifikanz hin überprüft werden (vgl. dazu z. B. Bortz 1999, Clauß, Finze u. Partzsch 1999 oder Mayer 2009). Auch bei der Sammlung „relevanter“ Einflussgrößen (Geschlecht, Alter etc.) ist es wichtig, diese theoretisch zu untermauern. Insgesamt ist es sehr hilfreich, für die Untersuchung ein Messmodell zu erstellen, das die theoretisch fundierten Dimensionen für die „Akzeptanz“ sowie die vermuteten Einflussgrößen enthält (vgl. dazu z. B. Mayer 2009, S. 68.). Determinanten

Akzeptanz

Alter

Programmaufbau

Geschlecht

Inhalt

Medienkompetenz …



Navigation Interaktivität …

Abb. 3.12 Messmodell für die Akzeptanz eines eLearningprodukts und die Einflussgrößen

3.5

Zusammenfassung

Es ist wichtig, die Qualität einer eLearning-Anwendung zu überprüfen. Die Qualität umfasst sowohl den Lerneffekt, der mit einem eLearning-Produkt oder einem eLearning-Szenario erzielt wird als auch deren Akzeptanz. Dies erfordert eine systematische Anwendung empirischer Forschungsmethoden, wobei häufig eine Überprüfung von Kausalbeziehungen mittels experimenteller Untersuchungen erfolgt. Die in der Literatur genannten Kosten für die Erstellung von eLearning-Content variieren stark und sind von vielen Faktoren, wie z. B. dem Interaktivitätsgrad, der Qualität der Videound Tonbeiträge etc. abhängig. Für die Entwicklung eines einstündigen Inhaltes wird von Kosten zwischen 20.000 und 500.000 Euro bzw. von Kosten zwischen 25.000 und 75.000

36

Summative Evaluation von eLearning

Euro ausgegangen (vgl. z. B. Jäger 2002 und Abicht 2002, S. 14). Es wäre daher finanziell nicht vertretbar, eine aufwendige und kostspielige eLearning-Anwendung zu entwickeln, um nach deren Fertigstellung festzustellen, dass sie den an sie gestellten Erwartungen nicht entspricht und eventuell nicht einsetzbar ist. Daher muss Evaluation immer als ein permanenter Prozess betrachtet werden, der mit der Entwicklung und nicht erst nach dem Abschluss beginnt. Somit ist es sinnvoll, zumindest bei aufwendigen eLearning-Produkten bzw. der Entwicklung aufwendiger eLearning-Anwendungen, Evaluation immer prozessbegleitend einzusetzen und die summative Evaluation als einen wichtigen Teil der formativen Evaluation zu verstehen.

3.6

Literatur

Abicht, L. (2002): Der Lehrer auf dem Bildschirm. In: Hesse, W. (Hg.): E-Learning. Die Revolution des Lernens gewinnbringend einsetzen. Stuttgart Bortz, J. (1999): Statistik für Sozialwissenschaftler. Berlin/Heidelberg/New York Bortz, J. u. Döring, N. (2002): Forschungsmethoden und Evaluation. Berlin/Heidelberg/New York Bühl, A. u. Zöfel, P. (2000): SPSS, Version 10. Einführung in die moderne Datenanalyse unter windows. München Clauß, G., Finze, F.-R. u. Partzsch, L. (1999) : Statistik für Soziologen, Pädagogen, Psychologen und Mediziner. Frankfurt a.M. Jäger, W. (2002): Anwender, Kosten und die Frage: Make or Buy? Quelle: http://www.symposion.de/elearning-r/elr_06.htm (Stand: 15.12.2005) Mayer, H. O. (2009): Interview und schriftliche Befragung, 5. Auflage. München/Wien Mayer, H. O., Hetnagel, J. u. Weber, H. (2009): Lernzielüberprüfung im eLearning. München/Wien Sarris, V. u. Reiß, S. (2005) : Kurzer Leitfaden der Experimentalpsychologie. München Sedlmeier, P. u. Renkewitz, F. (2008): Forschungsmethoden und Statistik in der Psychologie. München Selg, H. Klapprott u. Kamenz (1992): Forschungsmethoden der Psychologie. Stuttgart/Berlin/Köln Simon, B., Treiblmaier, H. u. Neumann, G. (2008): Elektronische Lernumgebungen in Bildungseinrichtungen: Eine Diskussion kritischer Erfolgsfaktoren. In: Zeitschrift für Betriebswirtschaft, H 7/8, S. 715–733

Summative Evaluation von eLearning

37

Stangl, W. (2009): [werner.stangls] arbeitsblätter: Das Experiment. Quelle: http://arbeitsblaetter.stangl-taller.at/FORSCHUNGSMETHODEN/Experiment.shtml (Stand 24.09.2009)

4

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele Jan Ulrich Hense

4.1

Einleitung

Als formativ wird gewöhnlich eine Evaluation bezeichnet, die zur systematischen Optimierung des evaluierten Gegenstands beitragen soll. Sie steht damit im Gegensatz zur summativen Evaluation, die nach gängigem Verständnis ein abschließendes Urteil über einen Gegenstand fällen will, meist indem sie den Nachweis über seine Wirkungen und Effekte führt (vgl. Hense, 2009). Im Bereich eLearning geht es bei der formativen Evaluation darum, digitale Lernangebote, -materialien und -technologien systematisch und evidenzbasiert zu verbessern und zu optimieren. Darunter fallen so unterschiedliche Evaluationsgegenstände wie reine Online- oder Blended Learning Seminare, Computer Based Trainings (CBTs) zum Selbstlernen, digitale Lernspiele (DLGs) und Simulationen oder Teleteaching und Telecoaching sowie die jeweils zugrundeliegenden Technologien wie Autorensysteme, Lernplattformen, virtuelle Klassenzimmer, Learning Management Systeme (LMS) oder Course/Content Management Systeme (CMS). Die systematische formative Evaluation solcher Gegenstände aus dem Bereich eLearning kann aus verschiedenen Gründen besonders wichtig und hilfreich sein. Zu den wichtigsten Gründen dürften die folgenden Punkte zählen: − Der relativ hohe Komplexitätsgrad, der sich beim eLearning aus dem Zusammenspiel von Lernenden, Medien und Technik sowie Lehrenden/Tutoren bzw. Entwicklern eines Angebots ergibt, macht es fast unmöglich bei einer Neukonzeption sämtliche Schwierigkeiten bereits im ersten Anlauf vorherzusehen und zu vermeiden. Bis zur Einsatzreife braucht es oft mehrere Erprobungsschleifen, die von einer formativen Evaluation systematisch unterstützt werden können.

40

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

− Aufgrund der stetig fortschreitenden technischen und konzeptionellen Innovation im Bereich eLearning kann bei der Entwicklung eines neuen Angebots oft nur auf geringe Vorerfahrungen zurückgegriffen werden. Auch aus diesem Grund können gründliche und umfassende Erprobungs- und Überarbeitungsphasen erforderlich sein. − Bei bestimmten eLearning-Anwendungen, wie beispielsweise digitalen Lernspielen oder auf Datenträgern distribuierten CBTs, sind dynamische Veränderungen im Betrieb nicht oder kaum möglich. Somit ist es hier besonders wichtig, diese komplett fertig entwickelt und optimiert auszuliefern. − eLearning bringt in vielen Fällen einen hohen konzeptionellen und technischen Entwicklungsaufwand mit sich, der sich aber bei einer hinreichend großen Zielgruppe an Lernenden refinanzieren lässt, wenn die Durchführungskosten pro Teilnehmer entsprechend gering sind. Daher kann es sich auch hier besonders lohnen, das System vor einem endgültigen „Roll out“ einer umfassenden Überprüfung zu unterziehen. − Im Gegensatz zu konventionellen Lernumgebungen, die einen direkten Kontakt mit Lehrpersonen implizieren, gibt es aufgrund der oft größeren Anonymität und aufgrund höherer technischer Schwellen bei vielen eLearning-Anwendungen weniger Möglichkeiten für informelle und unmittelbare Rückmeldungen über Probleme und Verbesserungsmöglichkeiten. Daher kann es sinnvoll sein, diese systematisch im Rahmen der formativen Evaluation zu etablieren. − Schließlich hat eLearning in vielen Kontexten nach wie vor Akzeptanzprobleme (vgl. Bürg, 2005), so dass es sich hier besonders lohnen kann, mögliche Probleme und Akzeptanzhindernisse bereits im Vorfeld aufzuspüren und zu beseitigen, um die spätere Implementierung eines Systems zu erleichtern. Auch wenn es grundsätzlich Sinn macht, jedes neu entwickelte Lehr-Lern-Angebot und jede Lernumgebung vor dem regelmäßigen Einsatz in der Breite formativ zu evaluieren, gibt es also eine Reihe von Gründen, warum dies beim eLearning besonders sinnvoll ist. Im Rahmen dieses Beitrags sollen daher zentrale Aspekte und Ansätze der formativen Evaluation von eLearning diskutiert werden. Dazu wird zunächst auf Begriff und Umsetzung der formativen Evaluation im eLearning eingegangen und anschließend aufgezeigt, welche Ansatzpunkte der Verbesserung durch formative Evaluation im Bereich eLearning grundsätzlich zu unterscheiden sind. Nach einer Diskussion der besonders wichtigen Rolle von Theorien des Lernens und des eLearning bei formativen Evaluationen sollen zwei Praxisbeispiele dazu dienen, wichtige Aspekte der Planung und Umsetzung formativer Evaluationen von eLearning zu veranschaulichen.

4.2

Was ist formative Evaluation?

Das Begriffspaar „formative/summative Evaluation“ geht auf Scriven (1972) zurück und gehört heute zweifellos zu den am weitesten verbreiteten Begrifflichkeiten im Bereich Evaluation. Die konzeptionelle Idee, Evaluationen mit dem Ziel der Verbesserung einzusetzen, wur-

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

41

de zwar bereits früher von Cronbach (1963) mit Nachdruck vertreten, es war aber Scriven, der dafür die griffige Bezeichnung „formativ“ etablierte. Ein bekannter Merksatz zur Unterscheidung der beiden Evaluationstypen stammt von Bob Stake und lautet: „Wenn der Koch die Suppe probiert, ist das formativ. Wenn die Gäste die Suppe probieren, ist das summativ“ (zit. nach Scriven, 1991, S. 169, Übers. J.H.). Scriven (1980) selbst definiert folgendermaßen: „Evaluation may be done to provide feedback to people who are trying to improve something (formative evaluation); or to provide information for decision-makers who are wondering whether to fund, terminate, or purchase something (summative evaluation)“ (S. 6–7). Beide Definitionen machen klar, dass der Unterschied beider Evaluationsansätze in den unterschiedlichen Adressaten der Evaluation liegt. Im Bereich eLearning richtet sich die formative Evaluation demnach primär an die Entwickler, Designer und/oder Lehrpersonen eines Angebots, während die summative Evaluation für Entscheidungsträger relevant ist, die etwa bei Fördermittelgebern, in der Personalentwicklung, in Bildungsverwaltungen oder Lehrkommissionen über die Fortführung, Einstellung oder Übernahme von bestimmten eLearning-Angeboten befinden wollen. Entgegen dieser ursprünglich recht klaren Abgrenzung mittels unterschiedlicher Evaluationsziele (formativ: Verbesserung, summativ: Entscheidungshilfe) und Adressatengruppen (formativ: Entwickler, summativ: Entscheidungsträger) werden formative und summative Evaluation oft auch über eine Reihe weiterer Merkmale von Evaluation charakterisiert. Scriven (1991) selbst hat zu der dadurch entstehenden Unklarheit beigetragen, indem er zusätzlich den Zeitpunkt der Evaluation (formativ: während der Durchführung einer evaluierten Maßnahme, summativ: nach Ende der Maßnahme), den Entwicklungsstand des Evaluationsgegenstands (formativ: in Entwicklung, summativ: fertig entwickelt), den Ort der Evaluation (formativ: eher intern, summativ: eher extern) und die Reichweite der Evaluation (formativ: Teilaspekte und -komponenten, summativ: umfassend) als Unterscheidungsmerkmale nennt. Keine dieser zusätzlichen Definitionsansätze erscheint jedoch sachlogisch und aus Sicht der Evaluationspraxis zwingend mit den beiden eingangs dargestellten Unterscheidungsmerkmalen einherzugehen (vgl. Henninger, 2000; Hense, 2006; Pekrun, 2000). So lassen sich in der Praxis problemlos Beispiele finden, bei denen eine umfassende externe Evaluation dazu beitragen soll, eine bereits seit Längerem im Einsatz befindliche (also fertig entwickelte) Maßnahme zu überarbeiten und zu verbessern. Um Unklarheiten zu vermeiden, bezieht sich dieses Kapitel auf das eingangs dargestellte ursprüngliche und klar abgrenzbare Verständnis von formativer Evaluation, das ihre Verbesserungsfunktion in den Mittelpunkt stellt.

4.3

Umsetzung formativer Evaluationen von eLearning

Planung und Umsetzung formativer Evaluationen von eLearning können ein singuläres Unterfangen sein, sind aber oft in einen zyklischen Verbesserungsprozess eingebettet (vgl. Abb. 4.1). Das Vorgehen in beiden Fällen entspricht grundsätzlich jenem, das auch bei der Selbst-

42

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

evaluation von eLearning eingesetzt wird (Hense & Mandl, in Druck), nur dass bei einer einzelnen, punktuellen Evaluation keine Folgeevaluation mehr initiiert wird.

8. Konsequenzen ziehen und umsetzen

1. Allgemeinen Evaluationsbereich klären

7. Feedback geben

2. Zieldimensionen und Standards bestimmen

3. Indikatoren festlegen

6. Daten auswerten und interpretieren 5. Daten sammeln

4. Instrumente finden bzw. erstellen

Abb. 4.1  Evaluationszyklus (nach Buhren, Killus & Müller, 1999)

1. Allgemeinen Evaluationsbereich klären. Zunächst geht es um die Klärung der konkreten Ziele der Evaluation, eine genaue Spezifikation und Beschreibung des zu evaluierenden eLearning-Angebots und der Aspekte des Angebots, die verbessert werden sollen (vgl. Abschnitt 4.4). 2. Zieldimensionen und Standards bestimmen. Hier sollten nicht nur die Lern- und Transferziele des eLearning-Angebots definiert werden, sondern auch Standards, die Orientierung bieten, wann ein konkretes Ziel als erreicht gelten soll. Wichtig ist in dieser Phase der Theoriebezug, um die auf Outcomes fokussierte Perspektive der Lern- und Transferziele um Kontext-, Input- und Prozess-Aspekte zu ergänzen, die besonders für die formative Evaluation essentiell sind (vgl. Abschnitt 4.5). 3. Indikatoren festlegen. Indikatoren sind empirisch beobachtbare Gegenstücke jener Variablen und Faktoren, die im zweiten Schritt als wesentlich für die Evaluation ermittelt wurden. Indikatoren für eine Variable „Nutzungsintensität der eLearning-Anwendung“ könnten etwa Anzahl und

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

43

Frequenz der erfolgten Logins oder die in der Anwendung verbrachten Stunden pro Teilnehmer sein. 4. Instrumente finden bzw. erstellen. Instrumente dienen dazu, Indikatoren empirisch zu erfassen. Neben den klassischen Methoden der empirischen Bildungsforschung wie etwa Befragungen, Beobachtungen, Inhaltsanalysen oder Tests können im Bereich eLearning auch Datenquellen wie Logfiles und Serverprotokolle genutzt werden. 5. Daten sammeln. Je nach Fragestellungen und Entwicklungsstand des eLearning-Angebots spielen qualitative Daten bei der formativen Evaluationen oft eine besonders Rolle. Sie sind zwar meist weniger repräsentativ und eindeutig als quantitative Daten, dafür aber wesentlich informativer im Hinblick auf mögliche Schwachpunkte und Verbesserungsmöglichkeiten. 6. Daten auswerten und interpretieren. Wichtiger als bei den meisten summativen Evaluationen ist bei der formativen Evaluation oft ein zeitnahes und schnelles Auswerten von Teildatenerhebungen, da es für manche Veränderungen bereits zu spät sein kann, wenn man auf den Abschluss der letzten Datenerhebung wartet. 7. Feedback geben. Hier geht es nicht nur darum, die reinen empirischen Ergebnisse der Evaluation an die Entwickler eines Angebots zurückzumelden. Möglichst sollten auch konkrete inhaltliche Empfehlungen enthalten sein, welche Verbesserungen möglich sind und wie diese umzusetzen sind. Notwendig dazu ist allerdings, dass die Evaluierendem in diesem Fall nicht nur Experten in der Evaluation sind, sondern auch im Bereich eLearning. 8. Konsequenzen ziehen und umsetzen. Außer im Fall einer Selbstevaluation (Hense & Mandl, in Druck) ist das Umsetzen von Verbesserungen am eLearning-Angebot nicht mehr Aufgabe der Evaluation. Dennoch kann eine enge Kooperation mit den Entwicklern hier sehr produktiv sein. Daher wird sie in der Praxis bei formativen Evaluationen auch oft erwartet.

4.4

Ansatzpunkte der Verbesserung von eLearning durch formative Evaluation

Einleitend wurde als Ziel der formativen Evaluation die Verbesserung des evaluierten Gegenstands genannt. Im Kontext eLearning kann sich eine solche Verbesserung auf eine Reihe unterschiedlicher Ansatzpunkte beziehen. Fasst man den Entwicklungsprozess von eLearningAngeboten ins Auge, so sind als Ansatzpunkte die drei Schritte Konzept, Umsetzung und Implementierung zu nennen, auf die sich je nach Situation Verbesserungen beziehen können. Betrachtet man zusätzlich die verschiedenen curricularen Merkmale eines Angebots, so kann

44

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

sich eine formative Optimierung auf Aspekte wie Lernziele, Inhalte, Abläufe, Didaktik, LehrLern-Methoden, mediale Gestaltung, Technik, Dozentenrolle, tutorielle Betreuung, Lernfortschrittsdiagnose und -feedback, Assessment und weitere relevante Gesichtspunkte der Lernumgebung beziehen. Relevant sind diese Unterscheidungen vor allem im Hinblick auf methodische Aspekte der formativen Evaluation, da je nach Ansatzpunkt der Verbesserung unterschiedliche Datenquellen und Schwerpunktsetzungen zu berücksichtigen sind.

4.4.1

Verbesserung von Konzept, Umsetzung oder Implementierung?

Betrachten wir zunächst die verschiedenen Schritte im Entwicklungsprozess eines eLearningAngebots. 1. Verbesserung des Konzepts Bezieht sich die formative Evaluation auf das Konzept einer Maßnahme, so spricht man von einer so genannten ex-ante Evaluation (vgl. Hense, 2010). Im Fall eLearning ist dabei zunächst zu fragen, in welcher Form und Ausführlichkeit das Konzept eines geplanten Angebots vorliegt. Optimal sind hier natürlich komplett ausgearbeitete Konzeptpapiere, Drehbücher, Pflichtenhefte oder sonstige Entwicklungsdokumente, die Grundlage der Gestaltung und Umsetzung des Angebots sein sollen. In der Praxis liegen solche konzeptionellen Angaben zu Inhalten, Didaktik, medialer Gestaltung, Abläufen etc. allerdings nicht immer in der erforderlichen Ausführlichkeit vor, so dass man sich hier auch auf Interviews mit Designern und Entwicklern sowie wenig strukturierten Teildokumentationen wie beispielsweise Flipcharts oder Mind-Maps stützen muss. Ein früher formativer Prozessnutzen der Evaluation (vgl. Patton, 1998) kann in solchen Fällen übrigens darin bestehen, dass alleine durch die Erfordernisse der Evaluation eine gründlichere Dokumentation und damit auch fundiertere Konzeption des Angebots angeregt wird, die mögliche Probleme und Unterspezifikationen bereits im Vorfeld aufzudecken hilft. Als Methoden der formativen Evaluation von eLearning-Konzeptionen kommen in erster Linie Expertenanalysen in Frage, die von Personen durchgeführt werden sollten, die über langjährige Erfahrungen mit dem jeweiligen Inhaltsgebiet und der medialen Lehr-LernForm verfügen sollten. Ein wichtiges Hilfsmittel können dabei theoriegestützte Checklisten und Kriterienkataloge sein, die jeweils vorgeben, auf welche Aspekte des Konzepts bei der Analyse zu achten ist und welche qualitativen Standards jeweils erfüllt sein sollten. 2. Verbesserung der Umsetzung Da eine formative Evaluation in der Konzeptionsphase oft unterlassen wird, sind formative Evaluationen der Umsetzung von eLearning-Angeboten in der Praxis vermutlich der verbreitetste Anwendungsfall. Hier wird die konkrete Umsetzung einer bereits fertig kon-

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

45

zipierten Lernumgebung betrachtet, in der Regel im Kontext einer ersten Pilotdurchführung. Typisch für solche formativen Evaluationen sind oft kleine Fallzahlen von Testteilnehmern, die nicht selten speziell für die erste Testdurchführung gewonnen wurden. Wird eine solche Auswahl von Teilnehmern in der Pilotphase vorgenommen, ist es wichtig, gezielt darauf zu achten, dass diese möglichst repräsentativ im Hinblick auf die späteren Nutzer sind. Beschränkt man sich, wie es in der Praxis gelegentlich vorkommt, auf eine selbstselektierte Stichprobe von Freiwilligen, läuft man vor allem im Bereich eLearning Gefahr, primär technik-affine Personen für die Testung zu rekrutieren, die der Lernform bereits hohe Akzeptanz entgegenbringen. Typische Probleme von Anfängern oder akzeptanzmindernde Faktoren können dann in der Evaluation leicht übersehen werden. Methodisch bieten sich bei formativen Evaluationen in der Pilotphase eines Angebots vor allem Beobachtungen und qualitative Befragungsformen an. Teilnehmende Beobachtungen erlauben es, die Interaktion der Teilnehmenden mit dem Angebot ungefiltert empirisch erfassbar zu machen. Oft zeigt sich dabei, dass manche Intention der Konzeptionsphase nicht zu den tatsächlichen Nutzerbedürfnissen und -verhaltensweisen entspricht. Kombinieren lassen sich solche Beobachtungen mit der so genannten „laut denken“-Methode, bei der die Testteilnehmer gebeten werden, jede eigene Aktion und jedes Feedback des Systems laut zu kommentieren, was unter anderem für das Aufdecken von Verständnis- und Usability-Problemen hilfreich ist. Eine weitere zusätzliche Informationsquelle können je nach zugrundeliegender Technologie des Angebots Logfiles und Serverprotokolle sein, die Auskunft über Ausmaß und Reihenfolge der Nutzung unterschiedlicher Elemente eines Angebots geben können. Während Beobachtung, laut denken und Logfiles einen unmittelbaren Einblick in Aspekte des Interaktions- und Lernprozesses der Teilnehmenden erlauben, die sich allerdings primär auf äußerlich beobachtbare Sachverhalte beschränken, erfolgen qualitative Interviews retrospektiv und erlauben zusätzlich eine detaillierte Erfassung des subjektiv erlebten Lernprozesses aus Sicht der Teilnehmenden. Da solche Interviews oft die Tendenz haben, sich auf bestimmte, den jeweiligen Befragten besonders relevant erscheinende Aspekte zu konzentrieren, ist es auch hier wichtig, dass die Befragung durch einen Fragenkatalog oder einen Interviewleitfaden vorstrukturiert wird. Dieser sollte primär Aspekte thematisieren, die die curriculare Gestaltung des eLearning-Konzepts betreffen (s.u.). 3. Verbesserung der Implementierung Schließlich kann sich eine formative Evaluation auf den dritten Schritt im Entwicklungsprozess beziehen, die Implementierung eines Angebots in der Breite. Nach der Optimierung von Konzept und der ersten Umsetzung geht es hier darum, die Nutzung des Angebots durch die intendierten Zielgruppen möglichst gut vorzubereiten und zu unterstützen. Aufgrund immer noch häufig bestehender Akzeptanzprobleme von eLearning-Maßnahmen vor allem in vielen beruflichen Kontexten (vgl. Bürg, 2005) ist dies ein nicht zu vernachlässigender Schritt. Methodisch sind hier vor allem systematische quantitative und qualitative Befragungen von Nutzern sowie ggf. relevanten Umfeldpersonen wie z. B. Vorgesetzten oder IT-Beauftragten erforderlich, um zu überprüfen, inwiefern Verbesserungen der Implementie-

46

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

rung erforderlich sind. Inhaltlich sollten sich solche Befragungen auf die im jeweiligen Kontext relevanten implementierungsunterstützenden Aspekte und Maßnahmen beziehen. Dies können je nach Anwendungsfall Aktivitäten zur Bekanntmachung des Angebots, zur Teilnehmermotivierung, zur Schaffung notwendiger Rahmenbedingungen und -voraussetzungen der Teilnahme (v.a. zeitliche Freiräume), zur Akzeptanzförderung, zur Verknüpfung mit bestehenden Personalentwicklungsmaßnahmen, zur Einbettung in organisationale Abläufe oder zur Transferunterstützung sein.

4.4.2

Verbesserung welcher curricularen Merkmale?

Neben den verschiedenen Schritten des Entwicklungsprozesses, auf die sich Verbesserungen durch formative Evaluationen beziehen können, geht es bei der Optimierung von eLearningAngeboten vor allem in der Konzeptions- und Umsetzungsphase um dessen curriculare Merkmale, die im Hinblick auf einen möglichst großen Lernerfolg und Transfer der Teilnehmenden berücksichtigt werden sollten. Die folgende Liste enthält zentrale Gestaltungsmerkmale und einige beispielhafte Fragen, die eine formative Evaluation dabei jeweils berücksichtigen sollte. Zu beachten ist, dass einzelne der Dimensionen der Liste nicht in jedem konkreten eLearning-Kontext anwendbar sind (z. B. Tutoring). Die Fragen zum Merkmal Didaktik gehen von einer gemäßigt konstruktivistischen Sichtweise des Lehrens und Lernens aus, wie sie dem Problemorientierten Lernen zugrunde liegt, das besonders geeignet für die Umsetzung in virtuellen Lernumgebungen ist (Reinmann-Rothmeier & Mandl, 2000; s. Abschnitt 4.4). 1. Lernziele – Sind die Lernziele des eLearning-Angebots hinreichend spezifisch definiert und für die Teilnehmenden transparent? – Sind die Lernziele für die intendierte Zielgruppe realistisch und angemessen? – Entsprechen die Lernziele dem im Funktionsfeld vorhandenen Bedarf? – Entsprechen die Lernziele den individuellen Erwartungen und Lernzielen der Teilnehmenden? – Sind die Lernziele geeignet für das eLearning allgemein und die konkret gewählte Umsetzungsform? (z. B. werden Sozialkompetenzen schwer in reinen CBTs zu erwerben sein.) 2. Inhalte – Sind die Inhalte des eLearning-Angebots sachlich und fachlich korrekt? – Ist die Strukturierung und Gliederung der Inhalte nachvollziehbar, logisch und angemessen? – Sind die Inhalte ausführlich genug, um die Lernziele zu erreichen? – Gibt es in Bezug auf die Erreichung der Lernziele überflüssige Inhalte? – Ist die Aufbereitung der Inhalte für die Zielgruppe angemessen?

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

47

3. Abläufe und Adaptivität – Ist die im System vorgesehene Abfolge von Lernschritten zielführend? – Gibt es eine angemesse Rhythmisierung mit einem Wechsel zwischen verschiedenen Lehr-Lern-Methoden, Medien, eigenaktiven und eher passiven Lernphasen? – Erlauben die Abläufe hinreichend individualisierbare Lernwege? – Erlaubt das System Adaptivität im Hinblick auf unterschiedliche Vorkenntnisse und Interessenslagen der Lernenden? 4. Didaktik (vgl. Reinmann-Rothmeier & Mandl, 2000) – Bietet die Lernumgebung authentische und realitätsnahe Lernanlässe, Aufgaben, Beispiele und Fälle? – Erlaubt die Lernumgebung die Betrachtung von Lerninhalten aus verschiedenen fachlichen, sozialen, historischen oder sonstigen Perspektiven? – Ermöglicht die Lernumgebung die Bearbeitung von Lerninhalten in multiplen Kontexten, u. a. durch Anregungen zu Übung und Wiederholung? – Integriert die Lernumgebung den sozialen Kontext, in den jeder Lerninhalt eingebettet ist, und ermöglicht sie die Ko-Konstruktion von Inhalten gemeinsam mit anderen Lernenden, Lehrpersonen und ggf. externen Lernpartnern? 5. Lehr-Lern-Methoden – Bietet die Lernumgebung eine abwechslungsreiche Palette an unterschiedlichen Lehr-Lern-Methoden (z. B. systematische Darstellung von Inhalten, Arbeit mit Beispielen, Problemen und Fällen, individuelle und kooperative Aufgaben und Übungen, Diskussionen, Feedback durch Tutoren oder Mitlernende, Reflexion, Selbsttests etc.)? – Sind die jeweiligen Lehr-Lern-Methoden funktional sinnvoll im Hinblick auf die jeweiligen Teillernziele und -inhalte? 6. Mediale Gestaltung – Werden unterschiedliche mediale Kommunikationswege und Gestaltungselemente genutzt? – Ist die mediale Gestaltung funktional sinnvoll im Hinblick auf die jeweiligen Teillernziele und -inhalte? – Gibt es überflüssige mediale Gestaltungselemente oder Funktionen? (z. B. werden gelegentlich Diskussionsforen in einer Lernumgebung integriert, da sie im gewählten CMS leicht verfügbar sind, ohne dass eine didaktisch-konzeptionelle Funktion damit verknüpft wird, die den Lernprozess erkennbar unterstützt) – Unterstützt die mediale Gestaltung die Usability des Systems (s.u.)? 7. Technik – Ist das System mit den technischen Voraussetzungen aller intendierten Teilnehmer in vollem Umfang nutzbar? – Ist das System leicht nutzbar und weitgehend selbsterklärend (Usability)? – Ist das System technisch stabil und ausfallsicher? 8. Dozentenverhalten und tutorielle Betreuung (falls vorhanden) – Unterstützen die Dozenten/Tutoren den Lernprozess angemessen? – Werden komplexere individuelle und kooperative Aufgabenbearbeitungen hinreichend von Dozenten-/Tutorenseite begleitet?

48

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

– Erkennen die Dozenten-/Tutoren Lernfortschrittsdefizite der Teilnehmer oder Probleme in der virtuellen Zusammenarbeit und reagieren sie auf diese angemessen? – Ist der Umgang von Dozenten-/Tutoren mit den Lernenden zielgruppenangemessen und lernförderlich? – Sind Dozenten/Tutoren in ausreichendem Maße erreichbar und antworten sie im vorab zugesicherten Zeitraum? 9. Lernfortschrittsdiagnose und -feedback – Bietet das System Möglichkeiten zur Selbstüberprüfung des eigenen Lernfortschritts? – Erhalten die Lernenden systematisches und inhaltlich informatives Feedback auf Aufgabenlösungen, Übungen und andere aktiv erarbeitete Ergebnisse? 10. Assessment – Ist die Lernumgebung geeignet, um hinreichend auf abschließende Prüfungen und Lernerfolgskontrollen vorzubereiten? – Sind Prüfungen und Lernerfolgskontrollen mit der Lernumgebung, deren Lernzielen und Didaktik abgestimmt? (z. B. ist es im Rahmen reiner Multiple Choice Tests schwer, mehr als Faktenkenntnisse abzufragen.) Nicht jede formative Evaluation wird in der Lage sein, die volle Bandbreite dieser Dimensionen und Fragestellungen zu bearbeiten. In vielen Fällen ist dies jedoch auch nicht unbedingt erforderlich, da man aufgrund von Vorerfahrungen, Besonderheiten des jeweiligen Entwicklungskontexts oder spezifischen Anforderungen der Evaluationssituation Schwerpunkte setzen kann. Entscheidungsleitend bei der Auswahl können jeweils die folgenden Fragen sein: − Welche Information ist zum Zeitpunkt, zu dem die Ergebnisse der Evaluation erwartet werden, für uns wirklich relevant und von Interesse? − Welche konkreten Überarbeitungsschritte folgen auf die formative Evaluation und wer hat dabei welche Aufgaben? − Welche Aspekte und Gestaltungsmerkmale der Lernumgebung stehen überhaupt grundsätzlich zur Disposition und welche werden ohnehin nicht mehr geändert? − In welchen Bereichen können wir etwas für zukünftige ähnliche Projekte lernen?

4.5

Theoriebezug bei der formativen Evaluation von eLearning

In den letzten Jahren wurde verstärkt die gezielte Nutzung von theoretischen Erkenntnissen in der Evaluation gefordert (z. B. Hense, Kriz & Wolfe, 2009). Gemeint sind bei solchen „theoriebasierten“ oder „theorieorientierten“ Evaluationen Theorien, Modelle und auch empirische Vorkenntnisse aus dem Bereich des jeweiligen Evaluationsgegenstands, die das Verständnis seiner Wirkungen und Wirkweisen erhellen können. Im Gegensatz zu reinen „black box“ Evaluationen, die alleine nach Wirkungen und Effekten suchen und damit blind gegenüber den Mechanismen bleiben, die diese hervorrufen, soll die theoriebasierte Vorgehenswei-

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

49

se genau diese Mechanismen gezielt berücksichtigen, um nicht nur die Frage „did it work?“ sondern auch „why did it (not) work?“ beantworten zu können (vgl. Chen & Rossi, 1983). Die Erhellung der Gründe, warum eine bestimmte Maßnahme ihre Ziele erreicht oder nicht erreicht hat, ist insbesondere für die formative Evaluation von elementarem Interesse, da nur diese Gründe Ansatzpunkte für mögliche Verbesserungen liefern können. Will man etwa ein Online-Seminar gezielt und systematisch verbessern, so ist es nur von geringem Erkenntniswert, allein etwa die Akzeptanz oder den Lernzuwachs der Teilnehmer zu ermitteln. Was zusätzlich benötigt wird, sind Informationen zu jenen Faktoren, die für eine geringe Akzeptanz oder einen geringeren Lernerfolg bei allen oder einem bestimmten Teil der Teilnehmer verantwortlich sind. In der Sprache gängiger Bildungsproduktionsmodelle (z. B. Ditton, 2000) muss die Evaluation also neben reinen Outcome-Faktoren auch systematisch Kontext-, Inputund Prozess-Faktoren berücksichtigen sowie deren theoretische Wechselbeziehungen untereinander. Daher ist es bei der formativen Evaluation von eLearning essentiell, relevante Theorien und Modelle zu berücksichtigen, die einen entsprechenden Interpretationshintergrund bereitstellen. Beispielhafte Ansätze für solche Bildungsprozessmodelle im Bereich eLearning diskutiert der folgende Abschnitt. Allerdings ist Theoriebezug bei der formativen Evaluation von eLearning noch auf einer übergeordneten Ebene relevant, die von solchen Modellen nicht immer explizit inhaltlich thematisiert wird. Gemeint ist die übergreifende Lehr-Lern-Philosophie, die einer Lernumgebung zugrunde liegt und eine didaktische Grundposition als Referenzpunkt für Gestaltungsentscheidungen liefert. Auf diesen Aspekt wird anschließend eingegangen.

4.5.1

Prozessmodelle des eLearning

Als Beispiel für ein typisches Prozessmodell im eLearning, wie es bei der Planung und Umsetzung von formativen Evaluationen genutzt werden kann, soll das Modell von Friedrich, Hron und Hesse (2001) dienen. Dieses wurde für den Gegenstandsbereich virtueller Seminare konzipiert, kann aber auch gut als Ausgangspunkt der Evaluation verwandter Angebotstypen dienen. Eine Zusammenfassung des Modells und seiner zentralen Input-, Prozess- und Outcome-Faktoren gibt Abb. 4.2 wieder. Auf Seiten der Input-Faktoren werden Variablen der Lernenden, der Lerngruppe sowie Aspekte der Lernumgebung unterschieden. Bei den Lernenden wird davon ausgegangen, dass vor allem ihre Medienkompetenz, ihr Vorwissen, ihre Lernstrategien und -präferenzen (u. a. für kooperatives Lernen) sowie motivationale Haltungen vor Beginn des virtuellen Seminars einen wesentlichen Einfluss auf den Lernprozess und seine Ergebnisse nehmen. Auf Seiten der Lerngruppe sind dem Modell zufolge die Faktoren Wissensverteilung (v.a. deren Homogenität), Kooperationskompetenz, Gruppenklima sowie Gruppenzusammenhalt relevant. In der Lernumgebung schließlich lauten die einflussreichsten Faktoren Integration in das Curriculum, pädagogische Methoden (z. B. Aufgaben, Skripte etc.), Kommunikationstechnologie sowie Unterstützung der Lernenden.

50

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Bei den Prozessfaktoren ist das Modell von Friedrich, Hron und Hesse (2001) relativ sparsam. Hier nennt es nur die drei Variablen Interaktion mit der Lernumgebung, individuelle Lernprozesse sowie soziale Lern- und Interaktionsprozesse als bedeutsam für die Wirkungen virtueller Seminare. Schließlich differenziert das Modell auch auf Seiten der Outcomes Effekte auf individueller und auf Gruppenebene. Bei den Lernenden werden als mögliche Variablen, die durch die Lernprozesse im virtuellen Seminar verändert werden, Medienkompetenzen, Wissenszuwachs, Transfer, motivationale Wirkungen, Erwerb von Schlüsselkompetenzen sowie Veränderung von Einstellungen und Haltungen berücksichtigt. Auf Ebene der Lerngruppe enthält das Modell exakt die Faktoren, die auch als relevante Input-Faktoren benannt wurden, und ergänzt zusätzlich noch Veränderungen in der Selbstorganisation der Gruppe als mögliche Outcomes.

Abb. 4.2 Ein Rahmenmodell für virtuelle Seminare (Quelle: Friedrich, Hron & Hesse, 2001, S. 158)

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

51

Die Urheber des Modells sind in der Lage, die Auswahl der dargestellten Faktoren und Einzelvariablen theoretisch und empirisch plausibel zu begründen, so dass man hiermit zumindest für den Gegenstandsbereich virtueller Seminare eine gute Basis der formativen Evaluation hat. Berücksichtigt man die dort genannten Aspekte im Rahmen von Datenerhebungen, so sollte man in der Lage sein, Gründe für etwaige Erfolge oder Misserfolge des eLearningAngebots zu erhellen. Grundsätzlich macht es aber Sinn, gegebene Modelle in einer konkreten Evaluation dem jeweiligen spezifischen Kontext anzupassen. Wichtig ist, dass in der Konzeptionsphase der Evaluation eine systematische Recherche und Analyse von Faktoren erfolgt, von denen begründet angenommen werden kann, dass sie einen Einfluss auf die intendierten Ziele und Wirkungen nehmen. Als weiteres Beispiel, wie man dabei vorgehen kann, soll die formative Evaluation des technologie-gestützten Lernens in Kleingruppen dienen. Hier kann man sich etwa auf eine Reihe von Meta-Analysen stützen, die eine Reihe von Korrelaten des Lernerfolgs identifiziert haben. Nach Lou, Abrami und d'Apollonia (2001) zeigen die folgenden Variablen einen systematischen Zusammenhang mit dem individuellen Lernerfolg: − − − − −

Vorerfahrung mit bzw. Training in Gruppenarbeit Anwendung kooperativer Lernstrategien Kleine Gruppengrößen (2 Personen) Bestimmte Inhaltsdomänen Besonders hohes oder niedriges Leistungsniveau der Lernenden

Korrelate des kooperativen Lernerfolgs sind dieser Meta-Analyse zufolge: − Herausfordernde Aufgaben − Größere Gruppen (3–5 Personen) − Wenig instruktionales Feedback Für die formative Evaluation entsprechender eLearning-Angebote wäre also in der Konzeptionsphase zu prüfen, welche dieser Faktoren empirisch zu berücksichtigen sind. Möglich sind hier auch systematische Variationen dieser Einflussgrößen. So könnte etwa eine formative Evaluation im vorliegenden Beispiel die Gruppengröße systematisch zwischen 2 bis 5 Personen variieren, um das im vorliegenden Fall optimale Gleichgewicht zwischen individuellem und kooperativem Lernerfolg zu finden. In der Praxis wird man sich meist nicht streng an einem einzelnen theoretischen Rahmen orientieren. Vielmehr geht es bei der theoriebasierten Vorgehensweise darum, vor dem Hintergrund des konkreten eLearning-Angebots relevante Erklärungsmodelle und empirisch ermittelte Einflussvariablen zu sammeln, um systematisch mögliche Ansatzpunkte für Optimierungen in der Evaluation berücksichtigen zu können.

52

4.5.2

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Didaktische Grundposition beim eLearning

Verbesserung als Ziel der formativen Evaluation bleibt ein inhaltsleeres Unterfangen, solange man sich nicht an konkreten Zielen orientieren kann, auf deren Erreichung die Verbesserung gerichtet ist. Im Kontext eLearning wird dieses Ziel meist eine Maximierung des potentiellen Lernerfolgs und Lerntransfers der Teilnehmenden sein. Von „potentiellem“ Lernerfolg und Transfer ist hier insofern zu sprechen, als es sich dabei um eine Koproduktion von Lernenden, Lernumgebung und Kontext handelt, die über erfolgreichen Lernerfolg und Transfer entscheidet. Aus lerntheoretischer Perspektive lautet die Frage in diesem Kontext, wie eLearning-Anwendungen grundsätzlich didaktisch gestaltet sein müssen, um Lernerfolg und vor allem Lerntransfer besonders wahrscheinlich zu machen. Vor allem zur Vermeidung des so genannten „trägen Wissens“ (vgl. Renkl 1996) wurde dazu vor dem Hintergrund der aktuellen LehrLern-Theorie gefordert, eine gemäßigt konstruktivistische Sichtweise des Lernens beim Gestalten von Lernumgebungen anzuwenden. Nach dieser wird Lernen als ein wechselseitiger Prozess von Konstruktion und Instruktion verstanden, der sich durch folgende Merkmale charakterisieren lässt: − Lernen als aktiver Prozess: Effektives Lernen ist nur über die Eigenaktivität der Lernenden möglich. Dazu sind Motivation, Interesse und emotionale Beteiligung notwendige Voraussetzungen. − Lernen als konstruktiver Prozess: Wissen kann nur erworben und genutzt werden, wenn es in die bereits vorhandenen Wissensstrukturen integriert wird und auf der Basis individueller Erfahrungen interpretiert werden kann. − Lernen als emotionaler Prozess: Wahrnehmen, Denken, Verstehen und Urteilen sind ohne Emotionen gar nicht denkbar. Erst ein bestimmter Erregungsgrad, der durch die emotionale Beteiligung am Lerngeschehen hergestellt wird, verbessert die Gedächtnis- und Lernleistung. − Lernen als selbst gesteuerter Prozess: Die Auseinandersetzung mit einem Inhaltsbereich erfordert die Kontrolle des eigenen Lernprozesses durch den Lernenden. − Lernen als sozialer Prozess: Der Erwerb von Wissen erfolgt durch Interaktion mit anderen. Lernen ist somit als Prozess zu sehen, der in einer bestimmten Lernkultur stattfindet, in der Wissensinhalte – aber auch Werthaltungen und Einstellungen – miteinander ausgehandelt werden. − Lernen als situativer Prozess: Der Erwerb von Wissen weist stets kontextuelle Bezüge auf und ist immer an einen spezifischen Kontext gebunden. Eine Möglichkeit, die Prozessmerkmale einer gemäßigt konstruktivistischen Auffassung von Lernen umzusetzen, stellt die Gestaltung problemorientierter Lernumgebungen dar. Für die konkrete Realisierung, die insbesondere im Kontext virtueller Lernumgebungen oft empfohlen wird, wurde eine Reihe von Leitlinien entwickelt (Reinmann & Mandl, 2006). − Lernen sollte immer in einen authentischen Kontext eingebunden sein, der den Lerntätigkeiten und -inhalten Bedeutung und Sinn verleiht. So oft es geht, ist eine Lernumgebung

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

53

so zu gestalten, dass sie den Umgang mit realen Problemen und authentischen Situationen ermöglicht und anregt. Lernen anhand von relevanten Problemen, die Interesse und Neugier erzeugen oder betroffen machen, fördert die Motivation und sichert einen hohen Anwendungsbezug. Authentizität lässt sich im eLearning zum Beispiel über Fallbeispiele oder Probleme aus dem Erfahrungskontext der Lernenden realisieren. − Ein zweites Prinzip lautet, dass das Lernen in multiplen Kontexten erfolgen soll. Damit ist gemeint, dass möglichst unterschiedliche Herangehensweisen an einen bestimmten Lerngegenstand thematisiert werden sollen. Um zu verhindern, dass situativ erworbenes Wissen auf einen bestimmten Kontext fixiert bleibt, ist eine Lernumgebung also möglichst so zu gestalten, dass die Inhalte in verschiedene Situationen eingebettet werden können. Multiple Kontexte fördern einen flexiblen Umgang mit dem Gelernten und unterstützen dessen Transfer. Neben dem Einüben oder Anwenden des Gelernten in mehr als einer Situation ist auch die Berücksichtigung mehrerer Sichtweisen zu einem Inhalt (wie dies beispielsweise in der Gruppe der Fall ist) für die Realisierung multipler Kontexte von Bedeutung. Lerninhalte werden bei Berücksichtigung dieser Prinzipien besser untereinander und mit bereits bestehenden Wissensbeständen verknüpft, sind somit nachhaltiger und flexibler verfügbar, was auch dem Problem des „trägen Wissens“ vorbeugen kann. − Problemorientiertes Lernen macht soziale Lernkontexte notwendig. Auch wenn Lernen auf den ersten Blick vor allem ein individueller Prozess ist, spielen soziale Aspekte eine große Rolle. Bei der Gestaltung einer Lernumgebung sollten möglichst oft soziale Lernarrangements integriert werden, um kooperatives Lernen und Problemlösen sowie Prozesse zu fördern, die die Entwicklung einer Lern- und Praxisgemeinschaft begünstigen. Im eLearning bieten sich dazu derzeit besonders Web 2.0 und ähnliche Anwendungen an, da viele Lernende sie bereits als Kommunikations-, Kooperations- und Ko-Konstruktions-Tools kennen. − Problemorientiertes Lernen verlangt darüber hinaus auch nach einem instruktionalen Kontext. Die instruktionale Unterstützung seitens der Dozenten und Tutoren in Form von Modellieren und Anleiten, Unterstützen und Beraten ist von gleich großer Bedeutung wie die Gewährleistung von Authentizität, multiplen Anwendungskontexten und sozialen Lernarrangements. Problemorientiertes Lernen gelingt also nur dann, wenn Anleitung und Unterstützung den Lernenden soweit wie erforderlich gegeben und auch bei Bedarf wieder ausgeblendet werden. Gibt es in einem eLearning-Angebot wie etwa bei CBTs keine realen Dozenten, muss diese Funktionalität soweit wie möglich im System integriert sein, etwa in Form adaptiver Aufgabenstellungen, inhaltsbezogenem Feedback und Features zum gezielten Nachschlagen von Wissenslücken, wie FAQs oder Glossaren. Nicht nur aus lerntheoretischer Sicht, sondern auch aus Sicht der formativen Evaluation von eLearning sind diese Überlegungen zu einer didaktischen Grundposition beim eLearning relevant. Denn ohne didaktische Grundposition wird man letztlich immer orientierungslos sein, wenn es darum geht, eine Lernumgebung im Hinblick auf Lernerfolg und Transfer zu optimieren. Eine didaktische Grundposition wie die oben dargestellte liefert gemeinsam mit dem oben geforderten theoretischen Modellen des jeweiligen konkreten Gegenstands die notwendigen Kriterien und Standards, ohne die keine Evaluation auskommt.

54

4.6

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Zwei Beispiele aus der Praxis

Im abschließenden Abschnitt sollen anhand zweier Praxisbeispiele verschiedene Ansatzpunkte und methodische Varianten der formativen Evaluation von eLearning-Angeboten dargestellt werden. Während das erste Beispiel noch während der Konzeptphase des Angebots durchgeführt wurde, bezog sich das zweite Beispiel auf die Umsetzungsphase (vgl. Abschnitt 4.3.1). Bei beiden Beispielen handelt es sich um umfangreichere Evaluationsprojekte, von denen an dieser Stelle jeweils nur Teilaspekte präsentiert werden, die zur Illustration einzelner Vorgehensweisen dienen. Nach einer Darstellung von Kontext, Methode und Ergebnissen der formativen Evaluation wird jeweils versucht, zentrale Aspekte herauszuarbeiten, die bei einer Übertragung des Vorgehens besonders zu beachten sind.

4.6.1

Formative Evaluation von Digital Learning Games in der Konzeptphase durch kriteriengestützte Expertenanalysen

Digital Learning Games (DLG) verfolgen als Lernumgebung das Ziel, Lernprinzipien, die sich beim Spielen konventioneller Computerspiele als im Hinblick auf implizite Lernprozesse hochwirksam erwiesen haben, auf curriculare Lernkontexte und explizite Lernprozesse zu übertragen (Hense & Mandl, 2009). Im vorliegenden Beispiel handelte es sich um so genannte Learning Adventures zur Förderung der Kundenorientierung und der Verbesserung von Vertriebskompetenzen im Telekommunikationsbereich. In diesen Adventures werden zunehmend komplexere Verkaufssituationen simuliert, indem die Lernenden ähnlich wie bei klassischen Abenteuerspielen in Dialogsituationen zwischen verschiedenen Antwortalternativen wählen müssen, die dann über den weiteren Verlauf des Gesprächs entscheiden. Zusätzliche Rückmeldung erteilt ein virtueller Coach, der auch die Vermittlung lernrelevanter Inhalte im Rahmen eines den Dialogsituationen vorgeschalteten „Trainingscenters“ übernimmt. Die formative Evaluation erfolgte in diesem Beispiel zu einem sehr frühen Zeitpunkt noch vor der Programmierung des Spiels, bezog sich also auf das Konzept des Adventures. Dieses lag in Form eines „Drehbuchs“ vor, in dem die geplanten Abläufe, Inhalte und Gestaltungselemente des Spiels detailliert beschrieben waren. Ziel der formativen Evaluation war die Optimierung des Spielkonzepts im Hinblick auf eine optimale Ausschöpfung bestehender Lernpotentiale und eine größtmögliche Akzeptanz bei der Zielgruppe. Als Instrument der Evaluation kam ein Kriterienkatalog zum Einsatz, der theoretisch auf lern-, emotions- und motivationspsychologischen Überlegungen zum Lernen mit DLGs basiert (Hense & Mandl, 2009). Dieser Katalog beinhaltet 14 lehr-lern-psychologische, 9 emotionspsychologische und 10 motivationspsychologische Kriterien in Form von präskriptiv formulierten Gestaltungsrichtlinien, die teils durch Unterkriterien oder Beispiele konkretisiert werden. So enthält etwa der Bereich der lehr-lern-psychologischen Kriterien neben eini-

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

55

gen übergreifenden Punkten Unterkriterien, die jeweils aus behavioristischen, kognitivistischen und konstruktivistischen Prinzipien der Lehr-Lern-Forschung abgeleitet wurden. Zur formativen Evaluation wurde das Spielkonzept mit Hilfe des Kriterienkatalogs unabhängig voneinander von drei Experten beurteilt, die auf die Gestaltung von eLearning-Angeboten und digitalen Lern- und Planspielen spezialisiert waren. Um dem formativen Ziel der Evaluation Rechnung zu tragen, wurde als Ergebnis der Beurteilung nicht nur in Form einer Checkliste festgehalten, ob und inwiefern jedes einzelne Kriterium im Spielkonzept berücksichtigt wurde, sondern auch, wie konkrete Verbesserungen aussehen sollten, wenn ein Kriterium im bisherigen Drehbuch nicht hinreichend berücksichtigt worden war. In einer Gruppendiskussion wurden die drei Experteneinschätzungen anschließend zu einer gemeinsamen Beurteilung zusammengeführt, um die Sichtweisen zu ergänzen und eventuell bestehende divergierende Einschätzungen zu klären. Beispiele für konkrete Verbesserungsvorschläge bezogen sich im vorliegenden Fall etwa auf das Kriterium „Kohärenz in Story und Metaphorik zur Vermeidung kognitiver Ablenkung“ aus dem Bereich der lernpsychologisch-kognitivistischen Kriterien. Hier passte die ursprünglich intendierte Metapher einer Reise mit dem Segelboot von Insel zu Insel, womit der übergreifende Spielfortschritt symbolisiert werden sollte, kaum zum Inhaltsgebiet des Spiels, der Verkaufsförderung. Als Alternativen für eine passendere Metapher wurde u. a. ein Umsatzzähler oder ein Rangsystem vorgeschlagen, in dem der Spieler vom Anfänger zum Verkaufsprofi aufsteigen kann. Drei Aspekte erscheinen bei diesem Beispiel einer formativen Evaluation im Hinblick auf eine Übertragung des Vorgehens für andere Evaluationen bemerkenswert. Erstens ist die klare Orientierung an vorab definierten Kriterien zu nennen. Gegenüber einer unsystematischen Expertenbeurteilung verhindert sie, dass wichtige Aspekte übersehen werden, und stellt die Einheitlichkeit und Vergleichbarkeit der Expertenurteile sicher. Ein zweiter Aspekt ist die theoriegeleitete Fundierung der Kriterienliste. Sie legitimiert die Beurteilung jenseits der reinen Expertise der beteiligten Beurteiler und liefert den erforderlichen Bezugsrahmen und die Ausgangsposition für die Begründung von Verbesserungsvorschlägen. Als dritter Aspekt sind die Experten selbst zu nennen. Während ein theoretisch wohlbegründeter Kriterienkatalog zwar in der Anwendung als reine Checkliste vielleicht auch von Laien bearbeitet werden kann, bedarf die Ableitung konkreter Verbesserungsvorschläge gründliche Kenntnisse und Erfahrungen im jeweiligen Gegenstandsbereich. Dies zeigte sich im vorliegenden Fall nicht zuletzt im Rahmen der Rückmeldung der formativen Ergebnisse an die Programmentwickler. Da sämtliche Designentscheidungen der Entwickler im Prinzip auf impliziten, „naiven“ Theorien über Lehr-Lern-Prozesse beruhen, waren teils intensive Erklärungen der den Empfehlungen zugrunde liegenden lehr-lern-theoretischen Prinzipien erforderlich, um den jeweiligen Verbesserungsbedarf zu verdeutlichen.

56

4.6.2

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Formative Evaluation eines Blended-Learning-Seminars in der Pilotphase durch Lerntagebücher und Teilnehmerbefragungen

Unter Blended Learning versteht man die Kombination von Präsenzveranstaltungen mit zwischengeschalteten Online-Lernphasen. Im vorliegenden Fall handelte es sich um ein Seminar zum Training von Präsentationstechniken, das als Erprobungsprojekt für die Einführung von eLearning- und Blended Learning-Angeboten im Fortbildungsprogramm einer Kommunalverwaltung entwickelt worden war. Konzeptionell bestand das Seminar aus einer Auftaktund einer Abschlussveranstaltung, die von einem Präsentations-Trainer geleitet wurden und nicht nur organisatorische Funktionen erfüllten, sondern auch wesentliche Lerninhalte vermitteln sollten. Zwischen den beiden Präsenzterminen lag eine fünfwöchige Online-Lernphase, die von zwei Tutorinnen begleitet wurde. Technisch realisiert wurde die Online-Lernphase mittels eines Wiki-Systems im Intranet, wo die Lerninhalte in Form eines umfangreichen Skripts sowie Übungsaufgaben für Einzel- und Gruppenarbeiten bereitgestellt wurden. Zur Online-Kooperation wurden die Diskussionsseiten des Wiki als Forum sowie konventionelle E-Mails genutzt. Die formative Evaluation bezog sich auf die erste Durchführung des Seminars und hatte zum Ziel, Umsetzung, Akzeptanz und Sinnhaftigkeit der Maßnahme zu überprüfen und Verbesserungshinweise in Bezug auf Konzept und Implementierung des Seminars zu finden. Darüber hinaus sollten anhand dieser ersten Erprobung Erkenntnisse für eine optimierte Implementierungsstrategie für das Blended Learning in der kommunalen Weiterbildung gewonnen werden. Methodisch stützte sich die Evaluation vor allem auf Lerntagebücher der Teilnehmer sowie Einstiegs- und Abschlussfragebögen, die im Rahmen der Präsenztermine von den Teilnehmern bearbeitet wurden (vgl. Abb. 4.3). Die Lerntagebücher hatten Logbuch-Charakter und sollten primär die Lernzeiten der Teilnehmer während der Online-Lernphase sowie die dabei jeweils bearbeiteten Lerninhalte und -aufgaben erfassen. Im Einzelnen waren folgende Kategorien vorgesehen, für die jeweils Zeitpunkt und Dauer festgehalten wurden: Bearbeitung der Lerninhalte; Bearbeitung individueller Übungsaufgaben; Bearbeitung von Gruppeaufgaben; Nutzung des Forums; Kontakt mit einer Tutorin; Kontakt mit der Lerngruppe.

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

57

Abb. 4.3 Evaluationsdesign des Blended Learning-Seminars

Im Rahmen der Einstiegs- und Abschlussfragebögen wurden zentrale Input-, Prozess- und Outcome-Variablen des Seminars erhoben, die theoretisch auf gängigen Prozessmodellen des eLearning und allgemeinen Bildungsprozessmodellen beruhen (vgl. Abschnitt 4.4.1). Für die formative Evaluation interessant waren insbesondere die als Inputvariablen erfassten kognitiven und motivationalen Lernvoraussetzungen sowie zentrale Merkmale des Lernprozesses wie Inhalte, Didaktik, mediale Gestaltung und Organisation. Drei zentrale Erkenntnisse und Empfehlungen konnte die formative Evaluation auf dieser Datengrundlage identifizieren: − Die Teilnehmerinnen und Teilnehmer schätzten ihre Vorkenntnisse bereits vor Beginn des Seminars ungewöhnlich hoch ein, woraus sich ein relativ geringer Kompetenzzuwachs im Vergleich von Prä- und Post-Erhebung erklären ließ. Im Hinblick auf die Implementierung entsprechender Angebote folgte daraus die Empfehlung, im Sinne eines Input-Controlling stärker darauf zu achten, dass Interesse alleine nicht als Teilnahmeberechtigung ausreicht, sondern vor allem ein substanzieller Lernbedarf im Hinblick auf die Lernziele des Seminars vorhanden sein sollte. − Im Bereich des kooperativen Arbeitens bestanden sowohl beim Präsenz- als auch beim Online-Lernen relativ wenige Möglichkeiten zum Austausch untereinander und zum Lernen in Kleingruppen. Die Auswertung der Lerntagebücher zeigte, dass während der Online-Lernphase die Einzelarbeit stark dominierte. Hier wurden gezielte Maßnahmen zur Unterstützung insbesondere der virtuellen Kooperation empfohlen, zu denen etwa Kooperationsskripte, Gruppenregeln und die Berücksichtigung zentraler Kriterien sinnvoller Gruppenaufgaben gehören (z. B. Renkl & Mandl, 1995). − Die vergleichende Betrachtung von Daten zur Gestaltung von Präsenz- und Onlinephase zeigte, dass die Präsenzphase eine konsistent höhere Qualität im Hinblick auf sämtliche erhobenen Prozess- und auch Outcome-Variablen aufwies. Dieser Befund konnte mit der Thematik des Seminars erklärt werden, da bei Präsentationstechniken vor allem „Soft Skills“ im Vordergrund stehen, für deren Vermittlung Präsenzseminare gegenüber Online-

58

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Lernphasen grundsätzlich im Vorteil sein dürften, da sie den direkten und persönlichen Kontakt zu Trainern und den anderen Teilnehmern erlauben. Im Hinblick auf die weitere Implementierungsstrategie für Blended Learning in der kommunalen Weiterbildung wurde beschlossen, dass dieses zwar durchaus eine sinnvolle Ergänzung des bestehenden Seminarangebots sein kann, bei zukünftigen Planungen jedoch genauer auf die inhaltliche Eignung der Lernziele für eine virtuelle Aneignung sowie auf das Vorwissensniveau der Teilnehmer zu achten wäre. Auch bei diesem Beispiel einer formativen Evaluation gibt es einige Punkte, die im Hinblick auf ähnliche Evaluationsprojekte interessant sein können. Zunächst einmal ist die Verwendung eines thematisch eng fokussierten Lerntagebuchs zu nennen, das in Bezug auf die Prozessanalyse des Lernens während der Online-Phase ein deutlich objektiveres und detaillierteres Bild geben konnte als eine rein retrospektive Erfassung im Rahmen der Abschlussbefragung. Ein weiterer Punkt ist die explizite Erhebung von Input-Faktoren wie dem Vorwissen, die hier im Rahmen der Einstiegsbefragung erfolgte. Hätte man sich im vorliegenden Fall alleine auf die Erfassung von Outcome-Faktoren verlassen, wäre man vermutlich zu einer von zwei möglichen Fehleinschätzungen gelangt: Hätte man alleine den Wissensstand am Ende des Seminars erfasst, hätte man es für hochwirksam halten können, da dieser sehr hoch war. Hätte man alleine den Lernzuwachs erfasst, hätte man umgekehrt das Seminar für wenig wirksam halten können, da die Teilnehmer aufgrund ihrer bereits hohen Vorkenntnisse nur wenig dazu gelernt hatten. Nur durch die explizite Erhebung der Vorkenntnisse im Rahmen der Vorbefragung hatte man den nötigen Interpretationshintergrund, um den geringen Lernzuwachs zu interpretieren und entsprechende Verbesserungsempfehlungen auszusprechen.

4.7

Ausblick

Gelegentlich findet man in der Literatur Diskussionen über die Frage, ob in der Praxis nun die formative oder die summative Evaluation wichtiger ist. Auch in Bezug auf das eLearning kann man sich diese Frage stellen. Letztlich ist sie aber insofern müßig, als dass sich erstens beide Ansätze nicht gegenseitig ausschließen, sondern durchaus miteinander verknüpft werden können, und es zweitens immer auf die konkrete Funktion ankommt, die die Evaluation in einem bestimmten Kontext erfüllen soll (vgl. Abschnitt 4.1). Aus Sicht der Evaluationspraxis kann man jedoch feststellen, dass formative Evaluationen oft befriedigender sind, da man in der Regel einen viel unmittelbareren Einfluss auf die Praxis ausüben und einen direkten Beitrag zu ihrer Verbesserung leisten kann. Eine wichtige Voraussetzung, um dieser Verbesserungsfunktion tatsächlich gerecht werden zu können, ist abschließend hervorzuheben. Sie betrifft auf mehreren Ebenen die bereits mehrfach erwähnte Zielklärung bei einer formativen Evaluation. Einerseits geht es um die Klärung von Rolle, Aufgaben und Funktionen der Evaluation (vgl. Einleitung). Andererseits ist die Klärung notwendig, in Bezug auf welche Ziele eine Verbesserung des eLearning-Angebots erfolgen soll. Geht es um alleine um die Optimierung von Lernerfolg und Transfer?

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

59

Oder geht es auch um Aspekte wie Bekanntheitsgrad, Nutzerzahlen, Teilnehmerakzeptanz oder den Return-on-Investment (ROI)? Je nachdem, wie diese Fragen beantwortet werden, müssen noch einmal andere Schwerpunkte im Evaluationsdesign berücksichtigt werden und andere Stellschrauben des Angebotskonzepts zur Disposition gestellt werden. Ein weiterer Punkt der Zielklärung betrifft die Rechtzeitigkeit der Evaluation. Im Vorfeld einer formativen Evaluation sollte eine der ersten Fragen lauten, zu welchem Zeitpunkt jene Entscheidungen über Optimierungen am eLearning-Angebot fallen, in die die Evaluationsergebnisse einfließen sollen. Denn letztlich können nur Evaluationsergebnisse, die zu diesem Zeitpunkt verfügbar sind, in der Praxis einen Nutzen haben.

4.8

Literatur

Bürg, O. (2005). Akzeptanz von E-Learning in Unternehmen. Berlin: Logos Chen, H. T. & Rossi, P. H. (1983). Evaluating with sense. The theory-driven approach. Evaluation Review, 7 (3), 283–302 Cronbach, L. J. (1963). Evaluation for course improvement. Teachers College Record, 64, 672–683 Ditton, H. (2000). Qualitätskontrolle und Qualitätssicherung in Schule und Unterricht. Ein Überblick zum Stand der empirischen Forschung. In A. Helmke, W. Hornstein & E. Terhart (Hrsg.), Zeitschrift für Pädagogik, 41. Beiheft (S. 72–92). Weinheim: Beltz Friedrich, H. F., Hron, A. & Hesse, F. W. (2001). A framework for designing and evaluating virtual seminars. European Journal of Education, 36, 157–174 Henninger, M. (2000). Evaluation. Diagnose oder Therapie? In C. Harteis, H. Heid & S. Kraft (Hrsg.), Kompendium Weiterbildung - Aspekte und Perspektiven betrieblicher Personal- und Organisationsentwicklung (S. 249–260). Opladen: Leske + Budrich Hense, J. (2006). Selbstevaluation: Erfolgsfaktoren und Wirkungen eines Ansatzes zur selbstbestimmten Qualitätsentwicklung im schulischen Bereich. Europäische Hochschulschriften : Reihe 11, Pädagogik: Bd. 933. Frankfurt am Main: Lang Hense, J. (2009). Grundfragen und Ansätze der Evaluation innovativer Lehr-Lern-Szenarien. In W.C. Kriz & H.O. Mayer (Hrsg.), Evaluation von Lernszenarien in Ausbildung und Training, S. 12–38. Berlin: Wissenschaftlicher Verlag Hense, J. (2010). Online-Wörterbuch Evaluation. In: evoluation.de - Evaluation und Qualitätssicherung im Bildungswesen. Verfügbar unter http://www.evoluation.de/glossary (3.2.2010) Hense, J., Kriz W. C. & Wolfe J. (2009). Putting theory oriented evaluation into practice. A logic model approach for evaluating SIMGAME. Simulation & Gaming, 40 (1), 110–133

60

Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele

Hense, J. U. & Mandl, H. (2009). In oder mit Spielen lernen? Digital Learning Games aus Sicht der Lern-, Emotions- und Motivationspsychologie. DIE Zeitschrift für Erwachsenenbildung, 16 (3), 32–36 Hense, J. & Mandl, H. (in Druck). Selbstevaluation als Ansatz der Qualitätsverbesserung von E-Learning-Angeboten. In B. Lehmann & E. Bloh (Hrsg.), Online-Pädagogik, Bd. 4: Qualität und Evaluation. Hohengehren: Schneider Lou, Y., Abrami, P. C. & D'Apollonia, S. (2001). Small group and individual learning with technology. A meta analysis. Review of Educational Research, 71 (3), 449–521 Patton, M. Q. (1998). Die Entdeckung des Prozeßnutzens - Erwünschtes und unerwünschtes Lernen durch Evaluation. In M. Heiner (Hrsg.), Experimentierende Evaluation: Ansätze zur Entwicklung lernender Organisationen (S. 55–66). Weinheim, München: Juventa Verlag Pekrun, R. (2000). Evaluation in der betrieblichen Weiterbildung. In C. Harteis, H. Heid & S. Kraft (Hrsg.), Kompendium Weiterbildung - Aspekte und Perspektiven betrieblicher Personal- und Organisationsentwicklung (S. 258–275). Opladen: Leske + Budrich Reinmann, G. & Mandl, H. (2006). Unterrichten und Lernumgebungen gestalten. In A Krapp & B. Weidenmann (Hrsg.), Pädagogische Psychologie (5. vollst. überarb. Aufl.), S. 613–658. Weinheim: Beltz Reinmann-Rothmeier, G. & Mandl, H. (2000). Lernen mit neuen Medien: Eine Chance für neue Konzepte und innovative Ziele. In C. Harteis, H. Heid & S. Kraft (Hrsg.), Kompendium Weiterbildung - Aspekte und Perspektiven betrieblicher Personal- und Organisationsentwicklung (S. 175–187). Opladen: Leske + Budrich Renkl, A. (1996). Träges Wissen: Wenn Erlerntes nicht genutzt wird. Psychologische Rundschau, 47, 78–92 Renkl, A. & Mandl, H. (1995). Kooperatives Lernen: Die Frage nach dem Notwendigen und dem Ersetzbaren. Unterrichtswissenschaft, 23, 292–300 Scriven, M. (1972). The methodology of evaluation. In: Weiss, C. H. (Hg.): Evaluating action programs. Reading in social action and education. Boston: Allyn and Bacon, S. 123– 136 Scriven, M. (1980). The logic of evaluation. Inverness, CA: Edgepress Scriven, M. (1991). Evaluation Thesaurus. Newbury Park, CA: Sage

5

Evaluation von ePlanspielen und digitalen Lernspielen Willy Christian Kriz

In diesem Beitrag wird zunächst ausführlicher diskutiert, was Planspiele im Allgemeinen auszeichnet, um darauf aufbauend dann den speziellen Bereich von ePlanspielen bzw. Fernplanspielen darzustellen. Dabei wird auch auf digitale Lernspiele bzw. den Begriff „serious games“ eingegangen. In einem zweiten Teil folgen Ausführungen zur Evaluation von Planspielen bzw. ePlanspielen. Zur Illustration werden an mehreren Stellen einige kürzere Beispiele genannt. Ein umfangreicheres Beispiel bezieht sich auf das seit den 1970ger Jahren des 20. Jahrhunderts bekannte und im deutschen Sprachraum weit verbreitete Fernplanspiel der Firma MARGA Business Solutions. Einerseits wird MARGA im allgemeinen Planspielteil als eine typische Variante von ePlanspielen erläutert, andererseits wird das Beispiel MARGA im Abschnitt über aktuelle Evaluationspraxis nochmals aufgegriffen. Dank gebührt an dieser Stelle Andreas Nill und Christoph Heinen von MARGA Business Solutions (www.Marga.de), die zu diesem dargestellten Beispiel zahlreiche Informationen beigesteuert haben, die teilweise modifiziert, aber zum Teil auch unverändert übernommen wurden.

5.1

Plan- und Lernspiele

5.1.1

Planspielmethoden und ePlanspiele

Planspiele Planspielmethoden (internationaler Begriff: „Gaming Simulation“) haben ihren Ursprung im „Kriegsspiel“, das im militärischen Bereich vor über 200 Jahren entwickelt und in veränderter Form auch heute noch eingesetzt wird. Planspielmethoden haben sich nach Ende des 2. Weltkrieges weitere Einsatzfelder erschlossen, u.a. ist der Einsatz von Planspielen im Bildungskontext (z. B. in betriebswirtschaftlichen Ausbildungsprogrammen), in der Organisationsentwicklung und in der Strategieberatung von Entscheidungsträgern in Wirtschaft und Politik zu nennen (Kriz, 2006). Planspiele eignen sich sowohl für die Förderung allgemeiner Kompetenz im Umgang mit komplexen Systemen, als auch für die Unterstützung des

62

Evaluation von ePlanspielen und digitalen Lernspielen

Wissens- und Kompetenzerwerbs im bereichsspezifischen Kontext (Kriz 2000, 2003, 2005, 2006). Planspiele haben sich als Bestandteil bei der Überprüfung von Kompetenzen und als Prädiktor von Leistungen im Rahmen der Personalauswahl mit Assessment Centern und Potentialanalysen und in beruflichen Trainings- und Bildungsprogrammen bewährt (Strauß & Kleinmann, 1995; Högsdal, 1996; Henning & Strina, 2003; Geuting 2000). Die Wirksamkeit von Planspielen ist zusätzlich bei Organisationsentwicklungen nachgewiesen (Geilhardt & Mühlbradt 1995; Geurts, Joldersma & Roelofs 1998; Kriz, 2007). Das deutsche Bundesinstitut für Berufsbildung (BIBB 2008) führt in seinem Planspielkatalog rund 500 eingesetzte Planspiele allein im Berufsbildungskontext auf, insgesamt dürften aber, wenn man alle Anwendungsbereiche kalkuliert, derzeit mehr als 2000 Planspiele in Deutschland, Österreich und in der Schweiz im Einsatz sein. Der Begriff „Planspiel“ soll hier verstanden werden als „Simulation der Auswirkungen von Entscheidungen von Personen, die Rollen übernehmen und Interessen vertreten, wobei die Handlungsspielräume zum Ausagieren dieser Rollen wiederum spezifischen Regeln unterliegen“. Planspiele beinhalten Akteure, Regeln und Ressourcen (Klabbers, 1999). Planspiele sind der Realität angenäherte Modelle, in denen aber immer Menschen als „Mitspieler“ Rollen übernehmen und konkrete Entscheidungen treffen müssen, deren wirklichkeitsrelevante Aus- und Folgewirkungen dann wiederum geprüft werden. Planspiele können somit in einem dreidimensionalen Schema verortet werden, wobei das prototypische Planspiel eine ausgewogene Verknüpfung der drei Dimensionen (Spiel - Regeln, Rolle - Akteure, Simulation Ressourcen) darstellt. Simulation - Ressourcen: Bei Planspielen geht es um die Abbildung der Realität in ein Modell. Dies geht schon aus dem lateinischen Begriff „simolo“ (simulieren) hervor, was so viel bedeutet wie „abbilden“, „nachahmen“, „sich stellen als ob“. Die Entwicklung einer Simulation, wie auch eines Planspiels, beginnt mit der Konstruktion eines Simulationsmodells, das die wesentlichen Faktoren und Eigenschaften der zu simulierenden Elemente und ihre Wechselwirkungen widerspiegelt. Planspiele beziehen sich dabei immer auch auf real vorhandene Ressourcen, d.h. auf materielle und/oder symbolische Manifestationen der Lebenswelt (z. B. Zeit, Geld, Materie, Energie). Planspiele bieten die Möglichkeit insbesondere die optimale Nutzung von begrenzten Ressourcen und die Langzeitfolgen von Eingriffen (Entscheidungen) in Systemen transparent erfahrbar zu machen. Die Simulation sollte als Modell der Realität einen Bezug zur „realen“ Welt aufweisen. Natürlich sind auch Simulationen als Modelle von Realität lediglich individuell und kollektiv konstruierte Realität über verschiedene Prozesse unserer Lebenswelten. Spiel - Regeln: Das „reine“ Spiel (z. B. Fußball) dient normalerweise keiner modellhaften Abbildung einer Wirklichkeit wie die Simulation. Schon der lateinische Begriff „ludus“ (Spiel), der neben „Unterhaltung“ und „Spaß“ auch „Schule“ bedeutet, zeigt, dass man durch Spielen auch Wissen erwerben kann. Die Entwicklungspsychologie sieht im Spiel ein wesentliches Element, das dem Kind hilft, Wissen über die Welt zu konstruieren, sich in der Welt zu orientieren und sich Regeln und Rollen innerhalb einer sozialen Gemeinschaft anzueignen (Oerter, 2002). Von manchen Psychologen werden daher insbesondere auch soziale Interaktionen und Prozesse folgerichtig als „Spiele“ (z. B. „Machtspiele“ in Organisationen)

Evaluation von ePlanspielen und digitalen Lernspielen

63

begriffen und analysiert. Das Planspiel dient explizit der sozialen Wissenskonstruktion und beinhaltet neben dem Bezug zu „realen Systemen“ Aspekte eines Regelspiels, d.h. das „Game“ stellt ein abstraktes System von Regeln zur Strukturierung von Abläufen dar (ganz im Unterschied zum „spielerischen“ „Play“). Gerade durch die Abbildung realer „Spielregeln“ von Systemen (z. B. rechtliche und wirtschaftliche Gegebenheiten) in den Spielregeln des Planspiels können diese erfahren und erlernt werden. Akteure - Rolle: Die Rolle wird als Funktion definiert, die Personen im Planspiel übernehmen. Diese Rollen implizieren gewisse Freiräume in der tatsächlichen Ausgestaltung und in der individuellen Interpretation der Situation. Ein Spieler ist jede physikalische Person die tatsächlich mitspielt. Ein Akteur ist eine Abstraktion und kann ein Individuum, eine Gruppe oder sogar eine Organisation repräsentieren. Spieler spielen die Rollen von Akteuren. Im Gegensatz zu reinen Rollenspielen, in denen vorwiegend die Simulation von Gesprächssituationen und kommunikativem Verhalten im Vordergrund steht, simulieren Planspiele nicht nur soziale Phänomene, sondern sie beinhalten neben Akteuren und Regeln auch Ressourcen (s.o.) und bilden wesentlich komplexere Lebenswelten ab. In einem klassischen Unternehmensplanspiel kommunizieren beispielsweise Teilnehmer in typischen Rollen (z. B. Führungskraft, Mitarbeiter, Kunde) und bewältigen mit simulierten Ressourcen (z. B. Zeit, Budget, Maschinen) komplexe authentische Aufgabenstellungen. Im reinen Rollenspiel fehlt im Prinzip die simulierte Umwelt, die im Planspiel von zentraler Bedeutung ist. Zudem ist im klassischen Planspiel das planende und zielgerichtete Handeln von Menschen in Entscheidungsprozessen von zentraler Bedeutung. Ein Beispiel ist „SysTeamsChange ®“ von riva training & consulting (Kriz & Hansen, 2007), das als Mischform von haptischem Brettplanspiel und Computersimulation komplexe Change-Managemet-Prozesse simuliert, in der die realen Mitspieler in die Rolle von Change Agents schlüpfen, um mit geeigneten Maßnahmen und unter Budgetrestriktionen das Verhalten simulierter Akteure und simulierte Unternehmensabläufe- und strukturen zu verändern. Diese Methode wird in namhaften Unternehmen in der Führungskräfteentwicklung und zur Planung realer Changeprojekte verwendet. Eine Sonderform von Planspielen stellen in diesem Zusammenhang sog. „performance simulations“ dar, in denen die Teilnehmer im Planspiel bestimmte neue Handlungskompetenzen erlernen sollen, wobei sie hier in genau der Rolle in der Simulation teilnehmen, die sie auch am realen oder zukünftigen Arbeitsplatz einnehmen. Damit können sich Mitarbeiter notwendige neue Fertigkeiten in einer „geschützten“ Umgebung aneignen, in der Fehler erlaubt und erwünscht sind. Es ist hier alles real bis auf die Konsequenzen der Fehler. Auch militärische Manöver oder Katastrophenübungen von Rettungsdiensten können dann als solche Planspiele angesehen werden, bei denen aber die Rollenspielkomponente im eigentlichen engeren Sinne fehlt. Planspiele dieser Art können natürlich auch über längere Zeiträume hinweg durchgeführt werden und führen dann zu Konzepten wie „Lern- und Übungsfirmen“ (Reetz, 1986; Achtenhagen & Tramm, 1993). Betrachtet man den Gesamtprozess des Planspielens im groben Überblick, so lassen sich einige Phasen kurz zusammengefasst beschreiben (Kriz, 2003).

64

Abb. 5.1

Evaluation von ePlanspielen und digitalen Lernspielen

Der Planspielprozess (nach Kriz, 2003)

Ein Teilbereich der Realität wird für die Simulation durch das Planspiel ausgewählt. Im Design wird ein konkretes Planspiel (game) als Modell der Realität entwickelt (1). Dabei kommt es zu einer Abbildung und „Verzerrung“ der Realität u.a. durch bewusste und unbewusste Komplexitätsreduktion der Designer. Eine bewusste Reduktion erfolgt beispielsweise aus didaktischen Gründen, auch um das Planspiel in seiner Komplexität der Zielgruppe so anzupassen, dass keine längere Unter- oder Überforderung entsteht. Durch Anwendung des Planspiels wird eine Spielrealität (play) erzeugt, die u.a. abhängig ist vom eingesetzten Planspiel, von den Planspielleitern (Facilitatoren) und von den Spielern, deren Interaktionen, Entscheidungen und situativen Interpretationen des Planspielgeschehens (2). Zentrale Voraussetzung für eine sinnvolle Verwendung von Planspielen ist das „Debriefing“ (Kriz & Nöbauer, 2008). Damit ist die gemeinsame Reflexion des Erlebten (3) im Hinblick (Transfer I) auf eine Bewertung der im Spiel aufgetretenen Prozesse gemeint (4), mit dem Ziel, daraus Konsequenzen für reale Situationen abzuleiten (4). Mit „Metadebriefing“ ist eine Reflexion gemeint, in der nicht nur die Durchführung des Planspiels und sich direkt daraus ergebende Schlussfolgerungen diskutiert werden, sondern

Evaluation von ePlanspielen und digitalen Lernspielen

65

auch der Abbildungsprozess der Realität in der Designphase. Damit wird die Konstruktion von Wissen gemeinsam in Frage gestellt und deutlich, in welchen Kontexten bestimmte Möglichkeiten der Realitätskonstruktion angemessen sind. Bereits Debriefing und Metadebriefing haben teilweise auch evaluierenden Charakter. Dazu gehört aber auch die formative und summative Evaluation im engeren Sinne zur Überprüfung des Nutzens und zur Qualitätssicherung des Planspiels. Dadurch wird eine zweite Art von Transfer (5; Transfer II) erreicht, die dazu beiträgt das Planspiel in seiner Wirkung und Usablity kontinuierlich zu verbessern. Planspielmethoden stellen für den Kompetenzerwerb praxisnahe Lernfelder mit realistischer Komplexität und Entscheidungs- und Handlungsspielraum bereit (Kriz & Gust 2003; Kriz & Eberle, 2004; Geuting, 2000; Blötz & Bundesinstitut für Berufsbildung, 2008). So argumentiert beispielsweise Capaul (2000), dass die Merkmale des handlungsorientierten Unterrichts, wie Realitätsnähe, Ganzheitlichkeit, Lerneraktivierung, Lernerorientierung und Reflexion (s.o.), im Planspiel vollständig verwirklicht werden. Planspielmethoden stellen auch gerade deshalb eine sinnvolle Lernmethode dar, weil sie die zentralen Prinzipien des selbstgesteuerten, erfahrungsorientierten, kooperativen und problemorientierten Lernens in die Praxis umsetzen (Kriz, 2007; Huber, 1987; Renkl & Mandl, 1995). Es herrscht die Auffassung vor, dass Kompetenzen – im Gegensatz zu Fertigkeiten und deklarativem Wissen – schwerpunktmäßig selbstorganisiert durch informelles Lernen erworben werden (Mandl & Gerstenmaier, 2000). Das macht verstärkt die Schaffung neuer adäquater und selbstorganisiertes Handeln fördernde Lernumgebungen notwendig. Es wird in diesem Zusammenhang vielfach die Ermöglichung von selbstorganisiertem bzw. selbstgesteuertem Lernen durch aktive eigene Erfahrung gefordert (Siebert, 1994; Weinert, 1982). Die Lernenden übernehmen hier verstärkt selbst Initiative und Mitverantwortung für die Gestaltung der eigenen Lernprozesse. Dieses Lernen durch eigene Erfahrung wird u.a. im Ansatz des Experiential Learning gefordert (Johnson & Johnson, 1994; Kolb, 1984). Auch Ansätze des so genannten „Handlungsorientierten Unterrichts“ (Gudjohns 1997) betonen einige Kernpunkte des selbstgesteuerten und erfahrungsorientierten Lernens. Nach Woll (1996) sind in handlungsorientierten Lernumgebungen vier Prinzipien zu verwirklichen: •

Prinzip der Selbsttätigkeit und Lerneraktivierung, das bedeutet u.a. Autonomie der Lernenden in der Gestaltung eigener Aktivitäten

•

Prinzip der Lernerorientierung, das bedeutet u.a. Anknüpfen an Vorwissen und Vorerfahrungen der Lernenden und Interessenorientierung (z. B. „Neugier wecken“)

•

Prinzip der Lebensnähe, das bedeutet eine Realitätsorientierung, (die Vorstellung ist zentral, dass sich das Denken aus dem praktischen Tun in realitistischen Situationen entwickelt)

•

Prinzip der Ganzheitlichkeit und Sinnhaftigkeit, das bedeutet u.a. die Ermöglichung von vollständigen Handlungsabläufen, die systemische Betrachtung von Zusammen-

66

Evaluation von ePlanspielen und digitalen Lernspielen

hängen und die Integration von kognitiven, affektiven und psychomotorischen Prozessen beim Lernen. Nach abgeschlossener Schul-, Universitäts- und Berufsausbildung können viele Menschen ihr theoretisches Wissen – das in diesem Zusammenhang auch treffend als „träges Wissen“ bezeichnet wird (Renkl, 1996) – nicht adäquat für die Lösung komplexer realitätsnaher Probleme nützen. Der „traditionelle Frontalunterricht“ führt eher zu einem geringen Lernnutzen und zur Sinnentfremdung von realen Zusammenhängen. Um dieses Problem zu lösen, wurden in den letzten Jahren eine Reihe unterschiedlicher situierter Ansätze des Lernens entwickelt – u.a. verbunden mit Konzepten wie „situated cognition“, „cognitive apprenticeship, anchored instruction“ (Brown, Collins & Duguid, 1989; Vanderbilt Cognition and Technology Group, 1993; Gruber, Law, Mandl & Renkl, 1995; Hense, Mandl & Gräsel, 2001). Der Ansatz des problemorientierten Lernens (Gruber, Mandl & Renkl, 2000; Gräsel, 1997) fordert deshalb vier Gestaltungsprinzipien (vgl. auch Mandl in diesem Band): 1.

Komplexe Kontexte und eine authentische Lernumgebung: die Lernenden sollen in realitätsnahen komplexen Situationen Erfahrungen machen, die nicht nur den Aufbau von deklariativem (was), sondern auch von prozeduralem (wie) und konditionalem (wann) Wissen fördern. Gleichzeitig soll ein interessantes und motivierendes Problem den Ausgangspunkt des Lernens darstellen.

2.

Multiple Kontexte: Lernen unter multiplen Perspektiven, Perspektivenvielfalt, Methodenvielfalt, Bereitstellung von verschiedenen situierten Anforderungs- und Anwendungssituationen.

3.

Soziale Kontexte: Teamlernen und Teamarbeit, kooperatives Lernen.

4.

Instruktionale Kontexte: angemessene Unterstützung vom Lehrer/Trainer, u.a. gemeinsame Reflexion und Artikulation von Lern- und Problemlöseprozessen.

Um die genannten Prinzipien des handlungsorientierten Unterrichts und von problemorientierten Lernumgebungen zu verwirklichen und um Forderungen des erfahrungsorientierten Lernens und des selbstgesteuerten Lernens (s.o.) in die Praxis umzusetzen, schlagen Altricher & Posch (1994) für die Aus- und Weiterbildung von Kompetenzen die Bearbeitung von Problemstellungen in a) konstruierter Praxis (Fallstudie), b) simulierter Praxis (klassisches Planspiel) und c) echter Praxis (Praktikum, Firmenprojekte) vor. Das Planspiel als Lernumgebung ermöglicht den Umgang mit realen Problemen und authentischen realitätsnahen Situationen (Duke, 1974; Klabbers, 1989). Zugleich stellen Planspiele auch eine Form kooperativen Lernens dar, weil sie Problemlösen im Team herausfordern. Gerade im Bereich der Entwicklung von Problemlösefähigkeiten in der Gruppe ist es notwendig, dass auch Fehler gemacht werden dürfen. Die Möglichkeit Handlungsfehler zu begehen sollte deshalb nicht durch gestalterische Maßnahmen verhindert werden. Es sollte lediglich garantiert werden, dass die Folgen der an sich wünschenswerten Fehler (aus denen dann gelernt werden kann) harmlos bleiben. Das ist einer der Gründe, weshalb Planspiele seit jeher im Militär oder bei Katastrophenhelfern eingesetzt werden. Das ist es, was auch Führungskräfte und Mitarbeiter

Evaluation von ePlanspielen und digitalen Lernspielen

67

brauchen: Lernumgebungen, in denen sie Szenarien ausprobieren können und lernen, mit Komplexität und Ungewissheit umzugehen. Planspiele stellen so genannte „fehlerfreundliche Lernwelten“ dar. Planspiele ermöglichen Probehandeln (Bandura, 1977), d.h. das Planen sinnvoller Handlungsstrategien, ihre Ausführung und Optimierung. Probehandeln stellt eines der zentralen Elemente für das Gelingen von Lernprozessen dar (Kriz, 2004). Ein Vorteil von Planspielen stellt auch die unmittelbare Rückmeldung von Handlungsfolgen dar. Das Formulieren von Zielen und Strategien zur Zielerreichung, das Umsetzen von Maßnahmen zur Zielerreichung, die Früherkennung, Analyse und Beurteilung von eventuell auftretenden kritischen Situationen und das TransparentMachen von Folgen von Entscheidungen werden immer wieder als zentrale Prozesse in Planspielen genannt (Harramach, 1992; Högsdal, 1996). In individuellen wie auch gemeinsamen Debriefingphasen im Team kann das in Planspielaktivitäten Erlebte bewertet werden. In der Reflexion werden die simulierten Systemzusammenhänge und die mentalen Modelle der Beteiligten über die Problemlösesituation in der Gruppe diskutiert. Damit wird Perspektivenvielfalt unterstützt. Bereits ein einzelnes Planspiel ermöglicht so multiple Kontexte, zusätzlich kann die Verwendung verschiedener Planspiele Kompetenzen über ein breites Spektrum komplexer Situationen hinweg fordern und fördern. In dieser Weise erworbenes abstrahiertes Wissen kann dann auch in neuen, bisher unbekannten Domänen eingesetzt werden. Dieses Lernen unter multiplen Perspektiven erzeugt Flexibilität bei der Anwendung des Gelernten. Die Planspielevaluationsforschung zeigt (vgl. Kriz & Hense 2009), dass langfristiger Kompetenzerwerb und -einsatz durch pures Spielen allein jedoch nicht bewirkt wird. In individuellen und/oder gemeinsamen Debriefing (s.o.) muss das in Plan- und Lernspielen Erlebte bewertet, reflektiert und artikuliert werden. Plan- und Lernspiele sind vom Potenzial her bestens für echten Kompetenzerwerb geeignet, sie müssen dafür aber in eine angemessene didaktische Lernumgebung eingebettet werden, das bedeutet unter anderem die Verknüpfung mit speziellen Reflexions- und Transfermodulen. Hierbei kommt auch der Trainerqualität eine besondere Rolle zu (Kriz, 2008). Zentrale Debriefingprozesse sind: Spielanalyse (Was ist passiert? Was haben die Spieler empfunden?), Spielreflexion (Wie lässt sich der Spielverlauf erklären? Wie wird das Spielergebnis bewertet?), Transfer (Wie hängen Spiel und Realität zusammen? Welche Aspekte des Spiels waren (un)realistisch?) und konkreter Lerneffekt (Was haben wir gelernt? Welche Entscheidungen und Lösungsversuche setze ich in meinem realen Berufsalltag konkret um?). ePlanspiele und Fernplanspiele Da sich heute technologische Entwicklungen immer rasanter vollziehen, sind in vielen Bereichen in Planspielen neue Informations- und Kommunikationstechnologien (als Ressourcen) für die Gestaltung einer authentischen realitätsnahen Lernumgebung einzubeziehen, bei denen Computer, Internet, Multimedia und entsprechende Software mit Planspielen verknüpft sind. Dabei helfen die neuen Medien beispielsweise durch die Einbettung eines Planspiels in eine Blended Learning Umgebung, Lerneffekte zu schaffen (Klabbers, 2001; Villems, Taremaa & Jesmin, 2001; Martin, 2003; van Houten & Verbracek, 2004). Zugleich eröffnen neue Technologien aber auch selbst innovative Möglichkeiten für ganz neue digitale Planspielformen. Ein aktueller Trend sind beispielsweise Ansätze zum „Real Time Gaming“ (Lainema,

68

Evaluation von ePlanspielen und digitalen Lernspielen

2004a/b). Hierbei handelt es sich zwar um klassische betriebswirtschaftliche Unternehmensplanspielmodelle in Form von Fernplanspielen, die allerdings nicht rundenbasiert ablaufen (mit Entscheidungsinput, Feedback und Systemveränderungen zwischen den Runden), sondern Entscheidungen werden von den virtuellen Spielteams in Echtzeit gefällt, im Computersystem sofort verarbeitet und in den Auswirkungen für alle Beteiligten unmittelbar erfahrbar. Grundsätzlich kann man unterscheiden zwischen Anwendungen, bei denen a) eLearning bzw. Blended Learning mit klassischen Planspielen verbunden werden und in denen das Planspiel selbst aber in einer Präsenzphase stattfindet und b) echte ePlanspiele bzw. so genannte Fernplanspiele, in denen das Planspiel selbst webbasiert mit räumlich verteilten bzw. ggf. auch zeitlich asynchronen Gruppen durchgeführt wird. Der Vorteil von Fernplanspielen liegt in der Möglichkeit zu sog. virtueller Teamarbeit, die auch im realen Berufsalltag immer wichtiger wird (Silbermann, 2000; Sakiroglu, Riedel & Pawar, 2003; Maharg, 2004). ePlanspiele bieten die Möglichkeit weltweit verteilter Planspielteams. Daher wird hier entsprechend auch die Förderung von Medienkompetenz und von interkultureller Zusammenarbeit als potenzielle weitere Lernziele von Fernplanspielen immer wieder genannt (de Caluwé, Hofstede, Keeris & Peters, 2008). Bei virtuellen Planspielteams unterscheidet man „verteilte Gruppen“, bei denen die Mitglieder der verschiedenen teilnehmenden Planspielgruppen am selben Ort versammelt sind und im Team selbst face-to-face Kommunikation und Kooperation durchführen von „verteilten Teilnehmern“, bei denen sich die Mitglieder der teilnehmenden Planspielgruppen an unterschiedlichen Orten befinden und somit die gesamte Kommunikation und Kooperation der Planspielteams medienvermittelt stattfindet. Seit der schnell wachsenden Bedeutung von „e-business“ und „e-commerce“ werden beispielsweise ePlanspiele in diesen Bereichen verstärkt entwickelt (z. B. Simulation von B2BProzessen; Höft, Manschewteus & Stöber, 2004; Schöpf, 2004). Natürlich liegt es bei dieser Thematik besonders nahe, eine Integration von Planspiel und Ansätzen des eLearning durchzuführen (Rahnu & Kraav, 1999; Schueler, 2001; Bagdonas, Patasiene & Skvernys, 2001; Högsdal, 2001; Jiwa, Lavelle & Rose, 2003; Shostak & de Hoog, 2004; Fechner & Nill, 2004; Mandl, 2004; Tanabu, 2004; Bickel, Yildiz, Blessing, Kriz, Olsowski, & Eiselen, 2008; van der Hijden, 2008). Allerdings wird das Internet mit seinen verschiedenen Gestaltungsmöglichkeiten für Lernplattformen (u.a. Chats, Email, Foren etc.) heute generell immer stärker für eine Reihe von „Fernplanspielen“ genutzt. Sinnvoll erscheinen dabei insbesondere Anwendungen, die Planspiele im Internet ermöglichen, gekoppelt und integriert mit CBT (Computer-Based Training) und WBT (Web-Based-Training) Lerneinheiten oder im Rahmen der Simulation von sog. „Übungsfirmen“. Nicht nur im Bereich von Wirtschaftsprozessen, sondern auch in anderen Bereichen haben sich dabei Internetplanspiele durchaus bewährt, von der Stadtentwicklung (Rizzi, 2004) über die Umweltbildung (Hansmann, Weymann, Francke & Scholz, 2003) und Strategieentwicklung bei internationalen Migrationsprozessen (Matthys & Klabbers, 2004) bis hin zur Ausbildung von Juristen (Jager & Holzhauer, 2004), um nur einige Beispiele anzuführen. Zunehmend wird auch der Dialog zwischen der „klassischen Planspielentwicklerszene“ und Designern von Multimedia und digitalen Spieldesignern geführt. Dies lässt sich nicht nur in der seit 2003 bestehenden Kooperation zwischen ISAGA (International Simulation and Ga-

Evaluation von ePlanspielen und digitalen Lernspielen

69

ming Association) und DiGRA (Digital Games Research Association) erkennen, sondern auch anhand einer Reihe von Beiträgen auf Planspielkonferenzen nachweisen, in denen die Verbindung von Planspiel, virtueller Realität, 3D-Spieleengins, Rollenspielen im Internet, Cybergaming etc. aufgegriffen wird (z. B. Joldersma, 2001; Wilmott, 2002; Hussain, 2003; Pezzulo & Calvi, 2004). Auf der ISAGA Konferenz 2007 fand dieser Dialog mit einer Vielzahl an Beiträgen unter dem Motto „First Life meets Second Life“ einen ersten Höhepunkt (vgl. van der Spek & van de Laar, 2008; Müller, Weiß & Spierling, 2008; Pel, 2008; Schrader, 2008, Claassen, Gruijs & van den Berg, 2008; Spierling, Paiva & Müller, 2008; Cai, 2008). Für ePlanspiele schlägt Kern (2003) unter dem Begriff „NPL – Netzbasierte Planspiel-Lernarrangements“ ein sog. „Schalenmodell“ vor, um verschiedene Komponenten zu gliedern und daraus für Lernumgebungen und Benutzergruppen (Teilnehmende, Planspielleitende, Administratoren) Anforderungen und Gestaltungsempfehlungen abzuleiten. Kern (2003) diskutiert auch verschiedene technische Möglichkeiten einer NPL-Architektur, auf die hier jedoch nicht weiter eingegangen wird, beispielhaft soll hier lediglich eine dieser Alternativen mit einer Abbildung illustriert werden. Im Inneren des Schalenmodells befindet sich der „Planspielkern“ inklusive der Daten und des Simulationsmodells, die für das webbasierte Planspiel notwendig sind. Diese Komponenten führen Berechnungen durch und erzeugen Ergebnisse auf Basis der Planspielentscheidungen der Teilnehmenden. Mit dem GUI (Graphical User Interface) werden für die unterschiedlichen Anforderungen und Aufgaben der Benutzergruppen für jeden Benutzertyp unterschiedliche individuell gestaltbare Benutzeroberflächen zur Verfügung gestellt. Dabei werden die Daten ggf. modifiziert sowie der Zugriff und unterschiedliche Zugriffsrechte auf die Funktionalität des Planspielkerns sichergestellt. Kern (2003, S. 147ff) geht im Einzelnen auf die unterschiedlichen Anforderungen von Seminar- bzw. Planspielleiter-GUI und Teilnehmer-GUI hinsichtlich graphischer Gestaltung und Funktionalität detailliert ein. Im Außenbereich des Schalenmodells werden alle Komponenten verortet, die nur noch indirekt etwas mit dem Planspiel an sich zu tun haben. Dazu zählen die Kommunikations- und Kooperationskomponenten zur öffentlichen und gruppeninternen Interaktion der Beteiligten, in der Durchführungsphase des Planspiels und für das Debriefing, Tools zur Entscheidungsunterstützung im Planspiel selbst (z. B. zusätzliche Planungswerkzeuge), zusätzliche tutorielle Hilfesysteme sowie weitere Lehr- und Übungsmodule (z. B. WBTs).

70

Evaluation von ePlanspielen und digitalen Lernspielen

Abb. 5.2

NPL-Schalenmodell nach Kern (2003, S. 144)

Abb. 5.3

Beispiel einer NPL-Architektur nach Kern (2003, S. 160)

Evaluation von ePlanspielen und digitalen Lernspielen

71

ePlanspiele stellen aber nicht nur eine technische Herausforderung dar (die heute meist schon recht gut bewältigt wird), sondern das Problem besteht in erster Linie in der Gestaltung einer sinnvollen Lernumgebung. Die Reflexion von sachlichen und gruppendynamischen Aspekten des Spiels, die gemeinsame Festlegung von Alternativestrategien und Schlussfolgerungen aus dem Erlebten, die Identifikation von typischen (eventuell dysfunktionalen) Verhaltensmustern der Beteiligten, die Diskussion der Beziehungen zwischen Modell und Realität usw. im sog. Debriefing (s.o.) werden in klassischen Planspielanwendungen von „Angesicht zu Angesicht“ in der Teilnehmergruppe diskutiert. Bei Fernplanspielen haben die Teilnehmer keine gemeinsame Präsenzphase an einem Ort und dies hat auch Auswirkungen auf die soziale Dimension im Debriefing (z. B. Augenkontakt beim Geben und Nehmen von Feedback ist dann nicht mehr möglich usw.), viele Debriefingformen können dann nicht mehr eingesetzt werden. Die bisher zur Verfügung gestellten Module in Online-Tutorials eignen sich in der Regel für Feedback und Reflexion zu Sachaspekten. Soll lediglich reines Faktenwissen erworben und geprüft werden, so ist dieser Aspekt des Debriefing durchaus ausreichend. Für weitergehenden Kompetenzerwerb, für die Reflexion sozialer Prozesse und für die Unterstützung der Persönlichkeitsentwicklung von Planspielteilnehmern stellen die bisherigen OnlineTutorials aber großteils keine geeignete Reflexionsumgebung dar (am ehesten noch die Nutzung von Videokonferenzen, die in der Praxis jedoch aufwendig ist und kaum zum Debriefing von ePlanspielen eingesetzt wird). Natürlich ist ein Debriefing prinzipiell auch im Rahmen der neuen Medien durchführbar. Die Möglichkeit zu Chat, Foren und Email wird hier intensiv genutzt. Dennoch erfordern diese Medien den Einsatz angemessener neuer „elektronischer Debriefingtechniken“. In diesem Bereich müssen gute Konzepte großteils erst noch entwickelt werden.

5.1.2

Beispiele für die Verknüpfung von Planspiel und eLearning

SimulTrain – Blended Learning mit Planspielen Ein seit einigen Jahren erfolgreich eingesetztes Blended Learning Konzept der Firma STS Deutschland Projektmanagement setzt das Planspiel SimulTrain ein (vgl. Mietz-Mangold, 2007). Bei diesem Konzept findet zuerst eine zweistündige Präsenzveranstaltung statt. Danach gibt es eine vierwöchige Phase mit individuellem eLearning zu allen Bereichen des Projektmanagements. Hier werden 120 interaktive Übungen im Umfang von rund 12 Stunden Web-Based Training von den Teilnehmern bearbeitet. Die Teilnehmer werden dabei von Telecoaching durch reale Personen unterstützt, die auch den Lernfortschritt kontrollieren. Dadurch wird eine im Durchschnitt 95%ige erfolgreiche Bearbeitung aller Übungen von allen Teilnehmern sichergestellt. Den Abschluss bildet eine zweitägige Veranstaltung, bei der in Präsenzform alle Teilnehmer in mehrere Teams aufgeteilt werden und mit einem computerunterstützten Projektmanagementplanspiel das im eLearning-Teil erworbene Wissen aktiv in einer komplexen und authentischen Lernumgebung anwenden und reflektieren. Bei diesem Konzept ist das Planspiel selbst somit kein eigentliches ePlanspiel bzw. Fernplanspiel,

72

Evaluation von ePlanspielen und digitalen Lernspielen

sondern ein klassisches Planspiel in einer Präsenzveranstaltung, das mit eLearning-Elementen verknüpft ist. MARGA - Fernplanspiel Seit 1971 wird das MARGA Fernplanspiel von MARGA Business Simulations im Rahmen der Führungs- und Nachwuchskräfteentwicklung in Unternehmen und an Hochschulen eingesetzt, um den Teilnehmenden sowohl das Erlernen als auch die direkte Anwendung von Managementwissen und betrieblichen Inhalten zu ermöglichen. Im MARGA FernplanspielWettbewerb greift ab der Hauptrunde ein Ausscheidungsmodus, nach welchem immer nur die besten Teams einer Gruppe in die nächste Runde einziehen – bis am Ende die vier besten Teams für das Finale feststehen. Der gesamte laufende Wettbewerb dauert jeweils etwa ein halbes Jahr (Fechner & Nill, 2004). Das MARGA Fernplanspiel hat seine Wurzeln in den klassischen computerbasierten Planspielen der späten 60er Jahre des 20. Jahrhunderts. Seit dieser Zeit haben die am Markt verfügbaren Unternehmenssimulationen eine Reihe von technischen Entwicklungsstufen durchlaufen. Die ersten Markt- und Unternehmensmodelle waren zunächst auf Großrechnern beheimatet. Mit Verbreitung des Personal Computers (PC) wurden die Modelle auch PC-Software zur Planungsunterstützung den teilnehmenden Teams zur Verfügung gestellt. Die Modelle konnten dadurch zunehmend komplexer gestaltet werden. Die Entwicklung der Internettechnologie und die Verbreitung des World Wide Web führten zu serverbasierten Unternehmenssimulationen. Das Unternehmensplanspiel MARGA hat alle diese technischen Entwicklungsstufen durchlebt (vgl. Florschuetz & Nill, 2009) Relevante webbasierte Informationen können nun direkt mit dem Planspiel verlinkt werden und moderne Kooperations- und Kommunikationsmöglichkeiten des sog. Web 2.0. verbessern die Zusammenarbeit der Teilnehmenden bzw. den Support durch die Tutoren. MARGA wird standardmäßig als klassisches Fernplanspiel organisiert, d.h. die teilnehmenden Teams kommen nicht persönlich zusammen, sondern jedes Team organisiert die Gruppensitzungen vor Ort, d.h. am Arbeitsplatz oder Wohnort, selbstständig. Zusätzlich existieren auch MARGA Blended Learning Arrangements. Dabei wird aber nicht, wie im Beispiel von SimulTrain (s.o.), das Planspiel als Präsenzveranstaltung durchgeführt, sondern das Planspiel bleibt ein Fernplanspiel. Präsenzveranstaltungen an einem gemeinsamen Ort werden für eine gemeinsame Kick-Off-Veranstaltung und eine gemeinsame Feedbackveranstaltung, ggf. mit Siegerehrung, am Schluss genutzt. Die Online-Phasen des MARGA Fernplanspiels bieten einige Vorzüge gegenüber dem rein selbstgesteuerten Lernen von reinen eLearning-Modulen, da die Strukturierung der OnlinePhase durch den wöchentlichen Abgaberhythmus der Planspielentscheidungen und das Feedback der Ergebnisse die gemeinsame Aktivität und Motivationsdynamik unterstützt. Zusätzlich zum ePlanspiel haben die Teilnehmenden bei MARGA die Möglichkeit eine umfassende webbasierte Lernumgebung zu nutzen. Dies sind z. B. Online-Handbücher oder weiterführende Informationen zu den Funktionsbereichen und Inhalten der bei MARGA simulierten Unternehmen und der Unternehmensumwelten in Form eines Online-Lexikons. Lehrbriefe zu verschiedenen betriebswirtschaftlichen Themen sind ebenfalls als Online-Dokumente rea-

Evaluation von ePlanspielen und digitalen Lernspielen

73

lisiert und lassen sich in sachlogischem Zusammenhang verknüpfen. Dabei werden auch Web-based-Trainings (WBTs) bereitgestellt, das sind multimediale Lernprogramme mit Informationen zu den relevanten Themen des Planspiels mit Texten, grafischen Darstellungen oder aufwendigen Animationen sowie Audio- und Videosequenzen. Durch die Hypertextbzw. Hypermediastruktur des Web lassen sich sowohl interne Links innerhalb der jeweiligen Wissensmodule sowie externe Links zu anderen webbasierten Dokumenten und Anwendungen, z. B. der Support-Software der Unternehmenssimulation, unmittelbar realisieren. Durch internetbasierte Kommunikations- und Kooperationswerkzeuge, z. B. E-Mail und Web Collaboration Tools mit Funktionen wie Voice over IP oder Application Sharing (die Sicht auf oder sogar die Kontrolle über den eigenen Bildschirm kann anderen Benutzern gewährt werden), wird auch im Fernplanspiel eine intensive tutorielle Begleitung durch MARGA-Tutoren sichergestellt.

5.1.3

Lernspiele, Serious Games und Game Based eLearning

In den letzten Jahren steigt das Interesse von Bildungsinstitutionen und Unternehmen an „serious games“. Der Begriff serious games ist widersprüchlich und erklärt wenig. Huizinga charakterisierte bereits in den 1930ger Jahren den Menschen als „homo ludens“ und betrachtete das Spiel als fundamentale menschliche Errungenschaft und als den Ursprung von Kultur, ähnlich wie schon Friedrich Schiller 1795 formulierte: „und er [der Mensch] ist nur da ganz Mensch, wo er spielt.“ Huizinga weist auch darauf hin, dass die Begriffsbedeutung von „Ernsthaftigkeit“ in unserer westlichen Kultur verbunden ist mit „Arbeit“ und damit das „Spiel“ geradezu als Gegenteil ausschließt. Ernsthaftigkeit ist vielfach gleichbedeutend mit „nicht-spielen“. Speziell in unserer Kultur, in der Lernen mit Konzepten wie Anstrengung, Überwindung, Arbeit, Seriosität usw. verbunden sind, ruft der Begriff Spiel häufig Ablehnung hervor. Vielfach entsteht das Vorurteil, es handle sich nur um eine „Spielerei“, die für Lernzwecke ungeeignet erscheint und auch das Missverständnis, dass „gaming“ etwas mit „gambling“ (Glücksspiel) zu tun hat, ist verbreitet. Obwohl der Ursprung des Simulationsspiels im militärischen „Kriegsspiel“ die Ernsthaftigkeit sehr deutlich macht, wurde um Missverständnissen vorzubeugen, der Begriff serious games von Clark Abt bereits 1974 eingeführt. Im Kern geht es bei serious games um Lernspiele, die zwar wie typische Spiele durchaus auch Elemente von Unterhaltung (und manchmal auch von Wettbewerb) nutzen, die aber im Wesentlichen dem Wissens- und Kompetenzerwerb von Menschen dienen. Die Abbildung und Simulation eines Realitätsausschnittes wie dies für Planspiele (s.o.) zentral ist, kann, muss aber dabei nicht notwendig ein weiteres Element eines Lernspiels sein. Im Unterschied zu ePlanspielen, die hauptsächlich in Gruppen durchgeführt werden, sind digitale Lernspiele häufiger auch nur von Einzelpersonen spielbar und sie stehen damit dem traditionellen eLearning näher. „Serious game“ wird heute immer mehr als „Marketingbegriff“ von Spieleherstellern gebraucht, um Produkte von reinen Unterhaltungsspielen abzugrenzen (Aldrich, 2008). Der Begriff serious games ist zwar bereits mehr als 35 Jahre alt, er wird gerade in den letzten Jahren

74

Evaluation von ePlanspielen und digitalen Lernspielen

als Modetrend schwerpunktmäßig für digitale Spiele verwendet, weil viele Unternehmen Computerspiele nicht mehr nur als Freizeitbeschäftigung von Kindern und Jugendlichen sehen, sondern sie erkennen das Potenzial fürs Lernen von Mitarbeitern. Digitale Medien und Spiele für Schulungen zu nutzen, ist eine „technische“ Entwicklung im Zuge des eLearning, weil nun die entsprechende hard- und softwarebasierte virtuelle Umgebung für Web Based Games und Online-Spiele, Game Based Learning bzw. digitale Lernspiele existiert. Eigentlich ist trotz der technologischen Innovation die Grundidee und Methodik im Wesentlichen gleich geblieben, die klassische Plan- und Lernspiele schon seit Jahrzehnten auszeichnet. Clark Abt, dem Begründer des Begriffs „serious games“ (Abt, 1974), ging es in den 1970er Jahren noch gar nicht um digitale Lernspiele, sondern um nicht-digitale Karten- und Brettspiele, die neben einem Unterhaltungseffekt in erster Linie für Lern- und Bildungszwecke eingesetzt werden. Digitale Lernspiele sind so gesehen ein Teilbereich von „Gaming Simulation“-Methoden, die Planspiele aller Art, Rollenspiele mit und ohne computerunterstützte Simulationen, haptische Brettplanspiele, verhaltensorientierte Simulationen und Spiele und alle Formen von Lernspielen einschließen.

Abb. 5.4

TATA Interactive Systems „Airwalk College Intercultural Management Simulation ®“

Evaluation von ePlanspielen und digitalen Lernspielen

75

Das Spektrum der digitalen Lernspiele reicht wiederum von einfachen Computer-Denkspielen, wo Schüler Rätsel lösen müssen (z. B. im Fachgebiet Physik), über Videospiele (die z. B. krebskranken Kindern Mut machen sollen und spielerisch vermitteln, was im eigenen Körper geschieht), bis hin zu digitalen Lernspielen im Militär (z. B. für das Training interkultureller kommunikativer Kompetenzen in komplexen Entscheidungssituationen; vgl. Abbildung von TATA Interactive Systems „Airwalk College Intercultural Management Simulation“ die u.a. bei der US Armee eingesetzt wird). Zahlreiche webbasierte Lernspiele werden heute natürlich auch in Unternehmen eingesetzt, u.a. zum virtuellen Kennenlernen des Unternehmens und wichtiger Regeln und Abläufe für neue Mitarbeiter, zum Erlernen von Projektmanagement, zur Optimierung von Logistikprozessen, bis hin zur Simulation der Anwendung sicherheitsrelevanter Standards in Gefahrensituationen in der Produktion. Bei all diesen Formen von Spielen geht es immer auch um die Abbildung von Aspekten der Realität. Hierbei ist von Bedeutung, dass ein besonderer Vorzug der Modellbildung durch Simulationen darin liegt, dass sie als Nachbildung von Abläufen eingesetzt werden können, die man in der Wirklichkeit aus Zeit-, Kosten- oder Gefahrengründen nicht real durchführen kann oder will. Zentral ist auch hier die didaktisch angemessene Reduktion der Realität. Spiele werden nicht per se durch unterstützte Computersimulation „realistischer“ oder „serious“. Eine Computersimulation als Teil eines Planspiels garantiert noch keine Realitätsnähe, sog. Brettplanspiele sind nicht a priori weniger realitätsnah. Lerneffekte bei digitalen Lernspielen sind ebenfalls nicht unbedingt besser als bei nicht-digitalen Lernspielen. So werden beispielsweise in der Methode „Lego Serious Play ®“ überhaupt keine digitalen Medien und keine Computersimulation eingesetzt, sondern die Spieler bauen mit Legosteinen. Der kontinuierliche und erfolgreiche Einsatz dieser Methode insbesondere für Aufgabenstellungen des Projektmanagements in führenden Unternehmen zeigt exemplarisch, dass auch so ernsthafte Lernziele professionell und mit positiven Emotionen der Teilnehmer begleitet erreicht werden. Für digitale Lernspiele sprechen die klassischen Gründe des Einsatzes von eLearning-Technologien, wie z. B. die Entmaterialisierung des Lernens von Ort und Zeit („anytime“, „anywhere“) durch Fernunterricht, eine größere Wahlmöglichkeit beim Arbeitsstil und individuelle Vorgangsweisen beim Lernen, usw. Diese digitale Form von serious games versucht insbesondere Motivationsmethoden aus Unterhaltungsspielen anzuwenden, um Lernziele zu erreichen und Lernaktivitäten anzuregen (über die Story, über Beziehungen zwischen echten Spielern und simulierten Akteuren usw.). Hierbei ist eine wichtige Dimension die individuelle Adaptierbarkeit des Lernspiels. Didaktisch gut gemachte digitale Lernspiele können den Schwierigkeitsgrad und die Komplexitätsstufe in Bezug auf das Fähigkeitsniveau der Spielenden ideal variieren (Unter- und Überforderung wird vermieden).

76

5.2

Evaluation von ePlanspielen und digitalen Lernspielen

Evaluation von Planspielen, ePlanspielen und digitalen Lernspielen

Trotz der belegten Einsatzfelder und tausender Planspiele im Einsatz existieren vergleichsweise wenige brauchbare empirische Studien, die die Effizienz der Planspielmethode, die in der Praxis selbst kaum in Frage gestellt wird, belegen (jedenfalls meist nicht nach methodischen Standards der empirischen Sozialforschung). Die „face-validity“ und der unmittelbar erlebte Nutzen sind dabei so überzeugend, dass auf die Prüfung von Gütekriterien oder die Evaluation im wissenschaftlichen Sinne in der Praxis meist verzichtet wird. Wenn überhaupt, so wird die Erreichung von Lernzielen nur oberflächlich erfasst und auch die Analyse von Ergebniskriterien geht vielfach nicht über eine simple, deskriptive Beschreibung (z. B. Mittelwerte) von typischen Fragebogenitems zur Akzeptanz der Methode (nach dem Motto: „Das Planspiel hat Spaß gemacht“) hinaus, differenziertere Analysen, die Veränderungen von Kompetenzen zu messen, mit einem Vorher-Nacher-Vergleich und dem Vergleich mehrerer alternativer Trainingsmethoden, also Vergleichsgruppenuntersuchungen, sind leider kaum zu finden. Ausnahmen sind z. B. einige Forschungen zu System- und Teamkompetenz (Kriz & Brandstätter, 2003) und z. B. zum „Work-Flow-Game“, das an der Universiät Helsinki von der Arbeitseinheit Work Psychology entwickelt und im Rahmen von Personal- und Organisationsentwicklungsmaßnahmen auf allen vier Ebenen von Kirkpatrick (1960) (s.u.) positiv evaluiert wurde (vgl. Ruohomäki, 2002). Traditionellerweise sind die meisten Ansätze der Planspielevaluation outputorientiert und summativ. Schon allein die heterogenen Ergebnisse verschiedener Outcomestudien von Planspielen deuten aber darauf hin, dass zwischen Input und Output intervenierende Variablen beteiligt sind, die einen Einfluss auf das Lernergebnis nehmen (Kriz & Hense, 2005; Kriz, Auchter & Wittenzellner, 2008). Daher gilt es den Lernprozess als Ganzes in den Blick zu nehmen und aufzuklären, welche intervenierenden Variablen dabei eine Rolle spielen. Genau diesen Intentionen versucht der Evaluationsansatz der theoriebasierten Evaluation zu entsprechen (s.u.). Im Fall von Planspielen wäre zu klären, wie die Teilnahme an dem Planspiel zu den erwünschten Lernergebnissen und Projektzielen führt (Hense & Kriz, 2005). Dabei rückt insbesondere auch die didaktische Gestaltung der Planspieldurchführung in den Mittelpunkt des Interesses. Ein Beispiel für theoriebasierte Evaluation bieten die Ergebnisse des internationalen Projektes „Simgame“ (Simulation betriebswirtschaftlicher Entscheidungsprozesse), gefördert vom Leonardo-Programm der Europäischen Union, in dem die Wirkung von Planspielen für den Wirtschaftsunterricht und für KMU´s erforscht wurde (Kriz & Hense, 2004, 2006; Hense & Kriz, 2008a, 2008b; Hense, Kriz & Wolfe, 2009). Evaluation dient allgemein der Planungs- und Entscheidungshilfe, der Überprüfung und Verbesserung von praktischen Maßnahmen, der Beurteilung von Handlungsalternativen und des Nutzens einer Intervention (Wottawa, 2001). Eine gebräuchliche Definition von Evaluation nach Rossi & Freeman (1993) bezeichnet Evaluation als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung eines Konzepts, Designs oder der Umsetzung und des Nutzens sozialer Interventionsprogramme. Wichtig ist die Unterscheidung zwischen formativer und summativer Evaluation. Die summative Evaluation dient der

Evaluation von ePlanspielen und digitalen Lernspielen

77

zusammenfassenden Bilanzierung einer bereits stattgefundenen Intervention und beurteilt die Wirkung der abgeschlossenen Maßnahme. Bei Planspielen steht bei der rein summativen Wirkungsanalyse u.a. die Überprüfung der Akzeptanz der jeweiligen Simulationsmethode sowie die Bewertung der Erreichung von erwarteten Lerneffekten (Wissens- und Kompetenzerwerb) im Zentrum der Betrachtung. Die formative Evaluation liefert hingegen schon vor und während einer Intervention Informationen und Bewertungen mit dem Ziel, eine Maßnahme zu kontrollieren und zu optimieren. Einerseits wird hierbei eine fortlaufende Wirkungsanalyse durchgeführt, andererseits fokussiert diese Vorgehensweise auch verstärkt auf die Qualitätsanalyse der sich in Entwicklung befindlichen und zu testenden Planspiele und Lernmodule. Im Wesentlichen können Planspiele und auch ePlanspiele als Sonderfall von eLearning somit mit typischen Methoden summativer und formativer Evaluation erforscht werden (vgl. dazu auch die Beiträge von H. O. Mayer und J. U. Hense in diesem Band). Eine aktuelle theoretische Auseinandersetzung ist die von Klabbers (2004) aufgebrachte Diskussion der Planspieldisziplin aus zwei traditionell antagonistischen Perspektiven, der „Science of Design“ und der „Science of Analysis“. Einerseits ist Planspielentwicklung eine „praktische Kunst“, es geht u.a. um das Design von Planspielen mit klar definierten Anwendungskontexten- und Zielen (häufig einmalig auf den Einzelfall optimiert zugeschnitten). Erfolg bemisst sich hier eher pragmatisch anhand der Nützlichkeit praktische Probleme angemessen zu bewältigen. Andererseits werden Planspiele im Sinne einer „theoretischen Forschung“ von Wissenschaftlern in den jeweiligen Fachdisziplinen zur Generierung und Überprüfung von spezifischen Theorien benützt (Herz & Blätte, 2000; Kriz, 2005), häufig in Form von quasiexperimentellen Designs, womit aber durchaus im Sinne angewandter Forschung praxisrelevante Erkenntnisse gewonnen werden können. Erfolg bedeutet hier aber eher eine Bestätigung oder das Verwerfen von Theorien und/oder die Möglichkeit der Weiterentwicklung theoretischer Konzepte, die möglichst allgemein gültige Gesetzmäßigkeiten beschreiben. Die derzeit geführte Diskussion versucht die Gegensätze herauszuarbeiten, aber auch die potenziellen wechselseitigen Bezüge in einer Synthese zu verbinden und das Zusammenspiel beider Zugänge für die Weiterentwicklung der Planspieldisziplin fruchtbar zu machen (Kriz & Hense, 2006; Klabbers 2006). Für Evaluation von Planspielen bedeutet dies, dass klassische Evaluationsmethoden sozialwissenschaftlicher Forschung zur Untersuchung von Lerneffekten und Wirkungen von Planspielen herangezogen werden müssen. Dabei sind Standards der empirischen Sozialforschung traditioneller akademischer Wissenschaft einzuhalten (vgl. H.O. Mayer in diesem Band). Gleichzeitig bedeutet die Perspektive von Klabbers (2006, 2008), dass auch die aktuelle Praxis von Planspielentwicklung und Planspieldesign beleuchtet werden muss. Hierbei steht die Usability von Planspielen im Mittelpunkt, die insbesondere bei ePlanspielen z. B. die Usability der Benutzeroberfläche und der webbasierten Kommunikations- und Kooperationswerkzeuge mit einschließt. Die theoriebasierte formative Evaluation (s.u.) kann hier eine Brücke zwischen den beiden Planspielcommunities schlagen. Ein häufig zitiertes Modell bei Beiträgen zur Evaluation von digitalen und nicht-digitalen Plan- und Lernspielen (z. B. Peters et al., 2003) bezieht sich auf die schon 1959 vorgestellte und inzwischen weit verbreitete und anerkannte Taxonomie von Erfolgskriterien bei Perso-

78

Evaluation von ePlanspielen und digitalen Lernspielen

nalentwicklungsmaßnahmen von Kirkpatrick. In diesem Modell (z. B. Kirkpatrick, 1960; Allinger & Janak, 1989) werden wieder vier Ebenen unterschieden: 1.

Reaktion: damit sind subjektive Bewertungen, Einstellungen und Gefühle zur Intervention gemeint, die häufig durch Fragebögen oder Interviews erhoben werden.

2.

Lernen: dabei steht die Überprüfung der Aufnahme, Verarbeitung und Bewältigung von Lerninhalten durch die Teilnehmer im Fokus, die häufig durch Testverfahren (Fehleranzahl) gemessen wird, aber auch auf Urteilen von Teilnehmern, Trainern oder Beobachtern beruhen kann.

3.

Verhalten: dabei spielt die Umsetzung der Lerninhalte in verbesserten Handlungskompetenzen im realen Arbeitsverhalten eine zentrale Rolle, wobei häufig versucht wird, diese Transferleistung durch Befragungen von Teilnehmern, Kollegen oder Vorgesetzen zu untersuchen.

4.

Resultate: diese Ebene bedeutet die Beurteilung der Erreichung/Verbesserung organisationaler Kennzahlen wie Quantität und Qualität von Arbeitsleistungen, Leistungsbeurteilungen, Beförderungen, Kostenreduktionen, Krankenständen usw.

Kriterien der Ebenen 1 und 2 werden in der Regel unmittelbar nach einer Intervention gemessen, die aufwendigere Überprüfung von Kriterien der Ebenen 3 und 4 sind erst nach einigem Zeitabstand zur Maßnahme sinnvoll zu evaluieren. Bei den Ebenen 3 und 4 ist es aber u.a. wegen diesem Zeitabstand relativ schwierig eindeutig festzustellen, ob tatsächlich nur die Maßnahme für die Veränderung von Kriterien kausal verantwortlich gemacht werden kann, da die Teilnehmer in der Zwischenzeit einer Vielzahl von weiteren Einflussfaktoren und Entwicklungen ausgesetzt sind, die als „Störvariablen“ in der Praxis kaum kontrolliert werden können. Typischerweise kommen zur Messung des Erfolgs von Planspielmaßnahmen im Sinne einer summativ-outputorientierten Evaluation quasiexperimentelle Designs zum Einsatz (Campbell & Stanley, 1963). Jede zu prüfende Maßnahme ist dabei letztlich mit einer oder mehreren Wirkhypothesen verknüpft, die mit statistischen Methoden ausgewertet werden. Diese Wirkhypothesen sollten dabei auf einer Theorie basieren, die u.a. erklärt, wie die Maßnahme wirkt (s.u. theoriebasierte Evaluation). Allgemein wird die Wirkung einer Intervention in wissenschaftlichen Standards entsprechenden Studien als abhängige Variable bezeichnet und die Maßnahme selbst als unabhängige Variable aufgefasst (Bortz & Döring, 1999). Leider fehlen bei der Mehrzahl an „Planspielevaluationen“ dieser eindeutige Theoriebezug und auch die Analyse von Ergebniskriterien.

5.2.1

Theoriebasierte Evaluation von Planspielen und die Funktion logischer Modelle

Eine rein summative und outputorientierte Evaluation war vor allem in den frühen Phasen der Forschung über Planspiele ein wichtiges Unterfangen, da zunächst einmal die Frage von Interesse war, ob sich überhaupt zeigen lässt, dass mit Planspielen und ePlanspielen die er-

Evaluation von ePlanspielen und digitalen Lernspielen

79

warteten Lernergebnisse zu erzielen sind. Wie Überblicksarbeiten belegen, konnte dabei trotz teils heterogener Ergebnisse in der Tendenz gezeigt werden, dass Planspiele und ePlanspiele allgemein als effektive Lernmethode gelten können (Faria, 2001; Greenlaw & Wyman, 1973; Keys & Wolfe, 1990; Wolfe, 1997; Keller, 2001; Lainema, 2004; Kriz, Auchter & Wittenzellner, 2008). Natürlich ist diese Herangehensweise und die damit verbundenen Fragen der Wirkungsanalyse von Planspielen durchaus auch heute noch berechtigterweise ein wesentlicher Teil der Evaluation. Jedoch ist diese traditionelle Herangehensweise als zu eng anzusehen, da rein outputorientierte Evaluationen nicht ausreichend in der Lage sind aufzuklären, warum und wie es zu den erzielten Lernergebnissen einer Maßnahme kommt (Judd, 1987). Dies ist aber in vielen Planspielprojekten von zentraler Bedeutung, da meist eine Verknüpfung klassischer summativer und outputorientierter Ansätze mit einer formativen Evaluation sinnvoll ist, die das Ziel verfolgt, im gesamten Projektablauf immer wieder erforderliche Informationen zur Verbesserung der entwickelten Planspielvarianten und der weiteren mit den Planspielen vernetzten Lern- und Transfermodule zu liefern. Deshalb hat sich im Laufe der vergangenen Jahre die Sichtweise darüber verändert, welche Methoden und Kriterien der Evaluation von Planspielen zugrunde zulegen sind (Feinstein & Cannon, 2002). Ein Hauptkritikpunkt der summativ-outputorientierten Evaluation besteht darin, dass im Prinzip das Planspiel bei solchen Studien als „black box“ (Chen & Rossi, 1983) betrachtet wird, mit den Variablen Teilnahme/Nichtteilnahme als Input und der Variable Lernerfolg als Output. Gerade wenn man nun aber an der Verbesserung eines konkreten Planspiels oder an einer Optimierung der Lernmethode an sich interessiert ist, dann ist es notwendig, die black box aufzulösen, den Lernprozess als Ganzes in den Blick zu nehmen und aufzuklären, welche intervenierenden Variablen dabei eine Rolle spielen. Genau diesen Intentionen versucht der Evaluationsansatz der theoriebasierten Evaluation zu entsprechen (Chen, 1990; Weiss, 1997). Obwohl dessen Grundideen und -konzepte schon seit einiger Zeit in der Evaluationsliteratur zu finden sind (Fitz-Gibbon & Morris, 1975), hat er erst in jüngerer Zeit breite Akzeptanz in der Evaluationsforschung gefunden (Rossi, Lipsey & Freeman, 2004). Hauptthese und Stärke des theoriebasierten Ansatzes ist seine Prämisse, dass die Evaluation von Maßnahmenprogrammen, Projekten, Interventionen oder Lernumgebungen – wie etwa auch dem Planspiel – von einem logischen Modell, einer „Theorie“ des Evaluationsgegenstandes ausgehen sollte. Ein solches logisches Modell repräsentiert die theoretischen Annahmen, die dem Design und der Durchführung einer Maßnahme implizit oder explizit zugrunde liegen (Rogers, 2000). Gewöhnlich besteht es aus verschiedenen Variablen, die den drei Komponenten Vorbedingungen (input), Prozess (actions) und Wirkungen (output bzw. outcome) der Maßnahme zugeordnet werden können, und deren gegenseitigen Abhängigkeiten. Im Fall von Planspielen wäre von einem logischen Modell zu erwarten, dass es aufzeigt, wie die Teilnahme an dem Planspiel zu den erwünschten Lernergebnissen und Projektzielen führt. Daher müssten zu seiner Erstellung nicht nur Ergebnisse der aktuellen Planspielforschung (z. B. Faria, 2001; Garris, Ahlers & Driskell, 2002; Hindle, 2002; Wolfe, 1997) berücksichtigt werden, sondern vor allem aktuelle lernpsychologische Ansätze wie die des situierten Lernens (s.o.) – insbesondere zum problemorientierten Lernen (s.u.) – sowie allgemeinere Modelle der Qualität von Unterricht und Lernumgebungen (Ditton, 2002; Friedrich, Hron & Hesse, 2001).

80

Evaluation von ePlanspielen und digitalen Lernspielen

In einem konkreten Evaluationsprojekt kann ein logisches Modell des Evaluationsgegenstands und seiner Wirkung verschiedene Funktionen erfüllen: 1.

Erstens dienen sie zur Fokussierung der Evaluation, indem sie die Identifikation und Auswahl jener Variablen erleichtern, die während der Evaluation beachtet werden müssen.

2.

Zweitens können sie den Austausch- und Kommunikationsprozess mit den Programmverantwortlichen und -durchführenden unterstützen.

3.

Drittens liefert ein logisches Modell einen Rahmen für die Interpretation dessen, was im Planspiel geschieht. Die im Modell angenommenen Beziehungen zwischen Input-, Prozess- und Output-/Outcomevariablen können dann je nach Datenqualität und Stichprobengröße mittels korrelativen und regressionsanalytischen Verfahren, Pfadanalysen oder Strukturgleichungsmodellen untersucht werden. Dadurch können jene Variablen identifiziert werden, die einen besonders großen Beitrag zum Erreichen der Lernziele in einem Planspiel leisten.

4.

Viertens sind diese genannten Quellen des logischen Modells (Planspielforschung, lernpsychologische Ansätze und Erkenntnisse der Unterrichtsforschung) und das jeweilige logische Modell selbst dabei gleichzeitig wesentliche Grundlagen, die bereits in der Designphase zur optimalen Gestaltung des zu entwickelnden Planspiels beitragen. Das logische Modell ist dabei Ausgangspunkt für die didaktische Konzeption des Planspiels und unterstützt so Designentscheidungen schon in der frühen Entwicklungsphase eines ersten Planspielprototypen und erlaubt so unmittelbare Verbesserungen im Design des Planspiels oder bei seiner Durchführung.

5.2.2

Beispiel: logisches Modell von Simgame

In einer konkreten Evaluationsstudie, der Evaluation des Planspiels SIMGAME, haben wir den theoriebasierten Ansatz unter anderem angewandt, um in einer frühen formativen Phase der Spielentwicklung Hinweise auf mögliche Verbesserungspunkte zu finden. Bei Simgame handelt es sich um ein 2003 bis 2005 durchgeführtes Leonardo-da-Vinci Programm der Europäischen Union, bei der zwei Varianten eines geschlossenen brettbasierten Unternehmensplanspiels für den Wirtschaftsunterricht an Sekundarstufen (in weiterer Folge auch für Hochschulen) und für die Personalentwicklung von KMU´s entwickelt und in 5 Nationen evaluiert wurden. Bei der statischen Version stehen die Spielteams nicht in Konkurrenz zueinander, alle haben gleiche Entscheidungsabläufe und Ergebnisse. Diese erste Version dient dem Kennenlernen der zentralen betriebsinternen Abläufe. Die zweite, dynamische Version beinhaltet darüber hinaus die Möglichkeit, dass die Spielteams eigene Entscheidungen treffen können. Die Teams repräsentieren dabei verschiedene Unternehmen, die auf gemeinsamen Märkten in Konkurrenz zueinander stehen. Dies führt letztlich auch zu unterschiedlichen Betriebsergebnissen (Spielerfolgen) für die einzelnen Spielteams.

Evaluation von ePlanspielen und digitalen Lernspielen

81

Die Abbildung zeigt als Beispiel das logische Grundmodell von „Simgame“. Obwohl für die Evaluation jedes Planspiels prinzipiell ein eigenes logisches Modell erstellt werden muss, so enthält das hier vorgestellte logische Modell für Simgame doch eine Reihe von generalisierbaren Aspekten, insbesondere für geschlossene Planspiele, die in einem Ausbildungskontext eingesetzt und evaluiert werden. Die Abbildung zeigt dabei das grobe Überblicksmodell; es sind im Detail noch verfeinerte und genauere Festlegungen und Analysen von einzelnen Wechselwirkungen zwischen Input,- Prozess- und Outcomevariablen notwendig, die hier jedoch nicht ausführlich diskutiert werden können. Exemplarisch seien einige Beispiel mit entsprechendem Theoriebezug aufgeführt:

Input Students • previous knowledge • previous experience • motivation • expectancies • age • gender

Gaming simulation • content quality • game/simulation quality Teacher • training experience with gaming simulations • motivation • expectancies • preparation

Abb. 5.5

Process

Individual learning • intensity of involvement • over-/underchallenged

Interaction with the game • time-on-task • adequacy of contents • debriefing

Social learning • student-student • intensity • quality • student-teacher • instruction • support

Short-term outcomes Learning effects • cognitive (knowledge) • social • motivational

Acceptance (students) • of the game • of the method Acceptance (teachers) • of the game • of the method Organisational effects • class climate

Long-term outcomes

Individual outcomes • school success • vocational success

Simgame Project • implementation of the game • dissemination of the method

Beispiel eines logischen Modells für die Evaluation eines Wirtschaftsplanspiels (Simgame-Projekt)

Bei den Schüler/Teilnehmervariablen (Input) wurde die Motivation als Variable aufgenommen, da diese lernpsychologisch als bedeutende Einflussgröße für Lernergebnisse von Maßnahmen gilt (vgl. z. B. Deci & Ryan, 1993). Weitere Faktoren sind Geschlecht und Alter der Teilnehmer, denn diese konnten in empirischen Studien als wichtig für Lernmotivation, Selbstkonzept und Leistung nachgewiesen werden (Fend, 1997). Auch das Vorwissen kann theoretisch als Wirkfaktor angesehen werden, welches sich auf die Leistungserwartungen und das Selbstkonzept der eigenen Fähigkeiten auswirkt; gute Vorkenntnisse stärken das Selbstvertrauen und sind somit eine entsprechende Voraussetzung für erfolgreiches Lernen (Krapp, 1997). Als ein Beispiel für den Bereich der Prozessvariablen kann das QUAIT-Mo-

82

Evaluation von ePlanspielen und digitalen Lernspielen

dell (Quality of Instruction, Appropriateness, Incentives, Time) von Slavin (1996) zentrale Faktoren beisteuern, nämlich die verfügbare Lernzeit (im logischen Modell „time on task“) und die Angemessenheit des Schwierigkeitsgrades von Lerninhalten (im logischen Modell u.a. dargestellt und erfasst durch „adequacy of contents“ und den Aspekt „over/underchallenged“), wobei hier auch Studien mit Planspielen zeigen, dass eine längere Phase der Überoder Unterforderung durch die Auswahl eines Planspiels mit einem ungeeigneten Komplexitätsgrad in Bezug zur Zielgruppe (und hier ist u.a. wieder das Vorwissen der Teilnehmer relevant) zu keinen oder sogar negativen Effekten führt (Renkl, Gruber, Mandl & Hinkhofer, 1994). Alle Variablen eines logischen Modells sollten in dieser Weise auf Forschungsergebnisse und damit in Zusammenhang stehende Theoriekonzepte zurückgeführt werden können. Die Durchführung und Erprobung von Simgame (beide Versionen) kann durchaus als Erfolg gewertet werden. In der Einschätzung von Lehrern/Trainern und den Teilnehmern wurden die Lernziele im fachlichen, sozialen und motivationalen Bereich erfüllt, fachliche Verbesserungen und positive motivationale Effekte konnten auch in der Langzeitmessung nachgewiesen werden. Die Fülle der Ergebnisse kann und soll hier natürlich nicht dargestellt werden (vgl. dazu Hense, Kriz & Wolfe, 2009).

5.2.3

Defizite der Evaluation von ePlanspielen

In der Praxis von Unternehmen und Hochschulen werden erstaunlich wenig eingesetzte ePlanspiele und digitale Lernspiele überhaupt in ihrer Wirkung (bezüglich Wissenserwerb) evaluiert, maximal werden summative Zufriedenheitsbewertungen nach dem Einsatz von ePlanspielen durch Verwendung von webbasierten Befragungstools durchgeführt. Eine anekdotische Begebenheit soll das an dieser Stelle illustrieren: Die renommierte Harvard Business School setzt z. B. eigene entwickelte ePlan- und Lernspiele ein (und verkauft diese auch). Auf Nachfrage nach Evaluationsstudien zur Wirksamkeit und Lernzielkontrolle dieser Produkte erfolgte die Antwort, dass das sicher interessant und notwendig wäre zu untersuchen, dass es aber keine Studien gäbe, der Erfolg sei vielmehr daran ablesbar, dass diese Produkte bei den Studierenden mit hoher Zufriedenheit bewertet würden und dass die Produkte gute Verkaufszahlen aufweisen würden (persönliche Mitteilung 2009 von Denis Saulnier, Educational Technology Director Higher Education, Harvard Business Publishing). Ein weiteres damit verwandtes Problemfeld ist die Frage nach der effektiven Gestaltung von Debriefingprozessen in ePlanspielen und von eAssessment im Zusammenhang von Fernplanspielen. Hierbei geht es a) um die Frage der Überprüfung von Lernfortschritten und des Kompetenzerwerbs der Teilnehmer an ePlanspielen durch webbasierte Assessmenttools und b) um die Frage, wie digitale Spiele und ePlanspiele als Assessmentmethode zur Überprüfung von Wissenserwerb verwendet werden können, wobei dieses Wissen im „klassischen“ Unterricht oder ggf. ebenfalls durch eLearning erworben wurde (vgl. Moreno-Ger, Burgos & Torrente, 2009). Beides – eAssessment von Wissenserwerb durch eSpiele und eSpiele als Form des Assessment von eLearning – steckt aber noch in den „Kinderschuhen“. Notwendig wäre dazu vor allem aktuelle Erkenntnisse zur Lernzielkontrolle im eLearning einzubezie-

Evaluation von ePlanspielen und digitalen Lernspielen

83

hen, wie z. B. das CELG-Modell (Computer Supported Eavaluation of Learning Goals) von Mayer, Hertnagel & Weber (2009). Aktuelle umfassende Metastudien im Bereich der ePlanspiele und digitalen Lernspiele kommen zwar zu dem erfreulichen Ergebnis, dass diese Methoden durchaus die gewünschten Lerneffekte bringen (vgl. Wilson et. al., 2009), sie zeigen aber zugleich auf, dass noch zu wenig eindeutiges Wissen darüber vorliegt, was (welche Attribute) wie im ePlanspiel tatsächlich wirksam ist. Der hier diskutierte Ansatz der theoriebasierten Evaluation von Planspielen (s.o.) könnte mithelfen dieses Defizit zu verringern, bisher wurde er aber für die Evaluation von ePlanspielen noch nicht herangezogen. Das logische Modell von Simgame als klassisches Planspiel (s.o.) müsste dazu erheblich erweitert werden und um typische Elemente und Spielattribute ergänzt werden, die bei ePlanspielen und digitalen Lernspielen erforscht werden (z. B. Usability der Benutzeroberfläche bei ePlanspielen oder Faktoren im Zusammenhang mit der Gestaltung von „Mystery“ und „Fantasy“, die bei manchen digitalen Lernspielen vorkommen).

5.2.4

Beispiel: Aktuelle Evaluationstrends beim Fernplanspiel MARGA

Seit Beginn des MARGA-Fernplanspiels (s.o.) tragen die Teilnehmenden aktiv dazu bei, dass das MARGA Unternehmensplanspiel stetig verbessert und erweitert wird. Durch wertvolle Anregungen, Hinweise und konstruktive Kritik zeigen die Teilnehmenden im Rahmen der sich an einen MARGA Wettbewerb anschließenden Bewertung auf, wo Verbesserungspotenzial und Handlungsbedarf liegen. Die Evaluationspraxis hat somit bei MARGA Business Simulations eine lange Tradition, wird außerordentlich geschätzt – und ständig weiterentwickelt. Die derzeitigen Trends liegen darin, umfassende summative Evaluationen am Ende eines Fernplanspiel-Wettbewerbs durch mehrere kleine Umfragen während des gesamten Planspielverlaufs zu ersetzen (im Sinne einer formativen Evaluation) und die Erkenntnis daraus unmittelbar im laufenden Planspiel-Wettbewerb für ein proaktives Tutoring der Teams zu nutzen. So profitieren nicht erst die Teilnehmenden in der nächsten Wettbewerbsrunde von einem höheren Maß an Qualität, sondern auch die Teilnehmenden des aktuellen Fernplanspiels können direkt einen signifikanten Nutzen aus ihrem Feedback und den damit verbundenen Anregungen an MARGA ziehen. Die Evaluationspraxis bei MARGA hat über viele Jahre einen standardisierten Fragebogen am Ende einer Teilnahme vorgesehen. Die ausscheidenden Teams in den jeweiligen Runden haben bislang am Ende ihrer Teilnahme eine Email mit einem standardisierten Fragebogen als PDF-Datei zugeschickt bekommen, der ausgefüllt und an die MARGA Business Simulations gefaxt oder per Email zurückgeschickt werden konnte. Dieser Fragebogen wurde vom gesamten Team ausgefüllt – pro Team wurde also ein Fragebogen eingereicht und von MARGA ausgewertet. Hierdurch wurden bereits wertvolle Anregungen übermittelt, wenngleich oftmals lediglich ein Teammitglied den Fragebogen für das gesamte Team ausgefüllt hat und dadurch kaum differenzierte Bewertungen zustande kamen. Der erste Teil des Fragebogens enthielt sowohl Angaben zur Teamgröße und -zusammensetzung (Fachrichtungen, Funktion

84

Evaluation von ePlanspielen und digitalen Lernspielen

im Unternehmen, Branche, etc.) als auch Angaben zu einzelnen Personen (Alter der Teammitglieder, Ausbildung, etc.). In einem zweiten Teil wurde die Zufriedenheit mit dem MARGA Fernplanspiel-Wettbewerb (Software, Service, Unterlagen, WBTs, etc.) und die Einstellung der Teilnehmenden zur Weiterempfehlung von MARGA abgefragt. Die Möglichkeit, am Ende des Fragebogens eine Teilnahmebestätigung zu bestellen, galt als Maßnahme, um den Teilnehmenden einen Anreiz zur Beantwortung des gesamten Fragebogens zu geben. Die Motivation, die Evaluationspraxis von MARGA grundlegend zu überdenken und weiterzuentwickeln, wurde insbesondere dadurch initiiert, dass die Änderungen, die im Nachgang zu einer erfolgten Bewertung vorgenommen wurden, meist erst den Teilnehmenden folgender Planspiel-Wettbewerbe zugute kommen. Daraus ergab sich im Umkehrschluss die Forderung, ein proaktives und kontinuierliches Tutoring während des gesamten Planspiel-Wettbewerbs zu gewährleisten. Ein weiterer Grund für die angestoßenen Veränderungen liegt darin, dass technologische Trends und die damit verbundenen Möglichkeiten im Rahmen moderner Software-Anwendungen eine Verbesserung der Evaluationspraxis gut unterstützen. Die neue Umfrage-Software erlaubt die flexible Gestaltung von Fragebögen sowie die automatisierte Zusendung an die Teilnehmenden. Diese erhalten nun nicht mehr einen umfangreichen Fragebogen am Ende Ihrer Teilnahme, sondern kleinere Umfragen in spezifischen Phasen des MARGA Fernplanspiel-Wettbewerbs. So werden beispielsweise im Anschluss an das einführende Web-Kick-Off, welches für jedes Team durchgeführt wird, die Zufriedenheit und die Effizienz des Kick-Offs abgefragt. Gleiches geschieht nach den Feedback-Gesprächen, die nach der Hauptrunde ebenfalls per Web-Konferenz durchgeführt werden. Die einzelnen Phasen des Planspiels sind darüber hinaus von verschiedenen inhaltlichen Schwerpunkten geprägt: So werden beispielsweise die Themen Strategien umsetzen, Engpasssituationen meistern, Ressourcen optimieren und Marktpotenziale schöpfen fokussiert. Kleine Umfragen über den gesamten Planspielverlauf hinweg fragen ab, ob die Teilnehmenden mit der Wissensvermittlung und -anwendung zufrieden sind, ob sie sich inhaltlich gut gerüstet fühlen und ob die entsprechenden Zusammenhänge in MARGA erkannt und genutzt wurden. Resultiert aus diesen Umfragen, dass einzelne Teilnehmende oder ganze Teams Nachholbedarf haben oder mit den genutzten Lehrmethoden oder -inhalten nicht zufrieden sind, so kann ein MARGA Tutor direkt Kontakt aufnehmen, um Defizite auszugleichen, aktive Unterstützung anzubieten oder auch inhaltliche Themen zu vertiefen. Damit ist gewährleistet, dass jedes Team den angestrebten Lernerfolg realisiert, sich gut betreut fühlt und direkt von Verbesserungen profitiert. Die Kommunikation dieser Maßnahmen an die Personalverantwortlichen führt zudem zu einer hohen Zufriedenheit bei den Kunden und macht sowohl den Lernerfolg als auch die Performance einzelner Teams messbar. Ein großer Vorteil der neuen Evaluationspraxis bei MARGA ist, dass nicht mehr ausschließlich gesamte Teams, sondern einzelne Teammitglieder eine Bewertung abgeben können. Damit können schwächere Teammitglieder aufgefangen oder Dissonanzen im Team ausgeglichen werden. Zudem ist das Evaluationsverfahren an sich für den Teilnehmenden als auch für MARGA Business Simulations einfacher und zeitsparend. Der Teilnehmende erhält eine Email mit der Aufforderung zur Bewertung sowie einem Link zu dem web-basierten Fragebogen. Dieser wird online ausgefüllt und abgeschickt, ohne dass er zunächst heruntergela-

Evaluation von ePlanspielen und digitalen Lernspielen

85

den, ausgedruckt und zugefaxt werden müsste. Durch die Zusendung mehrerer kleiner Umfragen während des gesamten Fernplanspiels wird zudem die Motivation der Teilnehmenden gefördert, eine phasenspezifische Bewertung abzugeben. Denn nun wird nicht mehr ein sehr umfangreicher Fragebogen am Ende der Teilnahme eingefordert, sondern je nach thematisierten Inhalten und individuellem Bedarf kommen nun spezifische Fragen zum Einsatz. Da der Fernplanspiel-Wettbewerb bis zu einem halben Jahr andauern kann, ist dies ein großer Vorteil: Die Teilnehmenden bewerten nun nicht mehr erst am Ende Ereignisse und Inhalte aus früheren Phasen des Fernplanspiels, deren Effizienz und Zufriedenheit eventuell durch spätere Erfahrungen im Planspielverlauf verzerrt sind, sondern erhalten zeitnah die Möglichkeit, die Erfahrungen und Anregungen direkt zu formulieren. Die Nutzung der neuen Evaluationspraxis für ein proaktives Tutoring ist dabei von zentraler Bedeutung. Teilnehmende bzw. Tutoren haben jederzeit die Möglichkeit, organisatorische, technische oder inhaltliche Unterstützung einzufordern bzw. anzubieten. Die Resultate der phasenspezifischen Umfragen geben Hinweise auf die Zufriedenheit und den Lernerfolg eines Teams – und ermöglichen so ein gezieltes Tutoring. Dies erhöht nicht nur die Qualität des MARGA Fernplanspiel-Wettbewerbs, sondern insbesondere auch das Lernergebnis und die Lernerfahrung bei jedem einzelnen Teilnehmenden.

5.3

Fazit

Über die Verknüpfung von Lerninhalt, Gaming-Methode, Didaktik und Anwendung in der Praxis machen sich viele Hochschulen und Unternehmen noch zu wenig Gedanken. Gerade bei reinen digitalen Lernspielen, die derzeit typisch für serious games stehen, aber auch bei klassischen ePlanspielen (z. B. Fernplanspiele mit verteilten Gruppen und/oder verteilten Teilnehmern) existieren heute erst wenige wirksame Debriefingansätze. Vom heutigen Standpunkt aus betrachtet sind somit Präsenzphasen in ePlanspielen für die Gestaltung eines angemessenen und umfassenden Debriefing von Vorteil. In diesen Präsenzphasen kommen die Teilnehmer – zumindest zum Abschluss des Planspiels – direkt an einem realen Ort zusammen, um gemeinsam mit Unterstützung der Trainer/Lehrer kommunizieren und reflektieren zu können. Allerdings zeigen aktuelle Entwicklungen – wie das hier angeführte Beispiel des Fernplanspiels MARGA – dass durch webbasierte formative Evaluation und sofortige Reaktion durch reale Tutoren unter Einbeziehung moderner Web 2.0-Interaktionstools kontinuierliche Qualitätsverbesserung und Debriefing auf hohem Niveau erreicht werden können und dass damit insbesondere der fachliche Kompetenzerwerb gut abgesichert wird. Insgesamt zeigt die Forschungslandschaft im Bereich der ePlanspiele und digitalen Lernspiele noch große Lücken. Evaluation als Wirkungsforschung auf sozialwissenschaftlich hohem Niveau ist selten und insbesondere über die genaue Wechselwirkung verschiedener Spielmerkmale für das Zustandekommen von nachgewiesenen Lerneffekten ist noch viel zu wenig bekannt. Abhilfe könnte der in diesem Beitrag dargestellte formative theoriebasierte Evaluationsansatz bringen, er ist aber bisher nur auf einige wenige klassische Planspiele und nicht auf ePlanspiele angewandt worden. Ein besonderes Defizit ergibt sich derzeit im Be-

86

Evaluation von ePlanspielen und digitalen Lernspielen

reich der systematischen Lernzielüberprüfung bei ePlanspielen als Teil der netzbasiertern Lernumgebung. Dazu müssen für verschiedene Wissens- und Kompetenzniveaus Lernziele für ePlanspiele mit jeweils entsprechenden webbasierten Kontrollaufgaben entwickelt werden. Dies wird zwar in der Praxis bereits teilweise durch die ePlanspiele begleitenden WBTs und entsprechende netzbasierte Übungsaufgaben gelöst, dennoch besteht hier bei der Operationalisierung und Messung von Lernzielen von ePlanspielen und digitalen Lernspielen noch erheblicher Weiterentwicklungsbedarf.

5.4

Literatur

Abt, C. (1974). Serious Games. New York Achtenhagen, F. & Tramm, T. (1993). Übungsfirmenarbeit als Beispiel handlungsorientierten Lernens in der kaufmännischen Bildung. In: Friede, C. K. & Sonntag, K. (Hrsg.): Berufliche Kompetenz durch Training (S. 161–184). Heidelberg Aldrich, C. (2008). The Complete Guide to Simulations and Serious Games: How the Most Valuable Content Will be Created in the Age Beyond Gutenberg to Google. San Francisco Alliger, G. & Janak, E. (1989). Kirkpatrick´s levels of training criteria: Thirty years later, Personnel Psychology, 42, 331–342 Altrichter, H. & Posch, P. (1994). Aspekte der didaktischen Gestaltung von Fachhochschulstudiengängen. Berufliche Bildung und Qualität der Lehre. In: Höllinger, S., Hackl, E. & Brünner, C. (Hrsg): Fachhochschulstudien – unbürokratisch, brauchbar und kurz. Wien Bagdonas, E., Patasiene, I. & Skvernys, V. (2001). Business Game as a Tool for Distance Learning. In: A. Villems (Ed.). Bridging the Information and Knowledge Societies (p. 195– 206). Tartu Bandura, B. (1977). The Social Learning Theory. Englewood Cliffs Bickel, S., Yildiz, M., Blessing, B., Kriz, W.C., Olsowski, G. & Eiselen, T. (2008, in press). eBeerGame – an online simulation game for the training of supply chain management. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Blötz, U. & Bundesinstitut für Berufsbildung (2008) (Hrsg). Planspiele in der beruflichen Bildung. Bielefeld. 5. aktualisierte und erweiterte Auflage. Bielefeld Bortz, J. & Döring, N. (1999). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin Brown, J. S., Collins, A. & Duguid, P. (1989). Situated cognition and the culture of learning. Educational Researcher, 18(1), 32–42

Evaluation von ePlanspielen und digitalen Lernspielen

87

Cai, Y (2008). Virtual Reality Educational Games. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Campbell, D. T. & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago Capaul, R. (2000). Die Planspielmethode in der Schulleiterausbildung. Bad Heilbrunn Chen, H. T. & Rossi, P. H. (1983). Evaluating with sense. The theory-driven approach. Evaluation Review, 7, 283–302 Chen, H. T. (1990). Theory-driven evaluations. Newbury Park Claassen, L., Gruijs, E. & van den Berg. M. (2008). Virtual worlds in (secondary) education: experiences and ideas of a learner and a reseller. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Crookall, D. & Arai, K. (1994). Simulation and Gaming across disciplines and cultures. Proceedings of the ISAGA 25th Conference in Ann Arbor. London De Caluwé, L., Hofstede, G.J., Keeris E. & Peters, V. (2008) (Hrsg). Gaming: the active substance. What is it that makes simulation games such a powerful tool for learning? Nijmegen Deci, L.E. & Ryan, R.M. (1993). Die Selbstbestimmungstheorie der Motivation und ihre Bedeutung für die Pädagogik. Zeitschrift für Pädagogik, 39, 1, 223–238 Ditton, H. (2002). Unterrichtsqualität. Konzeptionen, methodische Überlegungen und Perspektiven. Unterrichtswissenschaft, 197–212 Duke, R. & Geurts, J. (2004). Policy Games for strategic management. Amsterdam Duke, R.D. (1974). Gaming: The future´s language. New York Faria, A. J. (2001). The changing nature of business simulation/gaming research: A brief history. Simulation & Gaming, 32, 97–110 Fechner, H.-J. & Nill, A.. (2004). Business Simulations within Executive Education – The Trade-off between technological Opportunities and intended Learning Objectives. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 175–184). München Feinstein, A. H. & Cannon, H. M. (2002). Constructs of simulation evaluation. Simulation & Gaming, 33, 425–440 Fend, H. (1997). Der Umgang mit Schule in der Adoleszenz. Göttingen: Hogrefe Fitz-Gibbon, C. T. & Morris, L. L. (1975). Theory based evaluation. Evaluation Comment, 5(1), 1–4 Florschuetz, K. H. & Nill, A. (2009). Wissenstransfer durch simulierte Erfahrungen. In: Jahrbuch Personalentwicklung (S. 157–164). Köln

88

Evaluation von ePlanspielen und digitalen Lernspielen

Friedrich, H. F., Hron, A. & Hesse, F. W. (2001). A framework for designing and evaluating virtual seminars. European Journal of Education, 36, 157–174 Garris, R., Ahlers, R. & Driskell, J. E. (2002). Games, motivation, and learning: A research and practice model. Simulation & Gaming, 33, 441–467 Geilhardt, Th. & Mühlbradt, Th. (1995) (Hrsg.). Planspiele im Personal- und Organisationsmanagement. Göttingen Geurts, J., Joldersma, C. & Roelofs, E. (1998). Gaming/Simulation for Policy Development and Organizational Change. Tilburg Geuting, M. (2000). Soziale Simulation und Planspiel in Pädagogischer Perspektive. In: Herz, D. & Blätte, A. (Hrsg.): Simulation und Planspiel in den Sozialwissenschaften (S. 15– 62). Münster Giddens, A. (1993). New Rules of Sociological Method, Cambridge Gräsel, C. (1997). Problemorientiertes Lernen. Göttingen Greenlaw, P.S. & Wyman, F.P. (1973). The teaching effectiveness of games in collegiate business courses. Simulation & Games, 4(3): 259–294 Gruber, H., Law, L.-C., Mandl, H. & Renkl, A. (1995). Situated learning and transfer. In P. Reimann & H. Spada (Eds.), Learning in humans and machines: Towards an interdisciplinary learning science (pp. 168–188). Oxford Gruber, H., Mandl., H. & Renkl, A. (2000). Was lernen wir in Schule und Hochschule: Träges Wissen? In H. Mandl & J. Gerstenmaier (Eds.) Die Kluft zwischen Wissen und Handeln (S. 139–157). Göttingen Gudjohns, H. (1997). Handlungsorientierter Unterricht. Begriffskürzel mit Theoriedefizit? In: Pädagogik, 49, 1, 6–10 Hansmann, R., Weymann, M., Francke, C. & Scholz, R. W. (2003). Internet-based environmental education: two experiments on the simulation game SimUlme. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray (Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 49–54). Edinburgh Harramach, N. (1992). Das Management-Plan-Spiel-Buch. Wien Henning, K. & Strina, G. (2003). Planspiele in der betrieblichen Anwendung. Aachen Hense, J. & Kriz, W.C. (2005). Bildungscontrolling und theoriebasierte Evaluation zur Verbesserung von Bildungskonzepten. In: Gust, M. & Weiß, R. (Hrsg.). Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte – Methoden – Instrumente – Unternehmenspraxis. (S. 231–242). München

Evaluation von ePlanspielen und digitalen Lernspielen

89

Hense, J. & Kriz, W.C. (2008). Improving the quality of gaming simulations: Can we learn anything from evaluation? In: I. Mayer & H. Mastik (Eds.). Organizing and Learning through Gaming and Simulation (pp. 85–93). Delft Hense, J. & Kriz, W.C. (2008). Making simulation games an even more powerful tool. Introducing the theory-based evaluation approach. In: L. de Caluwé, G. J. Hofstede & V. Peters (Eds.), Why do games work? In search for the active substance (pp. 211–217). Deventer Hense, J. (2004). Theory-oriented evaluation of gaming simulations – the case of Simgame. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 339–351). München Hense, J., Kriz, W.C. & Wolfe, J. (2009). Putting theory oriented evaluation in practice: A logic model approach for the evaluation of Simgame. Journal of Simulation & Gaming, 40, 1, 110–133 Hense, J., Mandl, H. & Gräsel, C. (2001). Problemorientiertes Lernen. Warum der Unterricht mit Neuen Medien mehr sein muss als Unterrichten mit neuen Medien. Computer und Unterricht, 11(4), 66–11 Herz, D. & Blätte, A. (2000). Einleitung. In Herz, D. & Blätte, A. (Hrsg.), Simulation und Planspiel in den Sozialwissenschaften (S. 1–14), Münster: Lit Hijden, P. van der (2008). Gaming/simulation and the Virtual Learning Environment. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Hindle, K. (2002). A grounded theory for teaching entrepreneurship using simulation games. Simulation & Gaming, 33, 236–241 Höft, U., Manschwetus, U. & Stöber, T. (2004). Sell the Robot – a web based simulation game for business-to-business marketing. In: Th. Eberle & W.C. Kriz (Eds.) Proceedings of the 35th Conference of the International Simulation and Gaming Association 2004 (p. 514– 524). München Högsdal, B. (1996). Planspiele. Der Einsatz von Planspielen in Aus- und Weiterbildung. Bonn Högsdal, N. (2001). Internetplanspiele im praktischen Einsatz. In: H. Mandl, Ch. Keller, M. Reiserer & B. Geier (Hrsg.), Planspiele im Internet. Konzepte und Praxisbeispiele für den Einsatz in Aus- und Weiterbildung (S. 95–116). Bielefeld Houten, S.-P. van & Verbracek, A. (2004). The feasibility of simulation packages for multi-actor distributed simulation games. In: Th. Eberle & W.C. Kriz (Eds.) Proceedings of the 35th Conference of the International Simulation and Gaming Association 2004 (p. 405–411). München Huber, G.L. (1987). Kooperatives Lernen: Theoretische und praktische Herausforderung für die Pädagogische Psychologie. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, XIX, 4, 340–362

90

Evaluation von ePlanspielen und digitalen Lernspielen

Huizinga, J. (1935/1997). Homo ludens. Vom Ursprung der Kultur im Spiel. Reinbek bei Hamburg Hussain, H. (2003). A theoretical framework for edutainment: analysis of game consoles. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray (Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 61–67). Edinburgh Jager, K. & Holzhauer, R. (2004). Knowledge Building in Online Simulations with Sieberdem/ROCS. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 216–226). München Jiwa, S., Lavelle, D. & Rose, A. (2003). Netrepreneur: simulating e-start up. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray (Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 120– 126). Edinburgh Johnson, D.W. & Johnson, F.P. (1994). Joining together. Group theory and group skills. Boston Joldersma, C. (2001). New Developments in Simulation/Gaming. In: A. Villems (Ed.). Bridging the Information and Knowledge Societies (p. 15–26). Tartu Judd, Ch. M. (1987). Combining process and outcome evaluation. New directions for program evaluation, 33, 23–41 Keller, Ch. (2001). Die Lernplattform „E-Planspiel“. In: H. Mandl, Ch. Keller, M. Reiserer & B. Geier (Hrsg.), Planspiele im Internet. Konzepte und Praxisbeispiele für den Einsatz in Aus- und Weiterbildung (S. 117–129). Bielefeld Kern, M. (2003). Planspiele im Internet. Wiesbaden Keys, J.B., & Wolfe, J. (1990). The role of management games and simulations in education and research. Yearly Review of Management, 16(2): 307–336 Kirkpatrick, D. L. (1960). Techniques for evaluating training programs. Journal of the American Society of Training Directors, 14, 13–18, 28–32 Klabbers, J. (1989). On the improvement of competence. In: Klabbers, J. (Ed.): Proceedings of the ISAGA 19th Conference. New York Klabbers, J. (1999). Three easy pieces: a taxonomy on gaming. In D. Sounders & J. Severn (Eds.), Simulation and Games for Strategy and Policy Planning (pp. 16–33). London Klabbers, J. (2001). Framing Internet Games: Potentials and Limitations. In: H. Mandl, Ch. Keller, M. Reiserer & B. Geier (Hrsg.), Planspiele im Internet. Konzepte und Praxisbeispiele für den Einsatz in Aus- und Weiterbildung (S. 13–40). Bielefeld Klabbers, J. (2003). Gaming and Simulation: principles of a science of design. Simulation & Gaming, 34 (4), 569–591

Evaluation von ePlanspielen und digitalen Lernspielen

91

Klabbers, J. (2006). A framework for artifact assessment and theory testing. Simulation & Gaming, 37, 155 – 173 Klabbers, J. H. G (2008). The Magic Circle: Principles of Gaming & Simulation. Rotterdam Kolb, D. A. (1984) Experiential Learning: Experience as the source of learning and development. New York Krapp, A. (1997). Selbstkonzept und Leistung: Dynamik eines Zusammenspiels. In F.E. Weinert & A. Helmke(Hrsg.), Entwicklung im Grundschulalter (S. 325–339). Weinheim Kriz, W.C. & Brandstätter, E. (2003). Evaluation of a Training Program for Systems-Thinking and Teamwork-Skills with Gaming and Simulation. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray (Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 243–247). Edinburgh Kriz, W.C. & Eberle, T. (2004) (Eds.). Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation. München Kriz, W.C. & Gust, M. (2003). Mit Planspielmethoden Systemkompetenz entwickeln, Zeitschrift für Wirtschaftspsychologie, 10 (1), 12–17 Kriz, W.C. & Hense, J. (2004). Evaluation of the EU-Project “Simgame” in business education. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 352–363). München Kriz, W.C. & Hense, J. (2005). Evaluation und Qualitätssicherung von Planspielmethoden. In: U. Blötz & Bundesinstitut für Berufsbildung BIBB Bonn (Hrsg.), Planspiele in der beruflichen Bildung (Hauptartikel im Fachbuch; 4. erweiterte Auflage; S. 192–231). Bielefeld Kriz, W.C. & Hense, J. (2006). Theory-oriented evaluation for the design of and research in gaming and simulation. Simulation & Gaming, 37 , 2, 268–283 Kriz, W.C. & Hense, J. (2009). Evaluation von Planspielen in Aus- und Weiterbildung. In Kriz, W.C. & Mayer, H.O. (Hrsg.), Evaluation von Lernszenarien in Ausbildung und Training (S. 80–119). Berlin Kriz, W.C. & Nöbauer, B. (2008). Teamkompetenz. Konzepte, Trainingsmethoden, Praxis. Göttingen. 4. erweiterte Auflage Kriz, W.C. (2000). Lernziel Systemkompetenz. Planspiele als Trainingsmethode. Göttingen Kriz, W.C. (2001). Die Planspielmethode als Lernumgebung. In: H. Mandl, Ch. Keller, M. Reiserer & B. Geier (Hrsg.), Planspiele im Internet. Konzepte und Praxisbeispiele für den Einsatz in Aus- und Weiterbildung (S. 41–64). Bielefeld Kriz, W.C. (2003). Creating Effective Interactive Learning Environments through Gaming Simulation Design, Simulation & Gaming, 34 (4), 495–511

92

Evaluation von ePlanspielen und digitalen Lernspielen

Kriz, W.C. (2004). Planspielmethoden. In: G. Reinmann & H. Mandl (Hrsg.), Psychologie des Wissensmanagements (S. 359–368). Göttingen Kriz, W.C. (2005). Planspiele als Methode der quantitativen Organisationsforschung. In: S. Kühl, A. Taffertshofer & P. Strodtholz (Hrsg.), Handbuch quantitative Methoden. (S. 243– 269). Hamburg Kriz, W.C. (2006). Kompetenzentwicklung in Organisationen mit Planspielen. SEM Radar – Zeitschrift für Systemdenken und Entscheidungsfindung im Management, 5, 2, 73–112 Kriz, W.C. (2007) (Hrsg). Planspiele für die Organisationsentwicklung. Schriftenreihe: Wandel und Kontinuität in Organisationen (Bd. 8). Berlin Kriz, W.C. (2008). A Systems-oriented Constructivism Approach to Facilitation and Debriefing of Simulations/Games. Journal of Simulation & Gaming, prepublished June, 20, 2008, DOI: 10.1177/1046878108319867 Kriz, W.C. (2008). Trainerkompetenz als Erfolgsfaktor für Planspielqualitäten. In: U. Blötz & Bundesinstitut für Berufsbildung BIBB Bonn (Hrsg.), Planspiele in der beruflichen Bildung (CD; 5. erweiterte Auflage). Bielefeld Kriz, W.C. & Hansen, H. (2007). „SysteamsChange“ – ein Changemanagementplanspiel. In: W. C. Kriz (Hrsg.), Planspiele für die Organisationsentwicklung. Schriftenreihe: Wandel und Kontinuität in Organisationen (Bd. 8, S. 291–302). Berlin Kriz, W.C., Auchter, E. & Wittenzellner, H. (2008). Theory-Based Evaluation of Entrepreneurship Education with Simulation Games. Indian Journal of Economics and Business, 2008, 19–33 Lainema, T. (2004a). Enhancing Organizational Business Process Perception – Experiences from Constructing and Applying a Dynamic Business Simulation Game. Turku Lainema, T. (2004b). Challenging the Dominant Paradigm: Evidence Supporting Time-Based Simulation Gaming. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 42–50). München Maharg, P. (2004). Authenticity in Learning: Transactional Learning in Virtual Communities. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 206–215). München Mandl, H. & Gerstenmaier, J. (2000). Die Kluft zwischen Wissen und Handeln. Göttingen Mandl, H. (2004). On the path to a new learning culture – the contribution of web-based business games. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 163–174). München Martin, A. (2003). The challenge of adding value to simulation games through internet mediation: the medium and the message. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray

Evaluation von ePlanspielen und digitalen Lernspielen

93

(Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 68–75). Edinburgh Matthys, K. & Klabbers, J. H. G. (2004). Model United Nations Online (MUNO): a study of a policy exercise using Internet Gaming. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 154). München Mayer, H. O., Hertnagel, J. & Weber, H. (2009). Lernzielüberprüfung im eLearning. München Miez-Mangold, P. (2007). Blended Learning and a real-time project management simulation. In: W. C. Kriz (Hrsg.), Planspiele für die Organisationsentwicklung. Schriftenreihe: Wandel und Kontinuität in Organisationen (Bd. 8, S. 251–260). Berlin Moreno-Ger, P., Burgos, D. & Torrente, J. (2009). Digital Games in eLearning environments: Currents Uses and Emerging Trends. Simulation & Gaming, 40, 5, 669–687 Müller, W., Weiß, S. & Spierling, U. (2008). Learning and the Use of Virtual Actors. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Oerter, R. (2002). Spiel und Kindliche Entwicklung. In: Oerter, R. & Montada, L. (Hrsg.): Entwicklungspsychologie (S. 221–233). Weinheim Pel. P. (2008). Development and usage of virtual vocational environments through the internet. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Peters, V., Vissers, G., van de Westelaken, M., Kieft, M., Helden, J. & Pouwels, B. (2003). Evaluating the results of simulation games. In Proceedings of the 34th Conference of the International Simulation and Gaming Association. Chiba Pezzulo, G. & Calvi, G. (2004). AKIRA – An open-source framework for building game actors and words. In: Th. Eberle & W.C. Kriz (Eds.) Proceedings of the 35th Conference of the International Simulation and Gaming Association 2004 (p. 495–503). München Rahnu, L. & Kraav, K. (1999). E-mail mediated simulations – more limits or no limits. In: Porkhovnik, Y. M. & Novik, M. M. (Eds.), Simulation and Gaming in Professional Education and Management (p. 129–143), St. Petersburg Reetz, L. (1986). Konzeptionen der Lernfirma. Ein Beitrag zur Theorie einer Organisationsform wirtschaftsberuflichen Lernens im Betriebsmodell. In: Wirtschaft und Erziehung, 39, 11, 351–365 Renkl, A. & Mandl, H. (1995). Kooperatives Lernen. Die Fragen nach dem Notwendigen und Ersetzbaren, Unterrichtswissenschaft, 23, 292–300 Renkl, A. (1996). Träges wissen: Wenn erlerntes nicht genutzt wird. In: Psychologische Rundschau, 47, 62–78

94

Evaluation von ePlanspielen und digitalen Lernspielen

Renkl, A., Gruber, H., Mandl, H. & Hinkhofer, L. (1994). Hilft Wissen bei der Identifikation und Kontrolle eines komplexen ökonomischen Systems? Unterrichtswissenschaft, 22, 195– 202 Rizzi, P. (2004). The use of software focused on the analysis and simulation of complex systems to plan and create Gaming Simulations. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 61–71). München Rogers, P. J. (2000). Causal models in program theory evaluation. New directions for evaluation, 87, 47–54 Rossi, P., & Freeman, H. (1993). Evaluation: a systematic approach. Newbury Park Rossi, P., Lipsey, M. W. & Freeman, H. (2004). Evaluation. A systematic approach. Thousand Oaks Ruohomäki, V. (2002). Simulation Game for Organisation Development. Development, use and evaluation of the Work Flow Game. Helsinki University of Technology Sakiroglu, M., Riedel, J. C. K & Pawar, K. S. (2003). Online gaming: virtual teamwork training in the aerospace industry. In: F. Percival, H. Godfrey, P. Laybourn & S. Murray (Eds.), The International Simulation and Gaming Research Yearbook. Volume 11. Interactive Learning through Gaming and Simulation (p. 76–84). Edinburgh Schell, R. & Kaufman, D. (2008). Using a Collaborative Online Multimedia PBL Simulation to Stimulate Critical Thinking. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Schöpf, N. (2004). E-Planspiel-Simulation of commercial decision making situations in ecommerce. In: Th. Eberle & W.C. Kriz (Eds.) Proceedings of the 35th Conference of the International Simulation and Gaming Association 2004 (p. 805–814). München: Sagsaga Schrader, C. (2008). Edutainment in higher education. The use of didactical elements in game-based-learning. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Schueler, T. (2001). Planspielen im Internet. In: U. Blötz & Bundesinstitut für Berufsbildung BIBB Bonn (Hrsg.), Planspiele in der beruflichen Bildung (CD-Rom Publikation). Bielefeld Shostak, I. & Hoog, R. de (2004). The KM Quest business model: supporting acquisition of decision-making skills for knowledge management. In: W.C. Kriz, & Th. Eberle, (Eds.), Bridging the Gap: Transforming Knowledge into Action through Gaming & Simulation (pp. 198–205). München Siebert, H. (1994). Lernen als Konstruktion von Lebenswelten. Entwurf einer konstruktivistischen Didaktik. Frankfurt

Evaluation von ePlanspielen und digitalen Lernspielen

95

Silbermann, M. (2000). The 2000 Team and Organization Development Sourcebook. New York Simon, H. (1969). The sciences of the artificial. Boston Simons, G. (2001). Intercultural Aspects of Online Training Using Games. In: A. Villems (Ed.). Bridging the Information and Knowledge Societies (p. 263–273). Tartu Slavin, R.E. (1996). Education for all. Lisse: Swets & Zeitlinger Spierling, U., Paiva, A. & Müller, W. (2008). Learning social skills in computer-based gaming scenarios with virtual actors. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Strauß, B. & Kleinmann, M. (1995). Computersimulierte Szenarien in der Personalarbeit. Göttingen Suits, B. (1967), What is a Game?, American Philosophy of Science, 34, 48–156 Tanabu, M. (2004). Web based game activity support system. In: Th. Eberle & W.C. Kriz (Eds.) Proceedings of the 35th Conference of the International Simulation and Gaming Association 2004 (p. 756–766). München van der Spek, Y. & van de Laar, B. (2008). The use of digital games and play to attract second grade students to science and technology education. In: V. Peters (Hrsg.). Proceedings of 38th ISAGA Conference. Nijmegen Vanderbilt Cognition and Technology Group (1993): Experimental studies of a multimedia instructional environment in science classrooms. Nashville Villems, A. Taremaa, M. & Jesmin, L. (2001). ICT for Simulation and Gaming. In: A. Villems (Ed.). Bridging the Information and Knowledge Societies (p. 293–302). Tartu Vissers, G., Peters, V., Heyne, G. & Geurts, J. (1998). Validity of Games/Simulations: A Constructive View. In J. Geurts, C. Joldersma & E. Roelofs (Ed.). Gaming/Simulation for Policy Development and Organizational Change (pp. 353–360). Tilburg Weinert, F.E. (1982). Selbstgesteuertes Lernen als Voraussetzung, Methode und Ziel des Unterrichts. Unterrichtswissenschaft, 2, 99–110 Weiss, C. H. (1997). Theory-based evaluation: Past, present, and future. New Directions for Evaluation, 76, 41–56 Wilmott, M. (2002). Working at Play and Playing at Work. Applying Commercial Computer Games to Learning and Training. In: P. Rizzi (Ed.), On the Edge of the Millenium: a New Foundation for Gaming Simulation (p. 93–94). Bari Wilson, K.A., Bedwell, W.L., Lazzara, E.H., Salas, E., Burke, C.S., Estock, J.L., Orvis, K.L. & Conkey, C. (2009). Relationships between Game Attributes and Learning Outcomes: Review and Research Proposals. Journal Simulation & Gaming, 40, 2, 217–266

96

Evaluation von ePlanspielen und digitalen Lernspielen

Wolfe, J. (1997). The effectiveness of business games in strategic management course work. Simulation & Gaming, 28(4), 360–376 Woll, H. (1996). Die Forderung nach Ganzheitlichkeit im Rahmen der Handlungsorientierung an Beispielen des Wirtschaftslehreunterrichts. In: Zeitschrift für Berufs- und Wirtschaftspädagogik, 92, 3, 293–310 Wottawa, H. (2001). Evaluation. In: A. Krapp & B. Weidenmann (Hrsg.), Pädagogische Psychologie (S. 647–674). Weinheim

6

Ein Generisches Modell zur Evaluation von MikrolernProzessen Wolfgang Hagleitner & Theo Hug

6.1

Einleitung

Digitale Bildungsmedien und deren Evaluierung haben in den letzten Jahren vielerorts an Bedeutung gewonnen. Während vor dem ersten eLearning Hype noch eine gewisse Technologie-Euphorie vorherrschte, haben zwischenzeitlich viele eLearning-EntscheiderInnen erkannt, dass nur didaktische und an den jeweiligen Bedürfnissen und konkreten Kontexten orientierte Lösungsansätze zu wünschenswerten Lernerfolgen führen. „Maßgeschneiderte Lösungen ̶ mit dem richtigen Lernmodell und ohne Techniküberhang ̶ sind Trumpf“, schreibt Geser (2005, p. 10), und wir stellen fest, dass vor allem konstruktivistische Orientierungen wesentlich zur Gestaltung flexibel nutzbarer Lernumgebungen beigetragen haben. Hand in Hand mit der Favorisierung von Optionen zum mehrperspektivischen, selbstgesteuerten, situationsbezogenen, erfahrungsnahen und sozialen Lernen rücken verstärkt Mikroperspektiven der Lehr-/Lernprozesse in das Blickfeld. Dies erfolgt einerseits durch die Analyse und Anwendung multimedialer, -modaler und -codaler Dimensionen (vgl. Weidenmann, 2002; Kress, 2003). Andererseits werden neuerdings unter den Bezeichnungen mLearning und microlearning kleinformatige Lernangebote unterschiedlichster coleurs entwickelt.5 Die Evaluation solcher Mikrolern-Angebote beschränkt sich dabei nicht ausschließlich auf Fragen der Qualitätsentwicklung. Je nach Anlass und Zielsetzung vereint sie Facetten der Akzeptanz-, Markt- und Wirkungsforschung auf technischer, gestalterischer und didaktischer Ebene. 5

Während der Ausdruck ‚microteaching’ bereits seit den 60er Jahren in der Lehrerbildung etabliert ist (vgl. Dwight & Ryan 1969), ist der Ausdruck ‚microlearning’ erst jüngeren Datums (vgl. Gassler, 2004; Hug, 2005; Gstrein & Hug; Wikipedia 2006). Auch wenn die Geschichte des microlearning der Sache nach uralt ist und nicht erst mit digitalen Medien einsetzt, sind doch neue Phänomenbereiche entstanden, die bislang noch kaum thematisiert wurden.

98

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Im vorliegenden Beitrag wird ein generisches Modell zur Evaluation von Mikrolern-Ansätzen vorgestellt, bei denen kleine Lernschritte, in Abhängigkeit von Mediennutzungsgewohnheiten, in alltägliche Arbeitsroutinen und Workflows integriert werden. Wir beziehen uns hier beispielhaft auf kleinschrittige, iterative Mikrolern-Systeme in Gestalt von Flashcard-Anwendungen, auch wenn das Evaluationsmodell durchaus umfassendere Anwendungsmöglichkeiten zulässt (z. B. mobile bzw. sequenziell arbeitende Lernsysteme). In einem ersten Schritt wird die Grundideee des generative evaluation model (GEM) skizziert und im Sinne einer methodisch kontrollierten Perspektivenverschränkung eingeführt (Methodentriangulation). Anschließend werden die drei zentralen Dimensionen des GEM einzeln vorgestellt und auf Grundlage eines Venn-Diagramms diskutiert (siehe Abschnitt 6.3). In einem abschließenden Ausblick werden Chancen und Entwicklungsperspektiven von GEM umrissen.

6.2

GEM ̶ Ein Generisches Evaluations-Modell

6.2.1

Das Grundkonzept von GEM

Mikrolernen ist ein bislang empirisch noch kaum untersuchtes Konstrukt. Die zunehmende Nutzung digitaler, zumeist auch webbasierter Lernsysteme, welche durch die Verwendung kleiner und kleinster Lernschritte und Wissensbausteine charakterisiert sind, bieten die einmalige Chance, diesem Konstrukt Farbe und Gestalt zu geben und eine Basis zu schaffen, um mittelfristig verbesserte Lernmodelle zu formulieren. Vor allem Flashcard-Systeme, die sich in aller Regel an die Lern-Systematik mit Karteikarten nach Sebastian Leitner anlehnen und mobil, online- oder Server-Client basiert umgesetzt sein können, bieten hervorragende und zumeist kostenfreie Zugangsmöglichkeiten, um Lernen in „microsteps“ umzusetzen, zu testen und zu beobachten. Flashcard-Systeme sind in technischer Hinsicht mittlerweile vielseitig und stabil und beschränken sich keineswegs nur auf Vokabellernen bzw. banales Faktenwissen, sondern umfassen auch die Vermittlung von Regelwissen oder prozeduralem Wissen. Sie leisten teilweise einen Brückenschlag zwischen formellem und informellem Lernen und verfolgen als Zielsetzung Nachhaltigkeit und Transfer. Ihre Anwendungsgebiete reichen heute von begleitendem, ergänzendem und prüfungsvorbereitendem Lernen über instrumentelles und projektorientiertes Lernen bis hin zur Vermittlung kontextrelevanter Informationen, beispielsweise im Fremdenverkehr oder dem Kundenservice. Eine erste, umfassende und vergleichende Evaluierung von Flashcard-Anwendungen leisten Unterrainer & Welte (2008). Das hier vorgestellte generische Evaluationsmodell wurde im Umfeld solcher Flashcard-Anwendungen entwickelt, wenngleich seine konzeptionelle Umsetzung darüber hinaus reicht. Eine solide Evaluation digitaler Lernanwendungen muss sowohl den Erfordernissen marktnaher Forschung, als auch den Ansprüchen methodologisch sauberer Arbeit genügen. Um beiden Ansprüchen gerecht zu werden, wird im aktuellen Kontext ein generisches Evaluati-

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

99

onsmodell entwickelt, getestet und etabliert, welches als primär formativ angelegtes Konzept Facetten der Produkt-, Markt- und empirischen Begleitforschung, aber auch des Monitorings und der Qualitätssicherung vereint. „Generisch“ bedeutet in diesem Zusammenhang ein modulartiges, umfassendes, jederzeit verfügbares und schnell adaptierbares, aber teilweise auch standardisiertes Portfolio an Instrumenten zur Datengewinnung. Es muss im Kontext marktnaher Forschung pragmatischen Ansprüchen ebenso genügen wie etablierten Evaluationsstandards (Sanders, 2006). Ziel ist die Verbesserung der Qualität digitaler Lernsysteme, wobei Qualität technische, gestalterische und didaktische Aspekte einschließt. Abbildung 6.1 gibt dabei eine Vorstellung davon, welche Qualitätsaspekte im Rahmen von Qualitätsentwicklung und Evaluation im Laufe der Lebenszyklen digitaler Lernsysteme aktuell werden können. Gleichzeitig gilt es, wie die Grafik veranschaulicht, personen- bzw. gruppenspezifische Perspektiven (ExpertenInnen-, UserInnen- und AdministratorInnen-Perspektiven), aber auch Evaluationsansätze aus Kriterien- Theorie- und Gesetzesperspektiven heraus einzuflechten. AdministratorInnen sind beispielsweise an einfacher Contentverwaltung interessiert, ExpertInnen (z. B. EntwicklerInnen oder Content-AutorInen) an technischer Qualität, einfacher Dialoggestaltung oder ansprechendem Design, aber auch an Dropout-Raten, innerer Differenzierung oder geschlechtersensiblen Content. UserInnen messen Gebrauchstauglichkeit, Benutzerfreundlichkeit, Barrierefreiheit oder farbharmonischer Gestaltung großes Gewicht bei. Die Interessen der gruppenspezifischen Perspektiven überschneiden sich dabei vielschichtig. So sind z. B. Barrierefreiheit und Accessability aus UserInnen-, Kriterien- und teilweise aus Gesetzesperspektiven heraus zu berücksichtigen, eine Integration konstruktivistischer Elemente jedoch aus der UserInnen- und der Theorienperspektive. Natürlich vermag GEM nicht allen diesen Erwartungen zu entsprechen und soll es auch nicht. Beispielhaft dafür ist die Messung und Sicherung von Return on Investment (ROI), die innerhalb der betrieblichen Mitarbeiterqualifizierung eine Disziplin für sich ist und teilweise ihre eigenen, sehr komplexen und situationsspezifischen Konzepte entwickelt hat. Andererseits soll sich GEM eben durch seinen generischen Charakter Entwicklungsperspektiven für spezifische Anforderungen bewahren. Zurzeit handelt es sich bei GEM noch um eine Form der Selbstevaluation, wobei das Konzept jedoch auch als Basis für Fremdevaluationen dienen kann. Gleichzeitig ist das Modell primär als ein Prozess formativer, begleitender Evaluation zu sehen; Produkt- und summative Evaluation werden erst gegen Ende der Entwicklungsphase und im Rahmen von Wirkungsanalysen an Bedeutung gewinnen. Schließlich ist GEM, neben der Qualitätssicherung, auch auf die Erforschung und Beschreibung von Mikrolern-Aktivitäten optimiert.

100

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

EXPERT-PERSPEKTIVE

USER-PERSPEKTIVE

ADMINISTRATOR-PERSP.

CRITERIA-PERSPEKTIVE

THEORY-PERSPEKTIVE

LAW-PERSPEKTIVE

SELF-INSTRUCTED / -REGULATED LEARNING

E-LEARNING STANDARDS

GENDER SENSIBILITY

ACCESSIBILITY USER-MOTIVATION / -STIMULATION EFFECTIVENESS AND EFFICIENCY

INTERNAL DIFFERENTIATION

COST-BENEFIT ANALYSIS

INTERFACE DESIGN / HMI

DROP-OUT USER-EXPERIENCE TRANSFER & SUSTAINABILITY

INTERACTION-DESIGN

HARMONY OF COLOURS

SOFTWARE-ERGONOMY

USER-ACCEPTANCE USABILITY

PLANNING PHASE

Abb. 6.1

6.2.2

DEVELOPMENT PH

CURRICULUM

IMPLEMENTATION PH.

OPERATING PH.

CERTIFICATION?

t

Relevante Qualitätsaspekte im Laufe der Lebenszyklen IKT-basierter Lernsysteme

Methodentriangulation als Konvergenz- bzw. Komplementaritätsmodell

Gerade im Zusammenhang mit relativ unerforschten empirischen Phänomenen stellt sich die Frage adäquater Operationalisierungen und methodischer Herangehensweisen. Im vorliegenden Fall verschärft sich diese Problematik insofern, als sowohl Mikrolernen als auch die Evaluation onlinebasierter Lehr- und Lernsysteme noch auf einer schwachen empirischen Basis beruhen. Gerade deshalb scheint eine besonders umsichtige Herangehensweise geboten, welche einerseits der Neuigkeit der Thematik Rechnung trägt und theoretische Länge, Breite und Tiefe eines Konstrukts nicht von vornherein beschränkt, sondern in seiner Vielgestaltigkeit und Mehrdimensionalität wahrzunehmen vermag und welches andererseits in einer Weise konstruiert ist, die es gestattet, Hypothesen zu generieren und etablierte Methoden der Sozial- und Bildungswissenschaften in konvergierender und komplementärer Weise zu verzahnen. Ende der 50er Jahre empfahlen Campbell und Fiske (1959) die Kombination verschiedener Messinstrumente um den Grad der Messübereinstimmung (discriminant analysis) verschiedener Methoden und damit die Konstruktvalidität von damals psychologischen Testergebnissen zu ermitteln (Multitrait-Multimethod-Methode). Webb (1966) benutzte als erster den Begriff der Triangulation, welcher ursprünglich aus der Landvermessung bzw. aus der Navigation stammt, im Zusammenhang mit sozialwissenschaftlicher Forschung. Denzin (1989) eta-

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

101

blierte und spezifizierte diesen Begriff in Zusammenhang mit qualitativer Forschung. Denzin (1970) unterscheidet dabei zwischen •

der Datentriangulation, welche der Vielgestaltigkeit sozialer Phänomene und der Vielschichtigkeit sozialer Realität Rechnung tragen soll,

•

der Beobachtertriangulation, welche Verzerrungen durch einseitige Wahrnehmung mildern soll,

•

der Theorientriangulation, eine Untersuchung sozialer Phänomene auf Basis unterschiedlicher Theorien zur Hypothesengenerierung, Falsifizierung und gegebenenfalls der Schaffung theoretischer Netzwerke und

•

der Methodentriangulation, wobei hier nochmals unterschieden wird zwischen der „within-method“, also der Triangulation innerhalb der Methode, beispielsweise die Kombination unterschiedlicher Auswertungsverfahren eines Datensatzes und der „across-method“ als Triangulation zwischen den Methoden, also der Kombination verschiedener Methoden zur Erforschung eines empirischen Gegenstandes.

Ziel dieser Methode ist „die Kombination von Methodologien bei der Untersuchung desselben Phänomens“ (Denzin 1978, S. 291; zit. nach Flick 1995, S. 432) wobei die Methode insbesondere dazu geeignet ist „unterschiedliche Perspektiven zu verbinden und möglichst unterschiedliche Aspekte des untersuchten Gegenstandes zu thematisieren“ (Flick 1991, S. 433). GEM versteht sich in diesem Zusammenhang als Methodentriangulation und leistet so einen Beitrag für eine theoretische Untermauerung des Konstrukts Mikrolernen. Unterschiedliche Methoden werden also genutzt, um verschiedene Aspekte einer (angenommenen) Realität, hier Mikrolernen, zu erfassen, eben nicht als „einheitliches, sondern als kaleidoskopartiges Bild“ (Köckeis-Stangl 1980, S. 363). So kurz der Satz, so weit reichen die damit im Zusammenhang stehenden Konsequenzen. Mittels verschiedener Methoden werden Daten generiert, die sich kongruent/konvergent, komplementär oder kontradiktorisch zueinander verhalten können und in Ermangelung eines theoretischen Bezugsrahmens wird es schwierig, konkrete Aussagen zu treffen oder gar Prognosen zu formulieren (vgl. Prein; Kelle & Kluge 1993, S. 24, S. 57). Daher ist das Modell unter Berücksichtigung der Spezifitäten der jeweiligen Situation und vor dem Hintergrund der Problem- und Fragestellungen zu definieren und zu adaptieren. Zwischenzeitlich wurde auch ausführlich darauf hingewiesen, dass diese Methode nicht zwangsläufig zur Erhöhung von Validität beiträgt (vgl. Fielding & Fielding, 1986), vielmehr „ist hierzu eine spezifische Kombination bzw. Verknüpfung der unterschiedlichen Datenpools erforderlich.“ (Jakob, 2001). Grundsätzlich lassen sich drei Ansätze zur Integration quantitativer und qualitativer Herangehensweisen differenzieren (entnommen aus: Prein, Kelle & Kluge, 1993, S. 9). • „Das Phasenmodell der Methodenintegration geht davon aus, dass die Validität qualitativer Ergebnisse grundsätzlich weit mehr fragwürdig ist als die quantitativer Ergebnisse. Deshalb sollen qualitative Verfahren primär der Hypothesengenerierung, quantitative Verfahren dagegen der Hypothesenprüfung dienen und beide Methodenstränge chronolo-

102

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

gisch miteinander verknüpft werden: Einer qualitativen Vorstudie soll eine quantitative Untersuchung folgen. • Mit dem Konvergenzmodell der Triangulation, welches von qualitativen Methodologien entwickelt wurde, wird ebenfalls versucht, qualitative und quantitative Ergebnisse zu erhärten, indem sie zur gegenseitigen Validierung verwendet werden. Dabei werden jedoch – anders als im Phasenmodell – beide Methodenstränge hinsichtlich der Gültigkeit und Zuverlässigkeit ihrer Ergebnisse als relativ gleichberechtigt betrachtet. • Das Komplementaritätsmodell betont, dass qualitative und quantitative Methoden sich auf unterschiedliche Gegenstandsbereiche beziehen. Demzufolge könnten Ergebnisse qualitativer und quantitativer Untersuchungen gerade nicht zur gegenseitigen Validierung verwendet werden, sondern würden sich in spezifischer Weise ergänzen.“ Ein Konvergenzmodell, wie z. B. die Multitrait-Multimethod-Methode (MTMM) kann, weil eben ein Gegenstandsbereich mit verschiedenen Methoden gemessen wird, Auskunft über konvergente und diskriminante Validität geben. Demgegenüber verfügt das Komplementaritätsmodell über das Potential „unterschiedliche Perspektiven zu verbinden und möglichst unterschiedliche Aspekte des untersuchten Gegenstandes zu thematisieren. Dabei wird er sich jeweils in der Form ‚präsentieren’, in der ihn die jeweilige Methode mitkonstituiert“ (Flick 1991, S. 433). Die methodologische Diskussion zur Verhältnisbestimmung qualitativer und quantitativer Forschung ließe sich weiter vertiefen (vgl. Heinze 2001, Sale et al 2002) und in epistemologischer (vgl. Goodman 1978) oder in modelltheoretischer Hinsicht (vgl. Stachowiak 1973) erweitern. In der Praxis der Evaluationsforschung ist die Kombination von Elementen, die unterschiedlichen Perspektiven und Beobachtungsmodalitäten zuzuordnen sind, durchaus üblich (vgl. Datta 1997; Stone et al 2005, S. 540ff). In Abhängigkeit zur Fragestellung bedient sich GEM in eklektischer Weise dieser Modelle. Geht es beispielsweise um die vertiefende Untersuchung des Konstrukts Mikrolernen, ist das Phasenmodell der Methodenintegration die Methode der Wahl. Geht es jedoch um die Erfassung der subjektiven Wahrnehmung der eigenen quantitativen Lernleistung im Vergleich zur tatsächlichen Leistung, bedient sich GEM des Komplementaritätsmodells.

6.3

Das Grundkonzept von GEM

6.3.1

Qualitativer Zugang

Der qualitative Zugang entspricht in diesem Zusammenhang eher dem induktiven, holistischen, explorativen, verstehenden und beschreibenden Forschen, dem Erfassen subjektiver und intersubjektiver Zusammenhänge und individuellen Erlebens (vgl. Lamnek 1993 S. 244;

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

103

vgl. Spöhring 1989, S. 98ff). Nicht zufällig wird die qualitative als gleichberechtigte Methode neben den anderen als erste der drei Ansätze beschrieben, sie soll in vielen Fällen leisten was die anderen nicht vermögen und worauf diese letztlich weiter aufbauen. Exemplarisch sei an dieser Stelle erwähnt: a.

die subjektiven Einstellungen, Empfindungen, Verhaltensweisen und Perspektiven, dann individuelle Lebenskontexte und personenspezifische Hintergründe sichtbar zu machen,

b.

daraus so weit wie möglich Hypothesen abzuleiten die mit Hilfe Ressourcen sparender Methoden überprüft werden können und

c.

ein allfälliger Rückgriff auf diese Methode, falls quantitative Ergebnisse widersprüchliche Daten liefern bzw. keine begründbaren oder interpretierbaren Ergebnisse zulassen.

Zwar sind qualitative Erhebungen sehr zeitintensiv, aber im Hinblick auf ein Verstehen UserInnen-zentrierter Einstellungen und Verhaltensweisen unverzichtbar. Dies betrifft individuelle Lernbiographien, Lerngewohnheiten, Verwendung von- und Einstellung gegenüber (Bildungs-)Medien oder persönliche Motive für die Teilnahme an einer aktuellen Fortbildung. Entscheidend für die Akzeptanz einer Lernmethode sind neben einer zunehmenden Ablehnung techniklastiger Lösungen (vgl. Geser 2005 S. 10) auch personenspezifische Merkmale wie Lerntypen und Lernstile. Vor diesem Hintergrund ergeben sich eine Reihe konkreter Fragen wie: Welche Erfahrungen haben LernerInnen im Laufe ihrer Bildungskarriere in Weiterbildungszusammenhängen gemacht? Welche Rolle spielen digitale Bildungsmedien? Wie lässt sich die Einstellung gegenüber digitalen (techniklastigen) Lernanwendungen charakterisieren? Welchen Typ eines/einer Lernenden zeichnen die LernerInnen von sich selbst, welcher Lernstil wird unter welchen Lernarrangements bevorzugt?

Abb. 6.2

Modell der Sequenzierung von Lernkarten

Ein weiterer thematischer Schwerpunkt ist, wie oben bereits angedeutet, die explorative Erkundung der Konstrukte Mikrolernen und integriertes Mikrolernen. Wie bewährt sich die

104

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Einbettung und Integration in den Alltag? Wird beispielsweise eine ‚Push-Technologie‘ als förderlich, motivierend, unterstützend, erleichternd erlebt oder eher als hinderlich, störend oder gar lästig? Wird z. B. die Reihenfolge der Präsentation von Lernobjekten (Flashcards) durch den zugrunde liegenden mathematischen Algorithmus als unterstützend für die Merkleistung wahrgenommen? Wäre eine andere Art der Reihung von Lernkarten förderlicher, beispielsweise eine schrittweise Abnahme /Zunahme der Präsentationshäufigkeit (Abb. 6.2, Model 1 bzw. Model 3) oder eher eine gleichmäßig verteilte (Abb. 6.2, Model 2)? Haben LernenInnen subjektiv das Gefühl in kürzerer Zeit mehr gelernt zu haben? Wie wird der Vergleich mit didaktisch, technisch, integrativ ähnlichen oder aber auch anders arrangierten Lernszenarien und klassischen eLearning Lösungen charakterisiert? Aus den Ergebnissen einer thematisch breit gefächerten Analyse eines Flashcard-Systems für mobile Endgeräte wurden in einem ersten, qualitativ angelegten Zugang Hypothesen aufgestellt, welche schließlich im Rahmen einer quantitativ angelegten Online-Erhebung getestet wurden (Hagleitner, Drexler & Hug 2006). Ein Beispiel dafür war die in explorativer Absicht gestellte Frage nach der Art der Nutzung und der Bedeutung dieser mobilen Flashcard-Version für den Lernerfolg. Die verbalen Äußerungen ließen eine erste Kategorisierung für potentielle Gründe der Nutzung dieser Applikation zu (Lernen, Selbstevaluation, Übung der Handhabung, spielerische Aspekte und andere Gründe). Diese Kategorien wurden schließlich im Rahmen einer onlinebasierten Erhebung quantifiziert. Das Ergebnis zeigt, dass alle TeilnehmerInnen dieses Pilotprojekts die Anwendung zum Lernen und zur Selbstevaluation nutzen. Einige nutzen sie jedoch zudem auch für andere Zwecke (Tabelle 6.1).

Kategorien Lernen Selbst-Evaluation Andere Gründe Spielerische Aspekte Übung der Handhabung Summe

Häufigkeiten 8 6 3 2 1 20

Prozent der Fälle 57,1 42,9 21,4 14,3 7,1 142,9

Mehrfach-Antworten waren möglich. N=14 Tabelle 6.1

6.3.2

Nutzungsweisen eines mobilen Flashcard-Systems

Quantitativer Zugang

Im Gegensatz zum qualitativen Ansatz entspricht der quantitative in diesem Modell eher dem deduktiven, partikulären, explanativen und erklärenden Zugang, mit dessen Hilfe quantifiziert, gemessen, auf Verhalten geschlossen und mögliche Szenarien wie z. B. Lernerfolg, Transfer, Nachhaltigkeit oder Behaltensleistung vorhergesagt werden können. Der Ansatz dient dabei primär:

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

a. b. c. d. e.

105

der Analyse, der Prognose und der statistischen Weiterverwertung, der Hypothesentestung, der Formulierung erster Modelle eines integrierten Mikrolernens, der effektiven und effizienten Diagnose und Analyse von Fehlern und Schwächen gestalterischer Elemente und der Erkennung von Stärken und Potentialen als Werbefaktor (z. B. Barrierefreiheit) und der Schaffung einer Datenbasis für langfristig angelegte Metaanalysen und Vergleichstudien.

Verwendet wird dazu u. a. eine weiterentwickelte Erhebungsmethode, wie sie nicht selten im Kontext von Evaluierungen verwendet wird. Jeder Themenkomplex, in GEM „Skala“ genannt (Abb. 6.3, Beispiel: „Schrift“), wird vorerst durch ein Globalitem erhoben (z. B. „Insgesamt finde ich die Schrift und die Schriftzeichen… [gelungen/misslungen]“). Schlechte Bewertungen führen in einer weiteren Erhebung zu differenzierterer Befragung durch ein ausgesuchtes Set additiver Items (z. B. Item 01: „Die Zeilenabstände erleichtern das Lesen“; Item 02: „Die Laufweite der Schriftzeichen behindert das Lesen“; Item 03 „...“) und/oder ergänzend durch ein oder mehrere Containeritem(s) (Zur Schrift: Die Größe, Art, Dicke, Breite und Höhe der Schriftzeichen unterstützt die Lesbarkeit“). Auf diese Weise ist es möglich sich dem Problem anzunähern und es zu diagnostizieren, um es schließlich zu beheben. Diese Methode nutzt auch die Vorteile der qualitativen Forschung insofern, als zu jedem Themenkomplex die Möglichkeit besteht, mittels einer offenen Frage spontane Beobachtungen, Erfahrungen, Gedanken und Intuitionen zu notieren, die andernfalls verloren gehen würden („Ideen / Was ich zum Thema „Schrift und Schriftzeichen“ noch wichtig fände“).

Abb. 6.3

Basis-Modell für den quantitativen Zugang von GEM

Gleichzeitig bietet diese Vorgehensweise mehrere Möglichkeiten zur Realisierung von Gütekriterien: Grundsätzlich lassen sich die additiven Items, sofern Endpunkt-benannte Antwort-

106

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

formate verwendet werden, wie Intervallskalen behandeln mit allen dafür geeigneten statistischen Optionen (Reliabilität, Trennschärfe, etc.). Die additiven und die Containeritems als unabhängige Variablen (Prädiktoren) und das Globalitem als abhängige Variable (Kriterium) geben mit Hilfe von Varianz- und Regressionsanalyse Hinweise auf Konstruktvalidität, aber auch auf Prädiktoren mit großer Vorhersagekraft für die Zufriedenheit der UserInnen. Addiert man die additiven Items und/oder die Containeritems zu einem gemeinsamen Mittelwert bzw. einem zweiten 'Globalitem', lassen sich diese beiden Globalitems korrelieren und geben so zusätzliche Auskunft über weitere Aspekte der Reliabilität und Validität. So genannte Kern-Items kommen häufiger zum Einsatz und schaffen eine Datenbasis, auf der gut abgesicherte Aussagen und Vergleichsstudien möglich sind. Rand-Items sind von geringerer Relevanz und kommen nur bei Bedarf zum Einsatz. Von Interesse sind hier Themenfelder wie z. B. das Screendesign, UserInnen-Interface, Usability, Barrierefreiheit, Softwareergonomie, Farbharmonie oder die generelle Zufriedenheit mit der Applikation. Ein Beispiel stellen die kürzlich durchgeführten Erhebungen unter Aspekten der Barrierefreiheit und der Farbharmonie dar. Dabei wurden beispielsweise die Kombination der Schrift- und der Hintergrundfarbe durch UserInnen stark bemängelt (Wertebereich 1–7 [1=bester Wert], M=6,0). Eine Überprüfung ergab Werte für Farb- und Helligkeitskontraste weit unter den von W3C vorgeschlagenen Werten. Zudem war die Lesbarkeit für Menschen mit Farbenblindheit stark eingeschränkt (Hagleitner, 2006). Die Notwendigkeit der Thematisierung solcher vermeintlichen Trivialitäten resultiert nicht selten aus einer mangelnden Sensibilität und Offenheit oftmals zu stark funktionsorientierter EntwicklerInnen.

6.3.3

Logfiles

Logfile-Analysen sind im Gegensatz zu Interviews oder schriftlichen Befragungen „nonreaktive, technikbasierte Formen des online-Monitoring. Sie ermöglichen die Erfassung von LernerInnen-Aktivität auf der Indikatorenebene unter Fokussierung der Kontaktaufnahme. Logfile-Analysen bieten dadurch die Möglichkeit einer formativ gestaltungsorientierter Evaluation, mit deren Hilfe z. B. Dropout-Probleme erkannt“ (Wienold, S. 91) und wieder mittels Interviews genauer auf deren Ursachen hin untersucht werden können. Logfile-Analysen stellen zudem ein leistungsfähiges Instrument dar, welches die Chance eröffnet, Fehleinschätzungen oder falsche Erinnerungen am Ende einer Fortbildung zu erkennen und zu quantifizieren (vgl. Berker, 2003). Im aktuellen Kontext sind Logfile-Analysen u. a. vorgesehen um: a. b. c. d. e. f.

Die beiden anderen Verfahren zugunsten der UserInnen abzukürzen Aus quantitativen und qualitativen Verfahren gewonnene Daten zu validieren Den Userinnen Statistiken über den eigenen Lernfortschritt zugänglich zu machen Anonymisierte UserInnenprofile zu erstellen Subjektive Einschätzungen der UserInnen mit den tatsächlichen Daten zu vergleichen Informationen zur technischen bzw. didaktischen Qualität eines Flashcard-System zu erhalten

Voraussetzung ist, dass klar definierte UserInnen-Aktivitäten erfasst und gespeichert werden. Dies stellt im Falle der meisten digitalen Lernsysteme zwar einen gewissen, jedoch einmali-

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

107

gen Programmieraufwand dar. Wie die beiden anderen Zugänge auch, haben Logfiles ihre Grenzen. Sie geben Indizien welche bedingt valide Rückschlüsse auf nicht sichtbare Prozesse zulassen, aber sie generieren keine unmittelbaren Informationen über z. B. die Qualität der Nutzung und der Aufmerksamkeit, der Lernqualität, des Lernverhaltens oder der Merkleistung (vgl. Wienold, S. 90). Die Besonderheit Push-Technologie-orientierter Flashcard-Systeme besteht oftmals darin, dass sie, in Abhängigkeit von den UserInnengewohnheiten bzw. deren Einstellungen, unaufdringliche Lernschritte initiiert. Von Zeit zu Zeit – abhängig vom System und dem bewältigten Lernpensum der UserInnen – tauscht bzw. reiht die Anwendung gelernte Karten und legt damit verknüpfte Daten auf dem Server ab. Damit stehen sie in Form von Statistikreports zur Weiterverarbeitung zur Verfügung. Gleichzeitig werden nicht selten ausgewählte Statistiken den UserInnen über deren Account zugänglich bzw. einsichtig gemacht. Auf diese Art können üblicherweise zumindest folgende Informationen pro UserIn gewonnen werden: • • • • • • •

Wann der erste und der letzte Zugriff stattgefunden hat Die Gesamtzahl aller Systemstarts mit und ohne Request Die durchschnittliche Anzahl der Systemstarts z. B. pro Stunde Die durchschnittliche Dauer eines Lernschritts in Sekunden Die durchschnittliche Anzahl abgeschlossener Lernschritte z. B. pro Stunde Die Gesamtzahl aller positiv / negativ bewältigter Lernschritte etc.

Dieses Statistikmodell dieses beispielhaft erwähnten Systems ist augenblicklich noch in sehr vereinfachter Form verfügbar. Trotzdem soll ein kurzes Beispiel erläutern, wie es im Rahmen einer Zugriffsanalyse an Bedeutung gewann. Das Modell, samt dem wöchentlichen Report, umfasst im Augenblick u. a. die Anzahl der Zugriffe innerhalb der letzten sieben Tage, die Zugriffe seit Kursbeginn und den Lernfortschritt der jeweiligen UserInnen in Prozent. Abbildung 6.4 gibt die gezählten und über fünf Kurswochen kumulierten Zugriffe der einzelnen UserInnen wieder, die dicke, gestrichelte Linie mit den Zahlenwerten bilden den Mittelwert ab. Dieser zeigt einen kontinuierlichen Anstieg der Zugriffe über fünf Wochen, was auf Lernaktivität und indirekt auf einen Lernfortschritt schließen lässt. Abbildung 6.5 gibt den Lernfortschritt der UserInnen wieder, ausgedrückt in Prozent und errechnet aufgrund eines mathematischen Algorithmus. Im Vergleich mit Abb. 6.4 zeigt sich ein kontinuierlicher Rückgang des Lernfortschritts über eben diese fünf Wochen. In der Praxis bedeutete dies, dass UserInnen zwar aktiv lernten, aber negativen Lernfortschritt hatten, sobald sie über mehrere Tage nicht auf das Lernsystem zugegriffen hatten. Als Ursache des Problems stellte sich eine fehlerhafte Programmierung heraus. Das Beispiel zeigt, dass auf diese Weise Logfiles nicht nur genutzt werden können um Hinweise auf die LernerInnen-Aktivität zu gewinnen, sondern auch um die technische Entwicklung zu unterstützen.

108

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Abb. 6.4 Durchschnittliche Anzahl an Zugriffen über fünf Wochen (kumuliert, N=66)

Abb. 6.5 Durchschnittlicher Lernfortschritt über fünf Wochen (N=66).

Ein weiteres Anwendungsgebiet für Logfiles kann die Quantifizierung der Zugriffe, der Lernschritte und der Lernzeit aller UserInnen eines definierten Kurses, pro Tag und pro Stunde sein. Abbildung 6.6 zeigt anhand eines fiktiven Szenarios, in welcher Gestalt die Daten dargestellt werden könnten. Angenommen es handelt sich um den Kurs „Marketing Grundlagen“, der von 43 Teilnehmern besucht wird und auf dessen Abschlussprüfung sich die TeilnehmerInnen mit Unterstützung eines Flashcard-Systems vorbereiten.

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Abb. 6.6

109

Quantifizierung der Zugriffe á Kurstag über 24 Stunden

Die Tabelle umfasst drei Bereiche: Der erste Bereich (y-Achse) quantifiziert stündlich die Anzahl der Zugriffe (Requests). Der zweite Bereich (x-Achse) gibt die Anzahl der Requests, der bewältigten Lernschritte und die „Time on Task“ wieder. Der dritte Bereich macht Ausprägungen bzw. Häufigkeiten innerhalb der Tabelle sichtbar, z. B. die „Time on Task“ in Sekunden; zur Visualisierung genügt eine farbliche Codierung: Je dunkler ein Feld, desto höher der entsprechende gezählte oder gemessene Wert. Diese Art der Visualisierung lässt sich natürlich ebenso gut durch reale Daten ersetzen, was bei einer geringeren Menge an Daten oder UserInnen-spezifischen Rückmeldungen sinnvoller wäre. Diese Daten lassen Rückschlüsse darauf zu, wie sich die Integration von Mikrolernen in der Alltagsroutine profiliert, beispielsweise zu welchen Tageszeiten oder wie oft Lernaktivitäten stattfinden und wie lange sie dauern. Aber auch ob nun beispielsweise gegen Ende einer Fortbildungsveranstaltung mehr ge-

110

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

lernt wird als zu Beginn, gibt zuletzt keinen Hinweise darauf, in welcher Weise diese Form des Lernens eingesetzt wird. Schließlich lassen sich diese Daten mit Test- und Prüfungsergebnissen, aber auch mit Lebensumständen oder demo- und soziographischen Hintergrundinformationen der LernerInnen vergleichen. Diese Informationen lassen Rückschlüsse darüber zu, wie sich die Reihenfolge der Lernkarten-Darbietung didaktisch klug arrangieren lässt, um die Wahrscheinlichkeit einen Transfers des Gelernten ins Langzeitgedächtnis zu erhöhen. Auch aus den Logfiles gewonnene Daten werden sich nicht in jedem Fall eindeutig interpretieren lassen. Sie müssen daher gegebenenfalls wieder mit anderen Formen der Datenerhebung kombiniert und so einer mehrdimensionalen Ausleuchtung des Phänomens zugeführt werden. Zudem müssen selbstverständlich geltende Gesetze des Datenschutzes berücksichtigt werden.

6.3.4

Die Schnittbereiche

Die Positionierung des oben beschriebenen Evaluationsmodells samt seinen Datenerhebungsmethoden erfolgt auch in dem Bewusstsein, dass jede Abgrenzung ihre Graubereiche und Schnittmengen hat. Die Schnittbereiche, dargestellt durch das Venn-Diagramm (Abb. 6.7), repräsentieren klar definierte und scharf abgegrenzte Themengebiete, die mittels zwei oder drei Methoden erhoben werden. Gerade der qualitative und der quantitative Zugang verschwimmen ineinander. So lassen sich im Rahmen von Interviews und Online-Befragungen durchaus Quantifizierungen durch die TeilnehmerInnen vornehmen. Ein Beispiel dafür stellt die Frage nach dem subjektiv erlebten Lernfortschritt dar. Dabei geht es einmal um die Frage des Zeitaufwands im Vergleich zu Menge und Qualität des gelernten Stoffs (Kosten-NutzenAbschätzung). Dann aber auch um die Frage wie oft – subjektiv – eine Lernkarte im Schnitt gelernt werden musste, bis sie im Langzeitgedächtnis verankert war oder darum, wie viele Lernschritte täglich absolviert wurden. Die Vergleiche der UserInneneinschätzungen mit den Logfile-Daten ermöglichen hier eine Reihe von Indizien, welche Hinweise auf die Funktionsprinzipien des Mikrolernens, aber auch der Einbettung von Lernschritten in die Alltagsroutinen geben. Wird beispielsweise die Anzahl täglicher Lernschritte gegenüber den Logfile-Daten durch UserInnen im Allgemeinen unterschätzt, könnte dies als Hinweis gewertet werden, dass das hypothetische Konzept des „Lernens nebenbei“ funktioniert, sich diese Form des Lernens gut in den Alltag integriert, nicht als zu mühsam wahrgenommen wird und der Lernaufwand subjektiv als geringer wahrgenommen wird als er tatsächlich ist. Gleichermaßen könnte es der Fall sein, dass kein Vorteil der UserInnen gegenüber anderen Formen des Lernens erkannt wird. Diese Einschätzung im Vergleich mit Logfile-Daten könnte Quelle weiterer Hypothesen sein, deren Ergebnis z. B. eine modifizierte Sequenzierung der Lernkarten zur Folge hätte, nach einer Variante wie sie in Abb. 6.2 skizziert wurde.

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

111

LOGFILE-DATEN

QUALITÄTSKRITERIEN QUALITATIVER ZUGANG

Abb. 6.7

QUANTITATIVER ZUGANG

Dimensionen des GEM

Triangulation wird u. a. in der Methodenforschung verwendet, wobei hier Diskrepanzen der Messergebnisse zum Anlass genommen werden, um die Untersuchungsmethoden zu verbessern. Diese „Strategie kann als Heuristik der Hypothesenbildung eingesetzt werden: Man sucht […] bewusst nach Diskrepanzen, um diese anschließend interpretativ auf Merkmale des Untersuchungsgegenstandes […] zurückzuführen“ (Bortz & Döring, 2003 S. 370). Auch in GEM sind Diskrepanzen der Ergebnisse in den Spannungsfeldern der drei methodischen Zugänge zu erwarten, um nicht zu sagen 'erwünscht'. Sie sind die 'Staubwolken und Geburtsstätten' neuer Hypothesen und Erkenntnisse, welche letztlich und endlich eine mehrdimensionale Abbildung des Konstrukts „Mikrolernen“ ermöglichen. Schließlich dienen die Schnittbereiche natürlich auch der gegenseitigen Validierung von Erhebungsergebnissen, wie dies unter 6.2 bereits erläutert wurde.

6.4

Ausblick

Zwar befinden sich augenblicklich viele neuartige, auch mobile Systeme der Wissensvermittlung und des Informationsmanagements in Entwicklung oder bereits am Markt. Aber was Flashcard-Systeme von diesen unterscheidet sind u. a. das kleinschrittige Lernen und die

112

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Möglichkeit der Integration kleiner Lernschritte in Alltagsroutinen und Workflows. Gerade das integrierte Mikrolernen eröffnet in diesem Zusammenhang großes Potential, welches es in Hinblick auf mögliche Anwendungs- und Umsetzungsszenarien in multiperspektivischer Weise auszuloten gilt. Die Herausforderung und Würdigung dieser anspruchsvoll reflektierten theoretischen Untermauerung liegt nun primär im empirischen Nachweis der Leistungsfähigkeit dieser pädagogisch-didaktischen Szenarien, um letztlich Überzeugungsarbeit leisten zu können. Dazu liefern Evaluationsmodelle wie GEM einen essenziellen Beitrag. Aufgabe der kommenden Monate wird es sein, die drei methodischen Zugänge von GEM zu differenzieren und in Hinblick auf Gütekriterien zu optimieren. Auch die Abschätzung der programmiertechnischen Möglichkeiten in Verbindung mit Logfiles, wie es beispielsweise durch Abb. 6.5 skizziert wurde, befindet sich noch in der Entwicklungsphase. Zurzeit kann GEM auch bereits in Hinblick auf andere Ansätze digitalen Lernens, wie zum Beispiel des mobile learning oder des gamebased learning fruchtbringend eingesetzt werden. Die hierfür erforderlichen Adaptierungen stellen, dank des generischen Charakters dieses Modells und des Pools an Instrumenten, keinen erheblichen Aufwand dar. Natürlich bergen insbesondere die Aufzeichnungen spezifischer UserInnen-Aktivitäten erhebliches Missbrauchspotential. Logfiles könnten einerseits instrumentalisiert werden im Sinne technizistischer Kontroll- und Überwachungsmaßnahmen, können jedoch andererseits, bei geeigneten Fragestellungen und Anwendungsmodalitäten, zur Überwindung verfügungsrationalistischer Orientierungen im Hinblick auf demokratische Lernprozesse dienlich sein. Auch für GEM gilt, was Chelimsky & Shadish (1997) über Evaluation im 21. Jahrhundert nahelegen: „Finally, evaluators, in whatever field of evaluation they may be, are likely to find themselves, at least sometimes, at odds with the political actors, systems, and processes in their countries that militate against the free flow of information required by evaluation. This means that as the world becomes more politically diverse and complex in the 21st century, evaluators will be called upon to exhibit considerable courage in the normal pursuit of their work.” (Chelimsky & Shadish 1997; p. xiii) Umso mehr liegt es in der Verantwortung der einzelnen EvaluatorInnen sich Flexibilität, Methodenvielfalt, Gewissenhaftigkeit und ethische Reflexionsfähigkeit zu bewahren, zusammen mit der Fähigkeit geschickt zwischen widersprüchlichen Anforderungen zu lavieren (vgl. Gastager & Patry 2006). Damit in Verbindung stehen auch hohe Ansprüche an spezifische Persönlichkeitsmerkmale. Bedingt durch die oftmals schwer erschöpfend absehbaren Wirkungen samt den „unerwünschten Nebenwirkungen“ von Evaluation, aber auch die Art wie ihre Ergebnisse unter Umständen ge- bzw. missbraucht werden, ist es umso wichtiger, sich dieser Gefahrenquellen bewusst zu bleiben. Unterstützend wirken dabei Standards, wie sie beispielsweise von der DeGEval, der Deutschen Gesellschaft für Evaluation (2002) formuliert wurden. Gelingt dies, ist das Aufgabenfeld der Evaluationsforschung um nichts weniger anspruchsvoller als das jeder anderen Wissenschaft.

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

6.5

113

Literatur

Berker, T. (2003). In Protokolldaten geronnenes Nutzerverhalten. Quelle: [Nicht mehr zugänglich] Bortz, J.; Döring, N. (2003). Forschungsmethoden und Evaluation für Human und Sozialwissenschaftler. 3. überarbeitete Auflage. Springer-Verlag Berlin Heidelberg New York (S. 370) Campbell, D. T.; Fiske, D. W. (1959). Convergent and Discriminant Validation by the Multitrait-Multimethod Matrix. In: Psychological Bulletin, Vol. 56, Nr. 2, March 1959 (pp. 81– 105) Chelimsky, E. & Shadish, W. R. (Eds.) (1997). Preface. In: Evaluation for the 21st Century: A Handbook. London et al: Sage Publications, (pp. xi–xiii) Datte, L.-E. (1997). Multimethod Evaluations. Using Case Studies Together with Methods. In: Chelimsky, E. & Shadish, W. R. (eds). Evaluation for the 21st Century: A Handbook. London et al: Sage Publications, (pp. 344–359) Denzin, N. K. (1970). The research act in sociology. A theoretical introduction to sociological methods. Chicago: Aldine Deutsche Gesellschaft für Evaluation – DeGEval (2002). Standards für Evaluation. Quelle: [Letzter Zugriff am 30.08.2009] Dwight, A.; Ryan, K. (1969). Microteaching. Reading, Mass.: Addison-Wesley Ehlers, U.-D.; Schenkel, P. (2005). Bildungskontrolling im E-Learning – Eine Einführung. In: Ehlers, U.-D.; Schenkel, P. (Hrsg): Bildungskontrolling im E-Learning: Erfolgreiche Strategien und Erfahrungen jenseits des ROI. Springer Berlin Heidelberg New York, (S. 1–13) Denzin, N. K. (1989). The Research Act; A Theoretical Introduction to Sociological Methods. Prentice-Hall, Inc.; New Jersey (3. Ed.), (pp. 234–247) Fielding, N. G.; Fielding, J. L. (1986). Linking Data. Qualitative Research Methods, Vol.4. London: Sage Flick, U. (1991). Triangulation. In: Flick, U.; Kardoff, E. v.; Keupp, H.; Rosenstiel, L. v. & Stephan Wolff, S. (Hrsg.). Handbuch qualitative Sozialforschung. München: Psychologie Verlags Union, (S. 432–434) Gassler, G. (2004). Integriertes Mikrolernen. MPhil. thesis, University of Innsbruck, Austria Gassler, G.; Hug, T.; Glahn, C. (2004). Integrated Micro Learning – An outline of the basic method and first results. In: Auer, M. E. & Auer, U. (eds.): International Conference on Interactive Computer Aided Learning, ICL 2004, Sept. 29 - Oct. 1, 2004, Villach, Austria (CDROM)

114

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Gastager, A.; Patry, J-L. (2006). 'Allen Leuten recht getan ...'. Widersprüchliche Anforderungen an Evaluatorinnen und Evaluatoren. In: Böttcher, W.; Holtappels, H. G.; Brohm, M. (Hrsg.): Evaluation im Bildungswesen. Eine Einführung in Grundlagen und Praxisbeispiele. Weinheim und München: Juventa, (S. 109–121) Geser, G. (2005). Zentrumsprojekt Digital Content Engineering, F&E- und Marktoptionen, Studienergebnisse Teil IV, Trendradar: E-Learning. Salzburg NewMediaLab, Kompetenzzentrum für Neue Medien. Quelle: [Letzter Zugriff am 30.08.2009] Goodman, N. (1978). Ways of Worldmaking. Indianapolis: Hackett Publishing Company Gstrein, S.; Hug, T. (2006). Integrated Micro Learning During Access Delays: A New Approach to Second-Language Learning. In: Zaphiris, Panayiotis (Ed.); User-Centered Computer Aided Language Learning. Hershey/PA: Idea Group Publishing: 2006, (pp. 152–175) Hagleitner, W. (2006). Qualitätsbeurteilung des Screen Designs der PC-Version des Knowledge Pulse, Teil 1. Research Studios Austria, Studio eLearning Environments. Interne Publikation Hagleitner, W.; Drexler, A.; Hug, T. (2006). Evaluation of a prototypic version of Knowledge Pulse in the context of a management course. Paper presented at the MapEC (Multimedia Applications in Education Conference) 2006, September 4-6, FH Joanneum, Graz, Austria. Heinze, T. (2001). Qualitative Sozialforschung. Einführung, Methodologie und Forschungspraxis. R. Oldenbourg Verlag München & Wien, (S. 28–36) Hug, T. (2005). Micro Learning and Narration - Exploring possibilities of utilization of narrations and storytelling for the designing of “micro units” and didactical microlearning arrangements. Paper presented at the fourth Media in Transition conference, May 6-8, 2005, MIT, Cambridge (MA), USA, (p. 5) Hug, T. & Friesen, N. (2007). Outline of a Microlearning Agenda. In: Hug, T. (ed.): Didactics of Microlearning. Concepts, Discourses and Examples. Münster u. a.: Waxmann, S. 15–31 Jakob, A. (2001). Möglichkeiten und Grenzen der Triangulation quantitativer und qualitativer Daten am Beispiel der (Re-)Konstruktion einer Typologie erwerbsbiographischer Sicherheitskonzepte. Forum Qualitative Sozialforschung [Online Journal], 2(1). Quelle: [Letzter Zugriff am 30.08.2009] Kerres, M.; de Witt, C. (2004). Pragmatismus als theoretische Grundlagen für die Konzeption von eLearning. In Meyer, H. O. & Treichel, D. (Hrsg.), Handlungsorientiertes Lernen und eLearning. Grundlagen und Beispiele. München: Oldenbourg, (S. 68–87) Köckeis-Stangl, E. (1980). Methoden der Sozialisationsforschung. In: Hurrelmann, K.; Ulich, D. (Hrsg.). Handbuch der Sozialisationsforschung. Weinheim, Basel: Beltz, (S. 363)

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

115

Kress, Gunther (2003). Literacy in the new media age. New York: Routledge Lamnek, S. (1993). Qualitative Sozialforschung. Band 1: Methodologie. Weinheim: Psychologie Verlags Union, (S. 244) LERNET-Begleitforschung (MMB Institut für Medien- und Kompetenzforschung und Adolf Grimme Institut), (2003). Zehn aktuelle Trends des E-Learning in der beruflichen Weiterbildung. Quelle: [Nicht mehr zugänglich] Prein, G.; Kelle, U. & Kluge, S. (1993). Strategien zur Integration quantitativer und qualitativer Auswertungsverfahren. Arbeitspapier 19 des SFB 186, Universität Bremen. Quelle: [Letzter Zugriff am 30.08.2009] Stachowiak, H. (1973). Allgemeine Modelltheorie. Wien/New York: Springer Sale, J. E. M.; Lohfeld. L. H.; Brazil, K. (2002). Revisiting the Quantitative-Qualitative Debate: Implications for Mixed-Methods Research. In: Quality & Quantity, Vol. 36, (pp 43–53) Sanders, J.-R. (2006). Handbuch der Evaluationsstandards - Die Standards des “Joint Committee on Standards for Educational Evaluation” (3. Auflage). VS Verlag für Sozialwissenschaften/GWV Fachverlag GmbH, Wiesbaden Schenkel, P.; Tergan, S.-O.; Lottmann, A. (2000). Qualitätsbeurteilung multimedialer Lernund Informationssysteme: Evaluationsmethoden auf dem Prüfstand. Nürnberg: BW Bildung und Wissen Verlag und Software GmbH, (S. 5) Schneeberger, A.; Mayr, T. (2004). Berufliche Weiterbildung in Österreich und im europäischen Vergleich: Forschungsbericht im Auftrag des Bundesministeriums für Wirtschaft und Arbeit. IBW – Institut für Bildungsforschung der Wirtschaft, Wien (Vorwort) Spöhring, W. (1989). Qualitative Sozialforschung. Stuttgart: Teubner, (S. 98ff) Stone, D.; Jarrett, C.; Woodroffe, M.; Minocha, S. (2005). User Interface Design and Evaluation. San Francisco: Morgan Kaufmann Unterrainer, E. V.; Welte M. E. (2008). Evaluation of Flashcard-based Learning Systems. In: Bruck A. P.; Lindner, M. (Editors): Microlearning and Capacity Building. Proceedings of the 4th International Microlearning 2008 Conference. Innsbruck: Innsbruck University Press Webb, E.J.; Campbell, D.T.; Schwartz, R.D.; Sechrest, L.; Grove, J.B. (1966). Nonreactive measures in the social sciences. Rand McNally, Chicago Weidenmann, B. (2002). Multicodierung und Multimodalität im Lernprozess. In: Issing, L. J.; Klimsa, P. (Hrsg.): Information und Lernen mit Multimedia und Internet: Lehrbuch für Studium und Praxis. 3. Auflage. Weinheim: Psychologie Verlags Union, Verlagsgruppe Beltz, (S. 45–62) Wikipedia – The Free Encyclopedia (2006). Microlearning. Quelle: [Letzter Zugriff am 30.08.2009]

116

Ein Generisches Modell zur Evaluation von Mikrolern-Prozessen

Stangl, W. (2006). [werner.stangl]s arbeitsblätter: Hyperlearning, Hypermedia, Hypertext. Quelle: www.stangl-taller.at/ARBEITSBLAETTER/LERNEN/Hypertextlernen.shtml [Letzter Zugriff am 30.08.2009]

Praxisbeispiele

7

eLearning – Qualität und Evaluation von Konzepten in der Praxis Peter Littig

7.1

Qualität und Evaluation von eLearning Konzepten aus Sicht eines Anbieters beruflicher Aus- und Weiterbildung

Im Rahmen meiner nachfolgenden Berichte und Überlegungen will ich entlang von Beispielen aus Arbeit in der beruflichen Weiterbildung einen Beitrag zur Diskussion um praxisorientierte Ansätze zu Evalution von eLearning, genauer von eLearning basierten Blended-Learning Ansätzen leisten. Dies geschieht aus der Perspektive eines Bildungsdienstleisters der beruflichen Aus- und Weiterbildung, der im Rahmen eines integrativen und kontinuierlichen Prozesses eLearning als eines der methodischen Werkzeuge in sein Portfolio, das zur Entwicklung bedarfsorientierter und insbesondere kundenspezifischer Qualifizierungsangebote bereitsteht und zunehmend Anwendung findet, aufgenommen hat. Die in den folgenden Abschnitten angeführten Beispiele sind somit der direkten oder indirekten Praxiserfahrung der DEKRA Akademie im Zusammenhang mit dem Einsatz von eLearning bzw. Blended-Learning entnommen. Die DEKRA Akademie hat sich zwischenzeitlich zu einem der größten privaten Bildungsdienstleister in Deutschland entwickelt und offeriert ihren Kunden mittlerweile auch außerhalb Deutschlands berufliche Weiterbildung auf zahlreichen unterschiedlichen Fachgebieten. Die DEKRA Akademie ist darüber hinaus ein Bildungsdienstleister, der auf eine verhältnismäßig lange Tradition zurückblicken kann und die Entwicklung im eLearning Geschehen schon lange Zeit mit großer Aufmerksamkeit verfolgt. Dennoch – oder genau deshalb – hat sich die DEKRA Akademie erst im Laufe der jüngeren Vergangenheit immer stärker mit den Aspekten der Umsetzung und Bewertung von eLearning Konzepten innerhalb des eigenen

120

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Angebotsportfolios auseinandergesetzt und bietet ihren Kunden zwischenzeitlich verstärkt eLearning basierte Lernarrangements an. Im Rahmen meiner Ausführungen will ich in den nachfolgenden Zeilen versuchen, die Aktivitäten und Überlegungen der DEKRA Akademie hinsichtlich der Evaluation von eLearning zu beschreiben bzw. von bereits vorhandenen Ansätzen und laufenden Verfahren wie auch von den Fragestellungen berichten, mit denen wir uns heute als Bildungsdienstleister, der auch auf wirtschaftlichen Erfolg ausgerichtet ist, auseinander zu setzen haben. D.h., dass ich von evaluatorischen Ansätzen berichten werde, mit deren Hilfe wir uns letztlich Hinweise auf die zukünftige qualitative wie ökonomische Entwicklung im Hinblick auf den Einsatz eLearning bei der DEKRA Akademie erhoffen.

7.1.1

eLearning: Aus Erfahrung klug geworden?

Wie bereits angesprochen, zählte die DEKRA Akademie nicht unbedingt zu den Vorreitern unter den Bildungsdienstleistern, die schon recht frühzeitig eLearning zum Bestandteil ihres Angebotsportfolios machten. Das heißt natürlich nicht, dass die früheren Entwicklungen im Zusammenhang mit eLearning auf den Aus- und Weiterbildungsmarkt seitens der DEKRA Akademie ignoriert wurden. Wir haben die Entwicklungen rund um das Thema eLearning in der Vergangenheit vielmehr sehr genau beobachtet und analysiert. Dies mögen Studien wie ‚Klug durch eLearning’6 aus dem Jahr 2002 oder ‚eLearning in Europe – Results and Recommendations’7 aus dem Jahr 2003, die auf großes Interesse in der Öffentlichkeit stießen, belegen. Im Rahmen dieser Studien wurde die aktuelle Entwicklung von eLearning in Deutschland bzw. auch in EU Europa eingehend analysiert und diskutiert, Fehlentwicklungen und Defizite aufgezeigt, aber auch Chancen und weitere Entwicklungsmöglichkeiten von eLearning erarbeitet. So zählten zu den wichtigsten Ergebnissen der Studie ‚eLearning in Europe’ zehn zentrale Empfehlungen an die Europäische Kommission im Hinblick auf die Auswahl und Förderung von eLearning Projekten, wie dies beispielsweise mit Hilfe des Programms Leonardo da Vinci zur Förderung der beruflichen Aus- und Weiterbildung geschieht. Aus heutiger Sicht betrachtet, so mag ich behaupten, war diese anfängliche Zurückhaltung der DEKRA Akademie hinsichtlich eines offensiven Markteintritts mit eLearning Produkten sicher kein Fehler. Viele Anbieter, die sich früher bzw. sogar erheblich früher auf den Weg gemacht hatten, den eLearning Markt zu erobern, können heute zwar auf wertvolle Erfahrungen in der eLearning-Pionierarbeit, aber auch auf viele Fehler und somit auch auf zahlreiche Fehlinvestitionen zurückblicken. So war beispielsweise der Markt in den späten achtziger Jahren einfach noch nicht bereit, die technologischen Möglichkeiten bzw. die guten Ideen und Konzepte, die zweifelsohne auch damals schon zu finden waren zu nutzen bzw. zu honorieren. Dies konnte ich selbst erfahren, als mein damaliger Arbeitgeber, das Control Data In6

Littig, P., Klug durch E-Learning, eine Marktstudie der DEKRA Akademie, Bielefeld 2002

7

Attwell,G. u.a., E-Learning in Europe – Results and Recommendations, Thematic Monitoring under the Leonardo Da Vinci Programme, Bonn 2003

eLearning – Qualität und Evaluation von Konzepten in der Praxis

121

stitut (CDI), erste Schritte in Richtung PC-gestützter eLearning Angebote für den freien Markt wagte. Auch das damals in der IT-Branche und darüber hinaus renommierte Control Data Institut, damals ein Tochterunternehmen der Control Data Corporation (CDC), eines zu dieser Zeit großen amerikanischen Herstellers von Supercomputern, in dessen Räumen bereits zu Beginn der sechziger Jahre erste eLearning Konzepte – zu dieser Zeit noch mit Hilfe entsprechender Mainframes – entwickelt und erprobt worden waren, schaffte es in den späten achtziger und frühen neunziger Jahren trotz größter intellektueller und finanzieller Anstrengungen nicht, eLearning zur Grundlage eines attraktiven Geschäftsmodells in der beruflichen Aus- und Weiterbildung zu machen. Der Einsatz des von CDC enwickelten Lernsystems für Mainframes mit dem Namen PLATO8 blieb somit nur auf wenige große Unternehmen und Universitäten beschränkt. Im Zeichen der sich entwickelnden PC Welt gelang es zwar bereits im Jahr 1988 in München zusammen mit einem großen süddeutschen Automobilhersteller für dessen Mitarbeiterinnen und Mitarbeiter ein erstes eLearning Projekt auf Basis eines hybriden Lernkonzepts (heute spräche man von einem Blended Learning Konzept) im Rahmen eines von CDI betriebenen Lerncenters zu starten. Allerdings gelang es in der Folge nicht, ein derartiges Konzept so zu vermarkten, um damit letztlich nachhaltige wirtschaftliche Erfolge für den Betreiber zu erzielen. Selbstkritisch betrachtet mögen die Gründe darin gelegen haben, dass neben der bereits erwähnten mangelnden Bereitschaft des Marktes weder brauchbare Ergebnisse einer formativen noch einer summativen Evaluation vorlagen, bzw. keine entsprechenden Evaluierungen durchgeführt worden waren auf die man hätte Bezug nehmen können. Es fehlten somit Ergebnisse, die die Grundlage für gezielte Verbesserungen und Weiterentwicklungen der Konzepte hätten bilden können, die aber auch vertriebliche Argumente dafür hätten liefern können, dass sich der Markt für entsprechende Angebote stärker und auch früher geöffnet hätte. Aber auch in der Zeit danach geriet die Vermarktung von eLearning trotz zahlreicher hochinteressanter technologischer und auch methodisch-didaktischer Ansätze, die unter den verschiedenen Angeboten am Markt zu entdecken waren, zu einem nicht unbedeutenden Wagnis, zumal die Evaluation der eLearning Entwicklungen bis weit in das erste Jahrzehnt des 21. Jahrhunderts hinein immer wieder zeigte, dass es sehr schwer war und ist, mit eLearning Konzepten wirtschaftlich erfolgreich zu sein und letztlich nicht nur Auftraggeber, sondern die einzelnen Lerner zu überzeugen. So machten beispielsweise im Rahmen der großen Jahreskonferenzen der ASTD (= American Society for Training and Development) in den USA noch bis vor einigen Jahren Aussagen die Runde, die zum Inhalt hatten, dass durchschnittlich neunzig Prozent der eLearning Konzepte von den Lernenden nicht bis zum Ende durchgearbeitet werden, d.h. dass sich die eLearning Anbieter mit einer aus deren Sicht horrenden Abbruchquote konfrontiert sahen. Was die wirtschaftliche Betrachtung von eLearning betraf, so stellten viele Unternehmen, die Schlagzeilen in den späten neunziger Jahren Glauben geschenkt hatten, die verkündeten, dass der Einsatz von eLearning die Kosten für die berufliche Weiterbildung der Mitarbeiterinnen und Mitarbeiter um 30, 40 oder gar mehr Prozent senken würde, rasch fest, dass derartige Wunder nicht zu realisieren waren: Die Evaluation einzelner Projekte hatte ergeben, dass 8

PLATO = Programmed Logic for Automated Teaching Operations

122

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Weiterbildung eben nicht mit dem Kauf einer Lizenz für eine Lernsoftware und der Bereitstellung der technisch erforderlichen Umgebung als Investition erledigt ist, sondern dass ein solches einmal installiertes eLearning Konzept ständig technisch, inhaltlich sowie methodisch-didaktisch weiterentwickelt werden muss und dass – entsprechend der jeweiligen Zielsetzung, Zielgruppe und der Lerninhalte – eine tutorielle Unterstützung der Lernenden erforderlich ist, wenn die dafür aufgewandten materiellen und immateriellen Aufwendungen nicht als Fehlinvestitionen abgeschrieben werden sollten.

7.1.2

Evaluation in der Praxis: ein hochkomplexer Prozess

Der Komplexitätsgrad bei der Evaluation von eLearning hängt ganz entscheidend von den Fragestellungen ab, die einem Evaluationsprozess zu Grunde liegen. In den nachfolgenden Zeilen soll deshalb diskutiert werden, welche funktionalen Zusammenhänge zwischen der Auswahl von Qualitätskriterien und der Komplexität des entsprechenden an diesen Qualitätskriterien orientierten Evaluierungskonzepts besteht. Viele der eher summativen Evaluationen von eLearning Konzepten haben gezeigt, dass eLearning, wenn es als Lernwerkzeug bzw. als Teil umfassender Lernarrangements am Markt dauerhaft erfolgreich etabliert werden soll, spezifische qualitative Erfolgskriterien zu erfüllen hat, von denen viele erst in der jüngeren Vergangenheit in den Mittelpunkt der Diskussion um Qualität von eLearning rückten. Ganz im Sinn einer der zentralen Empfehlungen der Studie ‚eLearning in Europe’ sei als Beispiel für ein solches Qualitätskriterium der Grad der ‚Lernerorientierung’ eines eLearning Konzepts bzw. eines Lernarrangements genannt. Dies ist ein Beispiel, an Hand dessen die Komplexitätsproblematik deutlich wird, der sich etwa ein Bildungsdienstleister gegenüber sieht, wenn er sich auf den Weg macht, ein eLearning bzw. Blended-Learning Konzept hinsichtlich eines entsprechenden qualitativen Erfolgskriteriums zu evaluieren. Lernerorientierung ist als eines der zentralen Qualitätskriterien zu nennen, zumal die bisherigen Erfahrungen gezeigt haben, dass Lernerorientierung ganz entscheidend für die Zufriedenheit der Lernenden mit dem jeweils angebotenen Lernarrangement ist und somit einen bedeutenden Erfolgsfaktor für ein Lernarrangement repräsentiert. Bei allen Bildungsdienstleistern rückte in den vergangenen Jahren die Erkenntnis in den Vordergrund, dass Lernerorientierung somit eine, wenn auch nicht hinreichende so doch notwendige Bedingung dafür darstellt, Lernerinnen und Lerner zufrieden stellen und motivieren zu können. Lernerorientierung als notwendige Bedingung für die Zufriedenheit der Lernenden zu akzeptieren, bedeutet für Hersteller wie Bildungsdienstleister bereit zu sein, das in früheren Jahren vorherrschend technologiegetriebene Entwicklungsschema

Lernmedien → Lernumgebung → Lernkategorien → Lernziele → Lerner

eLearning – Qualität und Evaluation von Konzepten in der Praxis

123

konsequent in ein lernerorientiertes Entwicklungsschema umzukehren:

Lerner → Lernziele → Lernkategorien → Lernumgebung → Lernmedien Standen im Rahmen technologiegetriebener Lernkonzepte am Anfang die Entwicklung meist technologisch hochwertiger Lernmedien und erst am Ende die Suche nach den geeigneten Lernern, basieren lernerorientierte Konzepte ganz auf den Anforderungen und Befähigungen, die die Lernenden einbringen können, wobei folglich erst am Ende der Entwicklungskette, das geeignete Lernmedium ausgewählt bzw. adaptiert oder entwickelt wird. Um Lernerorientierung der angebotenen eLearning bzw. Blended-Learning Konzepte zu erreichen, müssen somit Prämissen beachtet werden, die bei der Entwicklung eines jeden modernen Lernkonzepts zu Grunde liegen sollten. Zu diesen Prämissen einer lernerorientierten beruflichen Weiterbildung Erwachsener zählen: -

Erwachsene Lerner sind keine ‚andersartigen’ Lerner. Erwachsene lernen nach den gleichen Bedingungen und Mustern wie andere Altersgruppen.

-

Erwachsene lernen als Individuen.

-

Erwachsene Lerner sind keine Lernanfänger mehr. Sie haben ihre eigenen Lernerfahrungen und ihre jeweils eigene Lernbiografie.

-

Erwachsene Lerner haben eigene klare Zielvorstellungen.

Daraus ergibt sich noch eine weitere und ganz zentrale Prämisse, die für die Evaluierung und Bewertung von eLearning von erheblicher Bedeutung ist: Lernen stellt einen höchst individuellen und mentalen Prozess dar, der auch nicht durch den Einsatz ausgereiftester Lerntechnologien sicherzustellen ist, was letztlich auch für eLearning gilt. Lernen läuft unsichtbar und letztlich kaum steuerbar innerhalb einer Person ab (lernen als so genanntes ‚Hidden File’)9. Es mag zwar manchen eLearning Euphoriker ernüchtern, dass im Gegensatz zu zahlreichen anderslautenden vollmundigen Ankündigungen letztlich auch eLearning keine sichere Möglichkeit bietet, jemanden durch Lehre lernen zu machen. – Allerdings stellt es gerade im Hinblick auf Evaluations- und Bewertungsprozesse eine wichtige Grundlagenerkenntnis dar, dass letztlich auch Medien und Mediensysteme einschließlich eLearning nichts weiter als didaktische Konstruktionen der Lehrenden sind, die sich von den tatsächlich ablaufenden Lernprozessen bei den einzelnen Lernenden erheblich unterscheiden können10. 9

cf.Dichanz/Ernst: E-Learning – begriffliche, psychologische und didaktische Überlegungen, in: Scheffer, U., Hesse, F.W., E-Learning, die Revolution des Lernens gewinnbringend einsetzen, S. 51, Stuttgart 2002

10

cf. Dichanz, Ernst, 2002

124

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Dass Lernen letztlich immer ein individueller Prozess sein wird, der als ‚Hidden File’ innerhalb des Lernenden abläuft, reduziert die Möglichkeiten dessen, was in der Praxis der beruflichen Aus- und Weiterbildung im Zusammenhang mit eLearning überhaupt realistisch, das heißt mit überschaubarem und ökonomisch vertretbarem Aufwand evaluiert werden kann. Grundsätzlich unterscheidet man im Qualitätsmanagement zwischen so genannter Strukturqualität eines eLearning bzw. Blended-Learning Konzepts, dessen Prozessqualität sowie der Ergebnisqualität von eLearning bzw. Blended-Learning. Allerdings stellen – im Gegensatz zur Bewertung von Strukturqualität – die Bewertungen von Prozessqualität und insbesondere von Ergebnisqualität die Evaluatoren durch die wachsende Vermischung subjektiver und objektiver Kriterien und durch den Einfluss der Lernenden selbst vor ganz besondere Herausforderungen. Dabei umreißt Strukturqualität die Qualität der strukturellen Voraussetzungen, wie zum Beispiel •

die verfügbare technische Infrastruktur

•

die personelle Ausstattung

•

pädagogische und fachliche Eignung der Tutorinnen und Tutoren

•

organisatorische Rahmenbedingungen etc.

während Prozessqualität die Qualität des eigentlichen Lernprozesses an sich beschreibt und Ergebnisqualität die Resultate und Wirkungen eines Lernprozesses widerspiegeln soll. Beispielsweise wird im Bereich der Evaluation von Schule11 genau hier mit Evaluationsprozessen aufgesetzt, da man sich erhofft, dass gerade durch Evaluation die ansonsten nur schwer fassbaren Aspekte von Ergebnisqualität gültig beschrieben und gemessen werden können, um schließlich glaubwürdige Bewertungen durchzuführen. Als Grundlage für einen praktikablen und somit praxisorientierten Evaluierungsprozess hinsichtlich der Ergebnisqualität empfiehlt es sich von dem allgemein-definitorischen Ansatz auszugehen, der besagt, dass die Qualität eines eLearning bzw. eines Blended Learning Konzepts die Summe der beobachtbaren Sachverhalte darstellt, mit denen eLearning im Einzelfall erwartungsbezogen seine Aufgaben erfüllt. Beispiel für eine solche Erwartung an eLearning wäre eben, dass es in hohem Maße lernerorientiert ist. In diesem Fall müssen Evaluationskonzepte beruflicher Weiterbildung somit einerseits hinterfragen, wie weit das jeweils vorliegenden Lernkonzept die Rahmenbedingungen dafür schafft, dass ein hohes Maß an Lernerorientierung erreicht wird, andererseits können sie dabei letztlich dennoch nur so genannte makrodidaktische Aspekte konkret bewerten. Für die Evaluation von eLearning Konzepten im Rahmen beruflicher Weiterbildung – sei es bei einer Weiterbildung bei einem Bildungsdienstleister oder sei es im Unternehmer des Arbeitgebers 11

cf. Punge, J., Info-art agentur für Kommunikation (2009): Glossar Schulevaluation. Quelle http:// www. Schulevaluation.de/glossar/ergebnisqualitaet.php

eLearning – Qualität und Evaluation von Konzepten in der Praxis

125

des Lernenden – heißt dies, dass letztlich nur solche Kriterien herangezogen werden können, die aus Sicht einzelner am eLearning Konzept beteiligter bzw. interessierter Akteursgruppen (Lernende, Arbeitgeber bzw. Auftraggeber, Bildungsdienstleister – betrieblich oder außerbetrieblich) auf einem hinsichtlich der notwendigen Begrenzung des Komplexitätsgrads noch vertretbaren Abstraktionsniveau zu erfassen sind. Als konkretes Beispiel für die Entwicklung eines entsprechend geeigneten Kriterienkatalogs seien die nachfolgenden Fragen aufgelistet, mit Hilfe derer ein erfassbarer und bewertbarer Kriterienkatalog12 zur Evaluierung von Lernarrangements hinsichtlich der Lernerorientierung von Lernprozessen aus der Perspektive der Lernenden entwickelt werden kann: •

Verfolgt der Lernprozess Ziele, die mit den Interessen der Lernenden übereinstimmen?

•

Sind die gewählten Inhalte für die Lernenden tatsächlich von Bedeutung?

•

Sind die gewählten Lernformen geeignet, den Lernprozess zu initiieren bzw. zu unterstützen?

•

Führt das Lernprogramm zum gewünschten Ergebnis?

•

Generiert das eLearning Konzept eine stärkere Motivation zu lernen als traditionelle Lernkonzepte?

•

Welches Verständnis von eLearning liegt dem Lernkonzept zugrunde?

So könnte aus der ersten Frage ein Kriterium abgeleitet werden, das besagt, dass vom jeweiligen eLearningkonzept erwartet wird, dass mindestens achtzig Prozent der Ziele des entsprechenden Lernprozesses mit den Interessen der Lernenden übereinstimmen. In diesem Fall stellt die Tatsache, dass dieses Kriterium erfüllt oder auch nicht erfüllt wird, im Sinne der obigen Qualitätsdefinition einen der genannten entsprechenden beobachtbaren (zum Beispiel durch Befragung der Lernenden) Sachverhalte dar. Wie rasch und wie stark sich der Komplexitätsgrad eines lediglich auf die Lernerorientiertheit eines Lernkonzepts ausgerichteten Evaluierungsprozesses erhöhen würde, wenn wir die oben angesprochenen makrodidaktische Ebene verließen und bei den Lernenden eine noch individualisiertere Perspektive einnähmen, zeigt das nachfolgenden Beispiel von Ehlers13, in dem er zwischen Gruppen von Charakteren und deren spezifischen Qualitätskriterien von eLearning unterscheidet: So bevorzugen die Individualisten unter den Lernenden naturgemäß besonders individualisierte Angebote. Dabei heben sie inhaltsbezogene Qualitätsansprüche mit einem hohen Maß an didaktischer Strukturierung und schätzten die Möglichkeiten des so genannten selbstgesteuerten Lernens. Präsenzveranstaltungen, Lernprozesse, die ein hohes Maß an Interaktion und Kommunikation erfordern, schrecken sie jedoch ab. 12

cf.Dichanz/Ernst, 2002, S. 51

13

cf.Ehlers, U., in BWP 6/2003 Subjektorientierte Qualitätsforschung versus objektive Qualitätskriterien? Vom vergessenen E-Lerner in der Debatte um Qualität beim E-Learning

126

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Die ergebnisorientierten Lernenden hingegen freuen sich über die unkomplizierte Nutzung von Standardangeboten, lieben arbeitsintegriertes Lernen, besitzen eine gute Lern- und Medienkompetenz und werden auf Präsenzveranstaltungen und auf ein hohes Maß an erforderlicher Interaktion und Kommunikation – wie ihre individualistischen Kolleginnen und Kollegen – eher verzichten wollen. Im Gegensatz dazu sind die von Ehlers als Avantgardisten bezeichneten Lernenden als besonders interaktionsorientiert einzuschätzen, die Diskussionen und Kommunikation, tutorielle Begleitung, die Mitwirkung in virtuellen Lerngruppen, die didaktische Reichhaltigkeit sowie ausführliche Information und Beratung als wesentliche Qualitätsmerkmale eines auf hohem technischen Niveau stehenden mediengestützten (avantgardistischen) Lernkonzepts ansehen. Die vorangehenden Überlegungen zur denkbaren Vielfalt der zu evaluierenden Kriterien hinsichtlich des makrodidaktischen Aspekts ‚Lernerorientierung’ eines eLearning Konzepts und dem damit einhergehenden potenziellen Komplexitätsgrad mögen einen Hinweis darauf geben, mit welchem Komplexitätsgrad ein eher meso- oder gar mikrodidaktisches Evaluationsverfahren ausgestattet sein würde, wenn wir bedenken, dass die vorangehenden Überlegungen sich bisher ausschließlich auf das Kriterium ‚Lernerorientierung’ und somit auf das rechte obere Feld (Lerner/ Lernerorientierung) der nachfolgend angeführten Perspektivmatrix beziehen. Die nachfolgende Perspektivmatrix basiert auf der oben bereits angeführten Definition, die besagt, „dass die Qualität von eLearning die Summe der beobachtbaren Sachverhalte darstellt, mit der eLearning im Einzelfall erwartungsbezogen seine Aufgaben erfüllt.“14 Neben dem bereits diskutierten makrodidaktischen Kriterium ‚Lernerorientierung’ finden sich in der nachfolgenden Perspektivmatrix fünf weitere zentrale Kriterien, deren Evaluation Ergebnisse (beobachtbare Sachverhalte) liefern können, an Hand derer letztlich festgestellt werden kann, ob eLearning im Sinne der obigen Definition erwartungsbezogen seine Aufgaben erfüllt. Dabei wird deutlich, dass auf Grund der Subjektivität der Erwartungen an eLearning natürlich bereits die Auswahl der Kriterien, die im Mittelpunkt eines Evaluationsprozesses stehen sollen, i.d.R. von sehr spezifischen Interessen geleitet ist. Beispielsweise wird jeder Bildungsdienstleister oder jeder sonstige Akteur, der ein eLearning Konzept zu evaluieren beabsichtigt, sehr wahrscheinlich unterschiedliche Kriterien entsprechend seiner subjektiven Erwartungen an das jeweilige eLearning Konzept in den Mittelpunkt des Interesses stellen. Insofern kann die nachfolgende Kriterienauswahl nur ein Beispiel für einen möglichen Kriterienkatalog abbilden, wie er möglicherweise aus Sicht eines Bildungsanbieters einem Evalutionsprozess hinsichtlich der Ergebnisqualität von eLearning basierten Lernarrangements zu Grunde gelegt werden könnte. Der Tatsache, dass darüber hinaus zu jedem der einzelnen Kriterien zweifelsfrei eine jeweils subjektive Sicht hinsichtlich der Bedeutung der einzelnen Kriterien der einzelnen Akteure 14

cf. S. 4

eLearning – Qualität und Evaluation von Konzepten in der Praxis

127

wie Lerner, Auftraggeber, Hersteller, Bildungsdienstleister und Beobachter (Bildungsforscher) existiert, soll durch die Darstellung der Zusammenhänge in Form einer Matrix Rechnung getragen werden. So gewichten Lernende möglicherweise das Kriterium der Lernerorientierung völlig anders als beispielsweise Auftraggeber (wie etwa die Personalabteilung eines Unternehmens), die ein besonderes Gewicht auf die ökonomischen Aspekte legen müssen. Darüber hinaus haben die Erfahrungen bei der Implementierung und Umsetzung von eLearning Prozessen in der Praxis immer wieder gezeigt, dass die Evaluation von eLearning Prozessen nicht unabhängig vom Kontext, in dem eLearning zum Einsatz kommt, sinnvoll durchgeführt werden kann. So wird eLearning nicht unabhängig davon, in welchem Lernarrangement bzw. in welchem Blended-Learning Konzept, für welche Zielgruppe, im Auftrag wessen, mit welcher Zielsetzung es zum Einsatz kommt, praxisorientiert bewertet werden können. Aus all diesen Gründen steht für uns als Bildungsdienstleister bei der Evaluation von eLearning nicht die Bewertung des singulären Werkzeugs eLearning im Vordergrund, sondern die Bewertung der Qualität jeweils spezifischer Blended-Learning Prozesse in ihrer Gesamtheit und zwar beispielsweise auf der Basis des oben angesprochenen Kriterienkatalogs (Perspektivmatrix), wovon die nachfolgenden Praxisbeispiele einen Eindruck vermitteln sollen.

7.1.3

Praxisbeispiele aus dem Arbeitsfeld der DEKRA Akademie

Nachfolgend will ich anhand zweier Beispiele aus dem Arbeitsfeld der DEKRA Akademie versuchen aufzuzeigen, welche Formen der Evaluation angewendet werden bzw. in Zukunft angewendet werden sollen und welche Ergebnisse sich aus den bereits durchgeführten Evaluationsprozessen ergeben haben. Das erste Beispiel setzt sich mit dem zentralen Blended Learning Konzept (p.r.o.f.i.) der DEKRA Akademie auseinander, das in den Lernzentren der DEKRA Akademie für Kunden angeboten wird, deren Weiterbildung überwiegend von der Bundesagentur für Arbeit finanziert wird. Das zweite Beispiel beschreibt die Entwicklung und Erprobung eines Konzepts zur Umsetzung eines Ansatzes des produktionsprozessorientierten Lernens (zunächst) in der Automobilwirtschaft, bei dem die DEKRA Akademie als einer der Projektpartner der Daimler AG mitgewirkt hat.

128

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Perspektivfelder (Perspektivmatrix) technologisch

administrativ

ökonomisch

(lern-) organisatorisch

pädagogisch

lernerorientiert

Lerner Auftraggeber Hersteller Bildungsdienstleister Beobachter (Bildungsforscher) Abb 7.1

Perspektivfelder

Beispiel 1: p.r.o.f.i. bei der DEKRA Akademie, Evaluation aus Sicht eines Bildungsdienstleisters Bei dem von der DEKRA Akademie angebotenen Konzept, bezeichnet mit dem Akronym p.r.o.f.i.15, stehen die einzelnen Buchstaben für die wesentlichen Eigenschaften des so bezeichneten Konzepts (praxisnah, rationell, offen, flexibel, individuell). Das p.r.o.f.i. Konzept dockt teilweise direkt an die ersten Erfahrungen an, die – wie berichtet – das Control Data Institut Ende der achtziger Jahre im Zusammenhang mit den ersten Ansätzen mediengestützten und individualisierten Lernens in Lernzentren gemacht hat. Nur mit dem Unterschied, dass im Gegensatz zu 1988 die Zeit bzw. der Markt jetzt offener für solche Lernkonzepte zu sein scheint. Ziel des p.r.o.f.i. Konzepts zur beruflichen Weiterbildung, das sich gleichermaßen an Arbeitssuchende, Berufstätige und Berufsrückkehrer wendet, ist es, die Lernenden mit Hilfe eines Blended-Learning Ansatzes möglichst ihren individuellen Fähigkeiten und Fertigkeiten entsprechend zu qualifizieren. Dabei sollen die Teilnehmerinnen und Teilnehmer genau das lernen, was sie tatsächlich für ihre weitere berufliche Entwicklung benötigen. Grundlage des p.r.o.f.i. Konzepts bilden 180 Lernbausteine zur beruflichen Weiterbildung in unterschiedlichen Fachgebieten wie zum Beispiel Sprachen, kaufmännisches Wissen, LagerLogistik, Transport-Logistik, Informationstechnologie u.v.a.m.

15

cf. DEKRA Akademie GmbH (2009), Quelle: http://www.topindenjob.de

eLearning – Qualität und Evaluation von Konzepten in der Praxis

129

Abb. 7.2 p.r.o.f.i. Konzept der DEKRA Akademie Quelle: DEKRA Akademie GmbH

Im Rahmen einer individuellen Beratung stellen sich die Lernenden ihre individuelle Bausteinkombination, d.h. ihren persönlichen Qualifizierungsplan zusammen, den sie dann anschließend – unterstützt durch intensive Lernprozessbegleitung – und auf Basis einer individuellen Lernvereinbarung mit ihrem jeweiligen Lernprozessbegleiter durchlaufen. Der prinzipielle methodische Ansatz besteht darin, dass die Lernenden in Präsenz, abhängig von den persönlichen Lernfortschritten teilweise individuell, insbesondere aber in Kleingruppen oder phasenweise auch im Rahmen einer größeren Gruppe, mit Hilfe geeigneter Lernsoftware und anderen Lernmitteln, orientiert an so genannten Leittexten und unterstützt durch Lernprozessbegleiterinnen und Lernprozessbegleiter eigenverantwortlich daran arbeiten, die in der Lernvereinbarung dokumentierten Lernziele zu erreichen. Dabei werden sie während der Lernprozesse durch Lernprozessbegleiterinnen und Lernprozessbegleiter methodisch und fachlich beraten, wobei diese mit ihnen die durchlaufenen Lernprozesse reflektieren und sie bei Bedarf immer wieder dazu motivieren, die mit den gewählten Lernbausteinen verknüpften Lernziele zu erreichen und somit die einzelnen Lernbausteine erfolgreich abzuschließen. Das DEKRA Akademie Konzept p.r.o.f.i. steht somit für ein recht weit entwickeltes BlendedLearning System, bei dem eLearning in Kombination mit anderen Lernmitteln und dessen Erfolg ganz entscheidend von der Qualität der Lernprozessbegleitung abhängig ist. In dem Maße, in dem sich die Entwicklung von innovativen eLearning basierten BlendedLearning Ansätzen bei der DEKRA Akademie in der jüngeren Vergangenheit entwickelt hat, intensivierten wir unserer Bemühungen zur Evaluation unserer Lernarrangements, mit dem

130

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Ziel diese einerseits weiterzuentwickeln und andererseits nicht zuletzt unseren potenziellen Kunden gegenüber zu legitimieren.

Abb. 7.3 Lernbausteine im p.r.o.f.i. System der DEKRA Akademie Quelle: DEKRA Akademie GmbH

Nachfolgend seien einige Überlegungen zur Evalution bzw. zur Evaluationsstrategie von p.r.o.f.i. – allerdings ohne Anspruch auf Vollständigkeit – genannt: 1.

Was sind zentrale Kriterien bei der Evaluation von p.r.o.f.i? In unseren Bemühungen um Evaluation konzentrierten wir uns insbesondere auf die Evaluation hinsichtlich der Ergebnisqualität eines Lernarrangements wie das oben beschriebene p.r.o.f.i. Konzept. Dabei orientieren wir uns weitgehend an den Perspektivfeldern der vorangehend beispielhaft beschriebenen Perspektivmatrix als zentrale Evaluationskriterien.

2.

Da es sich bei der Implementierung eines neuen Konzepts wie p.r.o.f.i. um einen sich langsam entwickelnden Prozess (Pilotierung – Evaluation – erweiterte Pilotierung –

eLearning – Qualität und Evaluation von Konzepten in der Praxis

131

Evaluation – eingeschränkte (lokale bzw. regionale) Implementierung – Evaluation – erweiterte Implementierung – Evaluation – etc.) handelt, war die Implementierung ständig von Evaluation begleitet. Darüber hinaus wird Evaluation auch weiterhin eine zentrale Bedeutung für die Verbesserung und Weiterentwicklung von p.r.o.f.i. spielen. 3.

Die nachfolgende Tabelle liefert eine Übersicht über die wesentlichen, bei der Evaluation des Blended-Learning Konzepts p.r.o.f.i. eingesetzten Instrumente: Evaluationsinstrument

Zielgruppe

Hauptinteressensgebiet

Standardisierter Fragebogen

Teilnehmer(innen) bzw. Lernende

Grundsätzliche Teilnehmerzufriedenheit mit dem Lernarrangement und der Lernprozessbegleitung

Permanente Reflexionsgespräche

Teilnehmer(innen) bzw. Lernende

Lernerorientierung, pädagogische Eignung der p.r.o.f.i. Methode, Lernforschritte, Problemanalyse

Auswertung und Vergleich von Prüfungsleistungen

Teilnehmer(innen) bzw. Lernende

Vergleich der Prüfungsergebnisse, der p.r.o.f.i. Teilnehmer(innen) mit denen von Teilnehmer(innen) in traditionellen Lerngruppen (Präsenzklassenunterricht)

Reflexionsgespräche

Lernprozess-Begleiter(innen)

Methodische Schwierigkeiten, Akzeptanz und Verinnerlichung der Tutorenrolle

Betriebswirtschaftliche Auswertungen

Ökonomische Faktoren

Permanenter Kosten/ Nutzenvergleich zwischen p.r.o.f.i. und traditionellen methodischen Ansätzen

Abb. 7.4 Evaluationsinstrumente zu p.r.o.f.i. Quelle: DEKRA Akademie

4.

Durch den Einsatz der oben genannten Instrumente konnte bisher nachgewiesen werden, dass unter der Voraussetzung, dass dem Einstieg in ein p.r.o.f.i. Lernarrangement

132

eLearning – Qualität und Evaluation von Konzepten in der Praxis

eine individuelle Beratung der Interessenten vorgelagert ist, in der die Unterschiede zu herkömmlichem Klassenunterricht erläutert und die Eignung der einzelnen Interessenten für ein solches Blended-Learning Konzept überprüft werden, die qualitativen Faktoren (Teilnehmerzufriedenheit, Lernerorientierung, individuelle Lernfortschritte, Lernprozessbegleiter, bildungsökonomische Vorteile – nicht zuletzt für die Teilnehmer(innen) selbst) uns ganz eindeutig dazu ermutigen, p.r.o.f.i. weiter auszuweiten und noch offensiver zu bewerben. 5.

Darüber zeigt die Evaluation von p.r.o.f.i. recht deutlich, dass der Lernerfolg letztlich nur sehr bedingt von dem ausgewählten eLearning Produkt selbst abhängt. Die Evaluation hat darüber hinaus gezeigt, dass der Lernerfolg aber auch nicht nur von der Konzeption des Lernarrangements abhängt, sondern ganz wesentlich von der methodischen Vorbereitung der Teilnehmer(innen) und deren Offenheit bzw. Bereitschaft, sich auf ein eLearning basiertes Blended-Learning Konzept wie p.r.o.f.i. einzulassen. Der zweite zentrale Erfolgsfaktor ist eindeutig die methodische Qualifikation der Lernprozessbegleiter(innen), was uns bereits vor einiger Zeit veranlasst hat, die methodische Begleitung und Weiterbildung der Lernprozessbegleiter(innen) ganz in den Mittelpunkt unserer Personalentwicklungsaktivitäten zu rücken.

6.

Die Evaluation des Blended-Learning Konzepts p.r.o.f.i. ist in der oben geschilderten Form zwischenzeitlich zum festen Bestandteil der Qualitätssicherungsaktivitäten der DEKRA Akademie geworden und dient auch als Beispiel möglicher anderer eLearning basierter Blenden-Learning Konzepte.

Beispiel 2 EUCAM16 Bewertung aus Sicht eines Produktionsunternehmens

Das zweite Beispiel beschäftigt sich mit der Nutzung bzw. Integration von eLearning als Element eines Konzeptes des arbeitsprozessorientierten Lernens in der Aus- und Weiterbildung. Grundlage für dieses Beispiel bildet ein europäisches Projekt, abgekürzt EUCAM (= Multilingual Communication in European Car Manufactoring17) und dessen Ergebnisse bzw. Auswirkungen auf den Lern- und Produktionsprozess bei der Daimler AG. Ein Projekt, an dem die DEKRA Akademie als einer von insgesamt sieben Projektpartnern der Daimler AG beteiligt war18. Das EUCAM Projekt wurde über das Programm eContent der Europäischen Kom-

16

Siehe auch: www.eucam.org

17

= Multilinguale Kommunikation in der Europäischen Automobilherstellung

eLearning – Qualität und Evaluation von Konzepten in der Praxis

133

mission gefördert und hat u.a. zu erheblichen Veränderungen der Weiterbildung von Facharbeitern an zahlreichen nationalen und internationalen Standorten der Daimler AG geführt. Die Umsetzung des EUCAM Projekts kann als unmittelbare Konsequenz aus der Tatsache angesehen werden, dass die Qualifizierung der Mitarbeiterinnen und Mitarbeiter in der Automobilindustrie immer stärker an Bedeutung gewonnen hat und gewinnt. Kürzere Produktlebenszyklen und komplexere Produktionsprozesse stellen hohe Ansprüche an die Mitarbeiter in der Produktion. Für die Mitarbeiterinnen und Mitarbeiter in Montage, Fertigung und Instandhaltung spielt einfaches und handlungsorientiertes Lernen während des Produktionsprozesses daher eine zunehmend wichtigere Rolle. EUCAM ist ein arbeitsprozessbegleitendes multilinguales Lernsystem für den Bereich der industriellen Fertigung mit dem Ziel, lebensbegleitendes Lernen und Wissensmanagement in der Produktion konsequent umzusetzen und zu etablieren. Durch die Verbindung von arbeitsprozessorientiertem Lernen, Wissensmanagement in der Fertigung sowie der Funktion der Mehrsprachigkeit zielt EUCAM direkt auf die Etablierung einer Infrastruktur für lebensbegleitendes Lernen von Produktionsfacharbeitern auf gesamteuropäischer Ebene ab. Als ganzheitliche Lerninfrastruktur erweitert EUCAM den Content auf die gesamte Wertschöpfungskette. Das Wissen von Zulieferern und Maschinenherstellern kann kontinuierlich integriert werden. Insbesondere soll sich dabei die technische Zusammenarbeit von Herstellern, Maschinenherstellern und Zulieferern verbessern, indem eine gemeinsame Lerninfrastruktur – auch mehrsprachig – verfügbar gemacht und genutzt wird. Der Effekt der Mehrsprachigkeit soll zudem die interkulturelle Zusammenarbeit zwischen Produktionsstandorten und -strukturen verbessern.

18

Partner des EUCAM Projekts in alphabetischer Reihenfolge: Daimler AG, DEKRA Akademie GmbH, Engeneering + Design AG / EDAG Hungary Kft., European Metalworker’s Federation (EMF), Industriegewerkschaft Metall, Information Management GmbH (Infoman), Language Technology Centre Ltd. (LTC), UAB LKSoft Baltic

134

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Abb. 7.5 Einsatzmöglichkeiten von EUCAM im Rahmen des Produktionsprozesses Quelle: www.eucam.org

Darüber hinaus stellt EUCAM ein Qualifizierungstool dar, mit Hilfe dessen es möglich sein soll, auch im gesamteuropäischen Raum und darüber hinaus, berufliche Weiterbildung am Arbeitsplatz, vergleichbar umzusetzen. Erst- und Weiterqualifizierungen können direkt im Arbeitsprozess erworben werden. Sie sind direkt im Lernsystem dokumentiert und jederzeit einsehbar. Welches sind nun die besonders charakteristischen Merkmale eines ‚produktionsprozessorientierten’ Blended Learning Lernmodells, wie es im Fokus des EUCAM Projektes stand? 1. Den Unternehmensmitarbeiter(innen) steht unmittelbar am Arbeitsplatz das gesamte Produktionswissen lernerorientiert aufbereitet mit Hilfe von Computerterminals zur Verfügung. Beispielsweise werden im Falle des Bedienungs- und Instandhaltungspersonals Arbeits- und Instandhaltungsanweisungen nach didaktischen Erkenntnissen aufbereitet und in Form standardisierter Lerneinheiten angeboten.

eLearning – Qualität und Evaluation von Konzepten in der Praxis

135

Abb. 7.6 Informationsinfrastruktur bei EUCAM Quelle: www.eucam.org

2. Die Mitarbeiter(-innen) lernen mit Hilfe eines Lernprozessbegleiters / einer Lernprozessbegleiterin eigenständig neue Arbeitsschritte aktiv an ihrem Arbeitsplatz und erhalten gleichzeitig einen Überblick über die anderen Produktionsschritte, mit denen ihre Arbeitskolleginnen und -kollegen in ihrer Arbeitsgruppe befasst sind. 3. Die Aufgabe der Lernprozessbegleiterinnen und Lernprozessbegleiter besteht insbesondere darin, die (individuellen) Qualifizierungsprozesse ganzheitlich zu betreuen. Somit sind sie die unmittelbaren Ansprechpartner für die Lernenden rund um das Lernsystem. 4. Dadurch, dass sich die Qualifizierung an der betrieblichen Prozesskette orientiert, können Vorgesetzte sicherstellen, dass sich die Mitarbeiterinnen und Mitarbeiter eines Produktionsbetriebes gezielt (arbeitsprozessorientiert) und somit mit unmittelbarem Nutzen für das Unternehmen weiterqualifizieren. 5. Die orientierungsgebende Prozesskette ist dabei nicht auf den innerbetrieblichen Bereich beschränkt, vielmehr werden Zulieferer bzw. Maschinenhersteller in den Informationsfluss eingebunden und somit die technische Zusammenarbeit zwischen Zulieferern / Maschinenherstellern und den Produktionsbetrieben verbessert (siehe auch: Abbildung 7.5). Dies hat zur Folge, dass das Wissen von Zulieferern und Maschinenherstellern kontinuierlich integriert und das gespeicherte Wissen auf die ge-

136

eLearning – Qualität und Evaluation von Konzepten in der Praxis

samte Wertschöpfungskette erweitert wird, während das Kommunikations- und Lernsystem EUCAM gleichzeitig den Informationsfluss zwischen den einzelnen Arbeitsschichten sicherstellt. 6. Im Sinne eines konstruktivistischen Lernansatzes haben die Lernenden die Möglichkeit bzw. die Verpflichtung, ihr fachliches Feedback direkt in das Lernsystem einzugeben, wodurch sich das Lernsystem stetig und ständig weiterentwickeln soll. 7. Für international tätige Produktionsunternehmen ist es darüber hinaus von besonderem Interesse, dass das EUCAM Lernsystem mehrsprachig zur Verfügung steht. Dies liefert einen entscheidenden Beitrag dazu, die interkulturelle Zusammenarbeit zwischen verschiedenen Produktionsstandorten eines Unternehmens zu verbessern. Grundlage des EUCAM Lernsystems bilden insgesamt zehn Systems- und Servicemodule.

Abb. 7.7 EUCAM System- und Servicemodule Quelle: www.eucam.org

Beispielsweise ein Content Management System (CMS), über das u.a. die eigentlichen Lerninhalte bereitgestellt werden, ein Übersetzungssystem, Trainingshandbücher für das Implementierungsteam, für die Lernenden und die Lernprozessbegleiter, ein Content Generation Modul, mit dessen Hilfe u.a. Lerninhalte aus externen Quellen wie Zulieferern und Maschinenherstellern in das System integriert werden können. Im Lauf des EUCAM Projekts enstand – basierend auf einem Vorläuferprojekt bei der Daimler AG zur Entwicklung eines Produktionslernsystems eine anspruchsvolle und komple-

eLearning – Qualität und Evaluation von Konzepten in der Praxis

137

xe Lerninfrastruktur, die nicht nur in den Produktionsstätten der Daimler AG im In- und Ausland implementiert und erprobt wurde, sondern auch darüber hinaus in anderen Produktionsbereichen auch außerhalb des Automobilsektors, wie zum Beispiel im Produktionsprozess eines Brauereibetriebs ihre Anwendung fand. Die nachfolgenden Statements resultieren aus den Antworten von Herrn Dr. Volker Engert von der Daimler AG zu einem Fragekatalog zur Evaluationspraxis im Zusammenhang mit EUCAM, der im Mercedes-Benz Werk in Mannheim verantwortlich für das in der Truck Group implementierte Produktionslernsystem ist und auch während der Umsetzung des EUCAM Projekts die Projektleitung seitens der Daimler AG inne hatte: 1.

Im Projekt EUCAM konzentrierte sich die Evaluation auf drei „Handlungsstränge“: − Die Umsetzung der multilingualen Szenarien und die Übersetzung der Inhalte an den verschiedenen Testsites − Die Trainingshandbücher − Die Evaluation des Business Modells

Wichtig war, dass wir überwiegend halbstandardisierte qualitative Interviews an den verschiedenen Standorten eingesetzt haben, da wir davon ausgegangen sind, dass es aufgrund der großen Unterschiede in der Lernkultur und der Organisation zwischen den Standorten Interpretationsprobleme geben könnte. Ein streng standardisierter Fragebogen hätte möglicherweise zu Missverständnissen geführt und kulturell bedingte Fragestellungen aufgeworfen. Zudem war es uns wichtig, unterschiedliche Sichtweisen einzufangen. Deshalb wurden neben dem EUCAM Implementierungsteam auch die Lernbegleiter, Mitarbeiter und Führungskräfte befragt.

138

eLearning – Qualität und Evaluation von Konzepten in der Praxis

Die folgende Tabelle gibt einen Überblick über die verwendeten Instrumente für die drei Handlungsstränge: Realization of multilingual scenarios and translation Evaluation Instruments

- Semi-guided interview (interview1) - Questionnaire for language evaluation

Training manuals

Business model

- Questionnaire - Semi-guided interview for potential for implementation customers team about practicability of the training concept in consideration of cultural differences (interview 2) - Semi-guided interview for EUCAM Coach (interview 3) - Feedback from employees and foremen (informal) - Semi-guided interview for intercultural training (interview 4)

Abb. 7.8 Überblick über die Evaluierungsinstrumente bei EUCAM Quelle: www.eucam.org

eLearning – Qualität und Evaluation von Konzepten in der Praxis

139

Die nachfolgende Tabelle ordnet den einzelnen Evaluierungsinstrumenten deren Zielgruppen und Schwerpunkte zu: Evaluation Instrument

Target group

Main topics of the interview/Questionnaire

Semi guided interview1

EUCAM Implementation team

– Progress/Target achievement of the planned scenario – Occurring obstacles/issues – Adaptations necessitated by the learning culture/local situation

Semi-guided interEUCAM Implementation view for implementa- team tion team about practicability of the training concept in consideration of cultural differences (interview 2)

– Role of the EUCAM Coach in the respective test site

Semi-guided interview for EUCAM Coach (interview 3)

EUCAM Coach

– Satisfaction with the training

Feedback from employees and foremen (informal)

Employees, foremen

– Learning culture, local peculiarities, necessary adaptations – Organizational, cultural and personal problems, problems regarding content

– Success of the learning process

Semi-guided interECUAM Implementation view for intercultural team training (interview 4) Abb. 7.9 Zielgruppen und Ziele der Evaluation bei EUCAM Quelle: www.eucam.org

– Feedback on the training on/with EUCAM

– Content of the training – Relevance for everyday work life/transferability

140

eLearning – Qualität und Evaluation von Konzepten in der Praxis

2. Die Befragungen wurden zu unterschiedlichen Zeitpunkten im Projekt durchgeführt.

3.

•

Das EUCAM Implementierungsteam wurde nach jedem Besuch an einem Standort bezüglich des Fortschritts am Standort (Semi-guided interview 1) und hinsichtlich der Praktikabilität der Trainingskonzepte (Semi-guided interview 2) befragt.

•

Die EUCAM Lernbegleiter wurden bezüglich ihrer Zufriedenheit mit dem Training und dem Lernerfolg der Teilnehmer befragt.

•

Mitarbeiter und Führungskräfte wurden direkt nach dem Training bezüglich ihrer Zufriedenheit mit dem EUCAM Training befragt.

Das Ziel, Trainingsdaten vom Hersteller mittels Import-Tool in das PLS zu implementieren, wurde an verschiedenen Standorten (Mercedes-Benz Werk Mannheim, EvoBus France S.A.S.; Ligny; France, EDAG Hungary Kft.; Györ) erfolgreich umgesetzt und überwiegend positiv bewertet. Dies stellt eine enorme Erleichterung für die Fachbereiche dar.

4. An den deutschen Produktionsstandorten konnte die Implementierung von EUCAM mit Sicherheit einen Beitrag zum Lebenslangen Lernen leisten. Um mit Hilfe von EUCAM jedoch den Wissenstransfer zwischen Standorten voranzutreiben, ist die Standardisierung von Arbeitsprozessen ein entscheidender Erfolgsfaktor. Nur so werden Lerninhalte überhaupt vergleichbar und Synergieeffekte nutzbar. Schwierig wird es an anderen Orten, an denen die Lernkultur den Rahmen für Lebenslanges Lernen gar nicht bietet, wie beispielsweise am Standort Detroit. Die Mitarbeiter betrachten Lernen und Weiterbildung eher als Strafe denn als Chance. Ebenso spielt für die Führungskräfte Weiterbildung keine so große Rolle wie bei uns. 5. Die Evaluation ergab, dass das richtige Training der Lernbegleiter eine entscheidende Rolle für die erfolgreiche Implementierung des Systems spielt. Nur wenn die Lernbegleiter sowohl das System beherrschen als auch die dahinter stehende Philosophie von lebenslangem Lernen verstanden haben und transportieren können, kann EUCAM erfolgreich im Fachbereich implementiert werden. 6.

Im Hinblick darauf, ob bzw. in welcher Weise die Evaluationsergebnisse für die Weiterentwicklung von EUCAM genutzt werden, lässt sich zusammenfassend sagen, dass die Daimler AG sich durch die Ergebnisse des bisherigen Evaluationsprozesses in dem Vorhaben bestärkt sieht, die Zusammenarbeit mit den Herstellern noch weiter auszubauen und das Trainingskonzept für die Lern(prozess)begleiter weiterzuentwickeln bzw. zu optimieren. Darüber hat sich das bisher angewandte Evaluationsverfahren so weit bewährt, dass hierbei keine wesentlichen Veränderungen in der näheren Zukunft vorgesehen sind.

eLearning – Qualität und Evaluation von Konzepten in der Praxis

7.1.4

141

Conclusio

Wie die beiden Beispiele p.r.o.f.i. und EUCAM aus der alltäglichen Praxis eines Bildungsdienstleisters gezeigt haben, stellt Evaluation ein ganz zentrales Instrument zur Qualitätssicherung von eLearning bzw. eLearning basierten Lernarrangements und deren Weiterentwicklung dar. Allerdings zeigen die Ergebnisse in beiden Beispielen, dass •

die Evaluationsergebnisse nicht nur von dem eLearning Produkt abhängen, sondern vielmehr von dem Gesamtzusammenhang, in dem dieses Produkt zum Einsatz kommt und somit von sehr spezifischen Faktoren, wie der Qualität der Lernprozessbegleitung, der Offenheit und Bereitschaft Lernender, sich auf von der Tradition abweichende Lernkonzepte einzulassen, was in hohem Maße mit deren Lernbiografien korreliert etc.

•

Evaluationsinstrumente sehr spezifisch im Hinblick auf deren Zielsetzung und deren Zielgruppen auszuwählen sind.

Darüber hinaus ist zu hoffen, dass es zukünftig einen erheblich verbesserten Dialog hinsichtlich der Evaluation von eLearning basierten Lernarrangements zwischen der Wissenschaft einerseits und den Praktikern der beruflichen Aus- und Weiterbildung andererseits kommen wird, durch den die Evaluation und damit die Qualitätssicherung und Weiterentwicklung innovativer methodischer Ansätze weiter vorangebracht werden kann.

7.2

Literatur

Attwell,G., Dirckinck-Holmfeld, L.,Fabian, P., Kárpati. A., Littig, P., E-Learning in Europe – Results and Recommendations, Thematic Monitoring under the Leonardo Da Vinci Programme, Bonn 2003 Daimler AG, Mannheim (2009). Quelle: www.eucam.org DEKRA Akademie GmbH (2009), Quelle: http://www.topindenjob.de Dichanz/Ernst: E-Learning – begriffliche, psychologische und didaktische Überlegungen, in: Scheffer, U., Hesse, F.W., E-Learning, die Revolution des Lernens gewinnbringend einsetzen, S. 51, Stuttgart 2002 Ehlers, U., in BWP 6/2003 Subjektorientierte Qualitätsforschung versus objektive Qualitätskriterien? – Vom vergessenen E-Lerner in der Debatte um Qualität beim E-Learning Littig, P., Klug durch E-Learning, eine Marktstudie der DEKRA Akademie, Bielefeld 2002 Punge, J., Info-art Agentur für Kommunikation (2009): Glossar Schulevaluation. Quelle http:// www. Schulevaluation.de/glossar/ergebnisqualitaet.php

8

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren Stéphanie Gretsch, Jan Hense & Heinz Mandl

8.1

Problemstellung

Warum führt eLearning in Hochschulen so oft nicht zum gewünschten Erfolg? Ein häufig zu beobachtendes Problem ist, dass die Lernenden beim selbstständigen Lernen in virtuellen Lernphasen überfordert sind, da es ihnen an der notwendigen Unterstützung fehlt. Aus diesem Grund gibt es einen großen Bedarf an qualifizierten Lehrpersonen, so genannten E-Tutoren, welche für die besonderen Gegebenheiten und Anforderungen virtueller Lernumgebungen geschult sind. E-Tutoren nehmen in virtuellen Lernumgebungen einen großen Stellenwert für den Lernerfolg ein, da sie das Lerngeschehen koordinieren, organisieren und für die inhaltliche, soziale und technische Unterstützung der Lernenden verantwortlich sind. Dieser Beitrag beschreibt Konzept und Evaluation eines Schulungsprogramms zur professionellen Ausbildung von E-Tutoren der Virtuellen Hochschule Bayern (VHB), welches von der Ludwig-Maximilians-Universität München durchgeführt wird. Dieses Angebot ermöglicht eine einheitliche Grundausbildung für E-Tutoren, die bei der VHB Kurse anbieten (Mandl & Germ, 2008). Durch die zunehmende Nutzung von eLearning im Hochschulsystem wird so dem steigenden Bedarf an E-Tutoren, die für die Betreuung der Lernenden benötigt werden, begegnet. Um der VHB Rechenschaft über den Kurserfolg abzulegen, wurde jeder Kursdurchlauf in Form von Qualitäts- und Wirkungsanalysen evaluiert. Die Ergebnisse der einzelnen Semester werden in diesem Beitrag zusammenfassend als Trendevaluation dargestellt, wodurch Entwicklungsverläufe sichtbar gemacht werden. Als Hintergrund ist dabei zu berücksichtigen, dass die Evaluation über mehrere Kursdurchläufe hinweg mit Teilnehmern sehr unterschiedlicher Fachdisziplinen erfolgt.

144

8.2

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Anforderungen an E-Tutoren

E-Tutoren haben im Rahmen virtueller Lernumgebungen eine Reihe unterschiedlicher Aufgaben. Dabei lassen sich inhaltliche, didaktische, sozial-, medien-, kommunikations- sowie moderations- Aufgabenbereiche unterscheiden. − Inhaltliche Aufgaben E-Tutoren müssen die Inhalte der virtuellen Lehrveranstaltung kennen, um den Lernenden fachliches Wissen vermitteln und erklären sowie inhaltliche Unterstützung anbieten zu können. Sie sollten Arbeitsaufträge und Aufgabenlösungen einzelner Lernender und von Lerngruppen steuern und koordinieren. Zusätzlich müssen sie in der Lage sein, qualifiziertes Feedback zu geben (Dittler & Jechle, 2004, 158). − Didaktische Aufgaben E-Tutoren sollten über didaktisches Wissen zur lernförderlichen Gestaltung von Lernumgebungen verfügen sowie Methoden zur Unterstützung von Lernprozessen im kognitiven, motivationalen und sozialen Bereich verwenden. Sie müssen selbst gesteuerte Lernprozesse gezielt unterstützen und durch geeignete Aufgabenstellungen dazu beitragen, dass Motivation, Kommunikation und Kooperation aufrechterhalten werden (Katzlinger, 2009). − Sozialbezogene Aufgaben E-Tutoren müssen den Lernenden jederzeit freundlich und respektvoll gegenübertreten, eine gemeinsame verständliche Sprache verwenden und sensibel auf zwischenmenschliche Probleme in der virtuellen Interaktion reagieren. Sie sollten ein Gespür dafür haben, wann ihr Eingreifen erforderlich ist und wann Lernende inhaltliche oder sonstige Hilfe benötigen. Sie müssen als Hauptansprechpartner während des gesamten Lernprozesses fungieren, um den Lernenden inhaltliche, soziale und technische Unterstützung zu garantieren. − Medienbezogene Aufgaben E-Tutoren sollten die technische Infrastruktur der verwendeten Lernplattform souverän beherrschen und mit den Funktionalitäten und Merkmalen der verschiedenen Kommunikations- und Kooperationstools vertraut sein. Nur so können sie einen reibungslosen Ablauf des virtuellen Seminars sowie ein effektives, zweckorientiertes und didaktisch sinnvolles Nutzen von Medien gewährleisten (Zimmer, 2002). − Kommunikationsbezogene Aufgaben E-Tutoren müssen die Anwendungsmöglichkeiten, Vor- und Nachteile verschiedener synchroner und asynchroner Kommunikationsmittel kennen und diese angemessen zum Einsatz bringen, um eine adäquate Kommunikation sicherstellen zu können. − Moderationsbezogene Aufgaben E-Tutoren müssen Lern- und Gruppenprozesse beim virtuellen Lernen organisieren, koordinieren und die Lernenden bei Problemen unterstützen (Dittler & Jechle, 2004). Sie

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

145

koordinieren den Gruppenprozess, in dem sie etwa die Teilnehmer in Gruppen einteilen, Lernmaterialien bereitstellen oder Lern- und Gruppenprozesse strukturieren.

8.3

Problemorientierte Gestaltung von virtuellen Lernszenarien

Die problemorientierte Gestaltung von virtuellen Szenarien orientiert sich an einer gemäßigt konstruktivistischen Auffassung von Lehren und Lernen. Nach dieser Auffassung wird Wissen nicht von einer Person zu einer anderen unverändert weitergereicht, sondern allein oder mit anderen selbstständig in einem konkreten Handlungskontext erworben. Lernen umfasst nach dieser Sichtweise sechs zentrale Prozessmerkmale (Reinmann & Mandl, 2006): − Lernen ist ein aktiver Prozess. Effektives Lernen ist nur über die aktive Beteiligung der Lernenden möglich. Dazu sind Motivation und Interesse notwendige Voraussetzungen. − Lernen ist ein konstruktiver Prozess. Wissen kann nur erworben und genutzt werden, wenn es in die bereits vorhandenen Wissensstrukturen implementiert und auf der Basis individueller Erfahrungen interpretiert wird. − Lernen ist ein selbstgesteuerter Prozess. Die Auseinandersetzung mit einem Inhaltsbereich erfordert immer die Kontrolle des eigenen Lernprozesses durch den Lernenden. − Lernen ist ein emotionaler Prozess. Beim Lernen haben sowohl leistungsbezogene als auch soziale Emotionen einen starken Einfluss. Insbesondere im Hinblick auf die Lernmotivation ist die emotionale Komponente wesentlich. − Lernen ist ein sozialer Prozess. Der Erwerb von Wissen erfolgt durch die Interaktion mit anderen. Lernen ist somit als Prozess zu sehen, der in einer bestimmten Lernkultur stattfindet, in der Wissensinhalte – aber auch Werthaltungen und Einstellungen – miteinander ausgehandelt werden. − Lernen ist ein situativer Prozess. Der Erwerb von Wissen weist stets situative und kontextuelle Bezüge auf und ist immer an einen spezifischen Kontext gebunden. Diese konstruktivistische Auffassung vom Lernen liegt dem problemorientierten Lernen zugrunde. Allerdings integriert dieses zusätzliche instruktionale Aspekte. Die Balance zwischen Instruktion und Konstruktion in Abhängigkeit von den Lernvoraussetzungen und dem Lerngegenstand ist darin eine zentrale Forderung (Abbildung 1). Das bedeutet, dass der Lernprozess zwar als eigenaktiv und konstruktiv angesehen wird, gleichzeitig aber durch geeignete Unterstützung der Lehrenden angeregt, gefördert und verbessert werden muss. Der Lernende nimmt damit eine vorwiegend aktive Position ein, die bei Bedarf durch rezeptive Anteile ergänzt wird. Der Lehrende dient vorwiegend als Berater, der anleitet, darbietet und erklärt (Reinmann & Mandl, 2006).

146

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Abb. 8.1  Balance zwischen Instruktion und Konstruktion

Aus diesen Prämissen heraus können vier konkrete Leitlinien für problemorientierte Lernumgebungen abgeleitet werden: (1) Situiert und anhand authentischer Probleme lernen Die Lernumgebung soll den Lernenden ermöglichen, mit realistischen Problemen und authentischen Situationen umzugehen und damit einen Rahmen und Anwendungskontext für das zu erwerbende Wissen bereitstellen. (2) In multiplen Kontexten und unter verschiedenen Perspektiven lernen Die Lernumgebung soll den Lernenden multiple Kontexte anbieten, um sicherzustellen, dass das Wissen nicht auf einen Kontext fixiert bleibt, sondern flexibel auf andere Problemstellungen übertragen werden kann. Zudem wird den Lernenden die Möglichkeit gegeben, Probleme aus multiplen Perspektiven zu betrachten. Dadurch lernen sie Inhalte unter variierenden Aspekten bzw. von verschiedenen Standpunkten aus zu sehen und zu bearbeiten. Dies soll die flexible Anwendung des Wissens fördern. (3) Im sozialen Austausch lernen Die Lernumgebung soll dem sozialen Kontext einen wichtigen Stellenwert zuweisen. Kooperatives Lernen und Problemlösen in Lerngruppen ist für die Bearbeitung komplexer Probleme und für die Vertiefung von Wissen zentral und soll ebenso gefördert werden wie gemeinsames Lernen und Arbeiten von Lernenden mit Experten im Rahmen situierter Problemstellungen.

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

147

(4) Instruktionale Anleitung und Unterstützung Die Lernumgebung soll den Lernenden instruktionale Unterstützung anbieten. Da der selbstgesteuerte und soziale Umgang mit komplexen Aufgaben und vielfältigen Informationsangeboten für viele Lernende eine Herausforderung darstellt, sind instruktionale Anleitung und Unterstützung wichtig. Sie umfassen zum Beispiel genaue Aufgabeninstruktionen, kontinuierliche Begleitung der Gruppenprozesse, Vorgabe von Gruppen- und Moderationsregeln oder häufiges Feedback.

8.4

Ein Online-Kurs zur professionellen Ausbildung von E-Tutoren

Die Ludwig-Maximilians-Universität München bietet im Rahmen der Virtuellen Hochschule Bayern (VHB) seit 2005 einen Kurs zur professionellen Ausbildung von E-Tutoren an. Ziel ist es, dem angesichts der zunehmenden Nutzung von eLearning im Hochschulsystem steigenden Bedarf an Tutoren für die Betreuung der Lernenden zu begegnen.

8.4.1

Zielgruppe

Der Kurs richtet sich an gegenwärtige und zukünftige Kursbetreuer der VHB aus unterschiedlichen Fachdisziplinen und mit verschiedenen Erfahrungen und Vorkenntnissen, die aktuell oder in nächster Zukunft einen Kurs bei der VHB tutoriell begleiten.

8.4.2

Lernziele

Die Lernziele orientieren sich an den Anforderungen an E-Tutoren, die im zweiten Abschnitt dargestellt wurden. Mit diesem Kurs sollen die angehenden E-Tutoren auf folgende Aufgaben vorbereitet werden: − Sie sollen verschiedene Funktionen und Aufgaben des E-Tutors kennen und dementsprechend handeln können. − Sie sollen Grundkenntnisse über die Funktionen, Effektivität und Konsequenzen verschiedener Medien in Lehr-Lern-Prozessen verfügen. − Sie sollen selbstgesteuertes Lernen durch eine angemessene Betreuung und Strukturierung unterstützen und dadurch die Eigenständigkeit und Selbstverantwortung der Lernenden fördern. − Sie sollen kooperatives Lernen durch Anleitung und Moderation zu Beginn des Gruppenprozesses sowie durch angemessene Aufgabenstellungen unterstützen und somit die Kommunikation und Koordination in der Gruppe fördern.

148

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

− Sie sollen über Grundkenntnisse verschiedener synchroner und asynchroner Kommunikationsformen wie E-Mails, Foren, Wikis, Chats oder Blogs und der jeweiligen Unterstützungsmaßnahmen verfügen. − Sie sollen über technische Fähigkeiten und Fertigkeiten bezüglich der Hardware und Software verfügen, um dem Lernenden einen reibungslosen Ablauf des Kurses zu gewährleisten und um bei Problemen Hilfestellung geben zu können.

8.4.3

Didaktisches Konzept

Der Kurs ist als hybrides Lehr-Lernarrangement konzipiert, in der eLearning- und Präsenzphasen miteinander verknüpft sind. Konkret enthält das Blended Learning Konzept zwei Präsenzworkshops am Anfang und Ende der Veranstaltung und eine durchgehende virtuelle Phase dazwischen (Kopp & Mandl, 2008). Um einen Praxis- bzw. Anwendungsbezug während des Lernprozesses zu gewährleisten, ist der Kurs nach dem gemäßigt-konstruktivistischen Ansatz des problemorientierten Lernens aufgebaut, auf den bereits im vorherigen Abschnitt eingegangen wurde (Reinmann & Mandl, 2006). Der Kurs ist als Web Based Training mit selbst gesteuerten und kooperativen Lernphasen konzipiert. Im Zentrum stehen dabei die eigenaktive Auseinandersetzung mit den Lerninhalten und deren Anwendung auf Fallaufgaben zu Kursangeboten aus der Praxis. Dabei steht der soziale Kontext beim Wissenserwerb im Vordergrund. Die Teilnehmer werden neben individuellen Lernphasen aufgefordert Aufgaben in Gruppen zu bearbeiten, über Inhalte zu diskutieren und Erfahrungen auszutauschen. In der Rolle des Lernenden sollen die Teilnehmer die Gelegenheit erhalten, praktische Erfahrungen mit den Anforderungen und Besonderheiten individuellen und kooperativen virtuellen Lernens zu sammeln.

8.4.4

Aufbau und Ablauf

Im Anschluss an einen einführenden Präsenzworkshop werden der Konzeption entsprechend in jedem der fünf Lernmodule Inhalte online präsentiert, die von den Lernenden individuell zu bearbeiten sind. Zusätzlich ist in jedem Modul eine kooperative Fallaufgabe in virtuellen Kleingruppen über asynchrone Kommunikationsforen zu lösen. Dementsprechend werden in den Modulen 1 bis 5 die Anforderungen an E-Tutoren vermittelt. Danach folgen ein virtuelles Quiz sowie eine abschließende Präsenzveranstaltung. Besonders charakteristisch sind die jeweiligen Gruppenarbeiten in den einzelnen Modulen. Nach jedem Modul bearbeiten die Teilnehmer in ihrer Gruppe eine Aufgabe. Abwechselnd nimmt je ein Gruppenmitglied die Rolle eines Moderators ein, um die Lösung der Aufgabe zu koordinieren und zu strukturieren. Nachdem der Moderator die Gruppenaufgabe an den ETutor abgegeben hat, erhalten diese ein ausführliches Feedback zur inhaltlichen Lösung und virtuellen Zusammenarbeit. Aufbau und Ablauf des Kurses fasst Abbildung 2 zusammen.

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

149

Abb. 8.2  Kursüberblick

Im Kurs werden die verschiedenen Anforderungen eines E-Tutors aufgegriffen und in die Kursinhalte integriert (Tabelle 8.1). Im Lernmodul 1 werden zunächst einführend die Aufgaben des Tutors vorgestellt. Modul 2 und 3 setzen sich aus der Vermittlung pädagogischer Aufgaben (Didaktik, Medieneinsatz, Unterstützungsmaßnahmen) zusammen, Modul 4 umfasst die sozialen Aspekte (Lerngruppen) und Modul 5 enthält schließlich die für Tele-Tutoren spezifischen technischen Anforderungen.

150

Tab. 8.1  Kursinhalte

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

151

Zur Unterstützung werden den Lernenden folgende instruktionale Maßnahmen angeboten: − Rotierende Moderation Jede Gruppe definiert für jedes Modul einen neuen Gruppenmoderator, der die Gruppenarbeit koordiniert. − Moderationsberichte Nach jeder Aufgabenbearbeitung eines Moduls wird ein kleiner Erfahrungsbericht zur Reflexion der letzten Gruppenphase in das Aufgabenforum der Plattform eingestellt. − Feedback Nach jeder Aufgabenbearbeitung erhalten die Gruppen ausführliches Feedback über die Qualität der von ihnen erstellten Lösung und die virtuelle Zusammenarbeit. − Fragenbörse Für die Teilnehmer steht eine Fragenbörse auf der Plattform zur Beantwortung von Fragen und zur Hilfestellung bei Problemen zur Verfügung. Hier wird eine zeitnahe Reaktion innerhalb von 24 Stunden gewährleistet. − Zwischennachrichten In regelmäßigen Abständen werden die Teilnehmer über ihren Lernstand informiert. − Weiterführende Literatur und Basisliteratur Die Teilnehmer können durch zusätzliche Literatur ihr Wissen vertiefen und erweitern. − Druckversion des Web Based Traings Im Kursverlauf werden die PDF-Versionen der jeweiligen Module bereitgestellt.

8.5

Evaluation des Online-Kurses zur Ausbildung von E-Tutoren

Unter dem Begriff Evaluation wird im Folgenden die systematische Anwendung sozialwissenschaftlicher Forschungsmethoden verstanden, um das Konzept, die Ausgestaltung, die Umsetzung und den Nutzen von sozialen Interventionsprogrammen zu beurteilen und zu verbessern (Rossi & Freeman, 2004). Dabei können einzelne Lehr-Lern-Maßnahmen hinsichtlich ihrer Qualität, ihrer Wirkung, ihrer Effizienz und ihres Nutzens überprüft werden (Tergan, 2000; Belanger & Jordan, 2000). Im Folgenden unterscheiden wir Qualitäts- und Wirkungsanalysen (Reinmann-Rothmeier, Mandl & Ballstaedt, 1995). Bei einer Qualitätsanalyse beurteilen Fachexperten oder Teilnehmer die inhaltliche, didaktische und medienspezifische Qualität von Lehr-Lernangeboten. Eine Wirkungsanalyse untersucht ein Lehr-Lernangebot hinsichtlich der Wirkung auf die Lernenden. Dabei stehen die Akzeptanz des Kurses und der Lernerfolg der Teilnehmer im Vordergrund.

152

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Die Evaluation der vorliegenden E-Tutoren Schulung sollte Aufschluss über die Qualität und Wirkung der Maßnahme über mehrere Schulungsdurchläufe hinweg geben. Im Rahmen dieser Untersuchung werden dabei die Aspekte Qualität der virtuellen Lernumgebung, Akzeptanz und Lernerfolg fokussiert. Demzufolge wird die Qualität bezogen auf die einzelnen Module zur inhaltlichen Gestaltung, Klarheit der Aufgabenstellung, Motivation und Nützlichkeit der vier Kursdurchläufe eingeschätzt. In einer abschließenden Evaluation wird die Wirkung bezogen auf die Akzeptanz des Kurses und der Gruppenarbeit sowie die Zufriedenheit mit dem Kursaufbau, mit der Betreuung und mit der Plattform untersucht. Außerdem werden der subjektive Lernerfolg und die Nützlichkeit des Kurses über die vier Kursdurchläufe hinweg ermittelt. Fokus dieses Beitrags ist, die Evaluation der einzelnen Kursdurchläufe vergleichend darzustellen, um die Robustheit und den Erfolg des Kurskonzeptes zu belegen. Hierbei spielt vor allem auch der Begriff der Qualitätssicherung eine bedeutende Rolle, da das Ausbildungsprogramm kontinuierlich auf verschiedene Faktoren hin mit Teilnehmern verschiedener Fachrichtungen und Erfahrungen untersucht wird (Hochschulrektorenkonferenz, 1999). Evaluationen sind vor allem dann aussagekräftig, wenn sie kein einmaliges Ereignis bleiben, sondern wiederholt und unter Berücksichtigung der unterschiedlichen Aspekte des Untersuchungsgegenstandes eingesetzt werden (Ditton, 2000).

8.6

Fragestellungen

Die modulspezifische Evaluation diente der Überprüfung der Qualität des Kurses, dabei wird die zentrale Frage für Module 1 bis 5 differenziert: Frage 1: Wie schätzen die Teilnehmer das jeweilige Modul hinsichtlich der Klarheit der Aufgabenstellung, der inhaltlichen Gestaltung, der Motivation und der Nützlichkeit über die vier Kurse hinweg ein? Bei der abschließenden Evaluation unmittelbar nach dem Kurs stehen die Wirkungen des Kurses im Zentrum. Daher werden folgende Fragestellungen zugrunde gelegt: Frage 2: Wie schätzen die Teilnehmer die Akzeptanz des Kurses und der Gruppenarbeit über die vier Kurse hinweg ein? Frage 3: Wie schätzen die Teilnehmer die Zufriedenheit mit dem Kursaufbau, mit der Betreuung und mit der Plattform über die vier Kurse hinweg ein? Frage 4: Wie schätzen die Teilnehmer den subjektiven Lernerfolg und die Nützlichkeit des Kurses über die vier Kurse hinweg ein?

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

8.7

Methode

8.7.1

Stichprobe

153

Die Stichprobe umfasst Teilnehmer, die ein virtuelles Seminar im Rahmen der VHB betreuen. Sie setzt sich aus Teilnehmern verschiedener Universitäten und Fakultäten mit Projekten aus unterschiedlichen Fachdisziplinen der Geistes-, Sozial- und Naturwissenschaften zusammen. Es wurden in den letzten drei Jahren insgesamt vier Kurse evaluiert, die in dieser Darstellung berücksichtigt werden können. Durch die steigende Teilnehmerzahl im Jahr 2009 wurde auch die Anzahl der E-Tutoren erhöht (Tabelle 2). Evaluationsperiode 2007 (Wintersemester) 2008 (Wintersemester) 2009 I (Wintersemester) 2009 II (Sommersemester)

Teilnahme am Kurs 14 20 49 39

Anzahl der Universitäten 9 8 12 15

E-Tutoren 1 1 2 2

Tab. 8.2  Stichproben

8.7.2

Untersuchungsdesign und Instrumente

Die Datenerhebung zur modulspezifischen und abschließenden Evaluation erfolgte über Online-Fragebögen, welche in die Kursumgebung direkt integriert wurden und die durch alle Teilnehmer der jeweiligen Kurse beantwortet wurden. Die Antworten der geschlossenen Fragen der Online-Fragebögen für die modulspezifische und die abschließende Evaluation wurden überwiegend mittels einer fünf-stufigen Ratingskala von 1 = “trifft gar nicht zu“ bis 5 = „trifft voll und ganz zu“ erfasst. Modulspezifische Evaluation In einer formativen Phase wurde nach jedem inhaltlichen Modul ein Online Fragebogen zur modulspezifischen Evaluation auf der Plattform freigeschaltet. Die Teilnehmer erhielten in der ersten Präsenzveranstaltung Vorabinfomationen über das Evaluationsverfahren und wurden zudem nach jedem Modul auf die Freischaltung des Fragebogens explizit durch eine Nachricht des Tutors hingewiesen. Folgende inhaltliche Skalen wurden im Kurzfragebogen jeweils berücksichtigt: − Inhaltliche Gestaltung − Klarheit der Aufgabenstellung

154

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

− Motivation − Nützlichkeit des Moduls Abschlussevaluation In einer abschließenden Gesamteinschätzung füllten die Kursteilnehmer am Ende des Kurses einen Fragebogen aus, der folgende Skalen umfasste: − − − − − − −

Akzeptanz des Kurses Akzeptanz der Gruppenarbeit Zufriedenheit mit der Lernplattform Zufriedenheit mit der Betreuung Zufriedenheit mit dem Kursaufbau Subjektiver Lernerfolg Nützlichkeit des Kurses

Reliabilität Die Messgenauigkeit, bzw. Skalenhomogenität wurde mit Hilfe von Cronbach’s Alpha berechnet. In Tabelle 3 sind die Skalen der abschließenden Evaluation mit ihrer jeweiligen Itemanzahl und den Reliabilitätskoeffizienten abgebildet. Überwiegend erreichen die verwendeten Skalen gute bis sehr gute Reliabilitäten.

Akzeptanz des Kurses Akzeptanz der Gruppenarbeit Zufriedenheit mit der Lernplattform Zufriedenheit mit der Betreuung Zufriedenheit mit dem Kursaufbau Subjektiver Lernerfolg Nützlichkeit des Kurses

Itemanzahl

Cronbach’s Alpha

3 3 2 3 4 3 4

.74 .82 .75 .94 .89 .79 .80

Tab. 8.3  Itemanzahl und Reliabilitätskoeffizienten der Skalen

8.7.3

Auswertungsverfahren

Für die einzelnen Skalen der Fragebögen wurde jeweils das arithmetische Mittel (M) ermittelt. Diese wurden dann varianzanalytisch auf mögliche Mittelwertsunterschiede zwischen den einzelnen Kursdurchführungen überprüft. Grundsätzlich repräsentieren hohe Werte der Schätzskalen eine hohe Zustimmung bzw. positive Einschätzung und niedrige Werte eine niedrige Zustimmung bzw. negative Einschätzung. Tabelle 4 zeigt eine Richtschnur zur inhaltlichen Interpretation der Mittelwerte, wie sie im Projekt definiert wurden.

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Intervall

Interpretation

1,0 bis < 2,0 2,0 bis < 2,5 2,5 bis < 3,5 3,5 bis < 4,0 4,0 bis ≤ 5,0

sehr geringe Zustimmung oder Einschätzung geringe Zustimmung oder Einschätzung mittlere Zustimmung oder Einschätzung hohe Zustimmung oder Einschätzung sehr hohe Zustimmung oder Einschätzung

155

Tab. 8.4  Richtwerte zur inhaltlichen Interpretation von Mittelwerten der Schätzskala

8.8

Ergebnisse der modulspezifischen Evaluation

Die folgenden Abschnitte geben die Ergebnisse der modulspezifischen Evaluation wieder (Frage 1). Dabei wird für jedes Modul die Einschätzung der vier Kurse durch die Teilnehmer vergleichend dargestellt und die zentralen Ergebnisse zusammengefasst.

8.8.1

Modul 1 „Aufgaben des E-Tutors“

Frage 1a: Wie schätzen die Teilnehmer das Modul 1 hinsichtlich der Klarheit der Aufgabenstellung, der inhaltlichen Gestaltung, der Motivation und der Nützlichkeit über die vier Kurse hinweg ein? Wie Abbildung 3 und Tabelle 5 zeigen, wurde das Modul 1 „Aufgaben des E-Tutors“ hinsichtlich der Skalen Klarheit der Aufgabenstellung, Inhaltliche Gestaltung, Motivation und Nützlichkeit des Moduls überwiegend positiv bis sehr positiv eingeschätzt. Die Varianzanalyse zeigte keine Unterschiede über die einzelnen Durchführungen hinweg.

156

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

Klarheit der Aufgabenstellung

Inhaltliche Gestaltung

2007 2008

Motivation

2009 I 2009 II

Nützlichkeit des Moduls

0

1

2

3

4

5

Abb. 8.3  Mittelwerte zu Modul 1

2007

2008

2009 I

2009 II

N

M (SD)

N

M (SD)

N

M (SD)

N

M (SD)

Klarheit der Aufgabenstellung

13

4.31 (0.78)

20

4.25 (0.91)

45

4.26 (1.05)

39

4.59 (0.91)

Inhaltliche Gestaltung

13

3.69 (0.85)

20

4.03 (0.84)

44

3.95 (0.74)

39

3.92 (0.76)

Motivation

13

4.19 (0.85)

20

4.15 (0.78)

44

4.23 (0.84)

38

4.37 (0.64)

Nützlichkeit des Moduls

13

4.08 (0.65)

20

4.38 (0.49)

45

4.37 (0.64)

29

4.36 (0.62)

Tab. 8.5  Detailergebnisse zu Modul 1

8.8.2

Modul 2 „Mediendidaktische Grundlagen“

Frage 1b: Wie schätzen die Teilnehmer das Modul 2 hinsichtlich der Klarheit der Aufgabenstellung, der inhaltlichen Gestaltung, der Motivation und der Nützlichkeit über die vier Kurse hinweg ein?

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

157

Modul 2 „Mediendidaktische Grundlagen“ wurde hinsichtlich der Motivation und Nützlichkeit des Moduls durchgehend sehr positiv eingeschätzt (Abbildung 8.4 und Tabelle 8.6). Varianzanalytisch zeigte sich ein signifikanter Unterschied bei der Nützlichkeit des Moduls zwischen 2008 mit einer sehr positiven Einschätzung und dem Jahr 2007 mit einer nur noch positiven Einschätzung. Dieser steigende Trend ist vermutlich auf die Veränderung der Zielgruppe zurückzuführen. Im Jahr 2008 wurde die Zielgruppe des Kurses verändert, die sich, nicht wie bis dato an bereits betreuende Teilnehmer von VHB Projekten richten, sondern an Teilnehmer, die erstmalig ein Projekt betreuen werden. Ab 2008 schickte demzufolge die VHB Einladungen des Kurses zielgerichtet an die neue Zielgruppe, um den Nutzen des Kurses zu erhöhen. Die Inhaltliche Gestaltung wurde positiv eingeschätzt. Die verhältnismäßig niedrige Beurteilung der Klarheit der Aufgabenstellung liegt vermutlich an der für die Teilnehmer neuen, problemorientierten Arbeitsform und der damit einhergehenden geringen Vertrautheit. Das Arbeiten mit authentischen Fallbeispielen in einem sozialen Kontext gehört zum Konzept des Kurses und wurde daher im Laufe der Jahre trotz mittlerer Einschätzung nicht verändert. Im Verlauf des Kurses, ab dem dritten Modul, weisen die sehr positiven Einschätzungen der Skala Klarheit der Aufgabenstellung darauf hin, dass die Teilnehmer sich an die neue Arbeitsform gewöhnt haben.

Klarheit der Aufgabenstellung

Inhaltliche Gestaltung

2007 2008

Motivation

2009 I 2009 II

Nützlichkeit des Moduls

0 Abb. 8.4  Mittelwerte zu Modul 2

1

2

3

4

5

158

Evaluation eines Schulungsprogramms zur Ausbildung von E-Tutoren

2007

2008

2009 I

2009 II

N

M (SD)

N

M (SD)

N

M (SD)

N

M (SD)

Klarheit der Aufgabenstellung

12

2.92 (0.47)

17

3.26 (0.66)

40

3.26 (0.65)

34

3.22 (0.67)

Inhaltliche Gestaltung

12

3.64 (1.11)

17

3.93 (0.77)

42

4.00 (0.66)

34

3.96 (0.64)

Motivation

12

4.08 (0.90)

17

4.56 (0.58)

41

4.52 (0.62)

34

4.41(0.54)

Nützlichkeit des Moduls

12

3.94 (0.62)

16

4.81* (0.27)

42

4.44 (0.64)

34

4.44 (0.48)

Anmerkung: *Mittelwertsunterschiede sind signifikant (p