-Program:
Improvement of Teaching Through
Self-monitored Scientific Evaluation

Letzte Änderung: 12.9.07

Konzeption & Projektleitung:

Prof. Dr. Georg Lind

Programmierung:

Kristian Scholz
Georg Lind

Instruktion für Dozenten
Was bedeutet wissenschaftliche Evaluation?
Wie es dazu kam...
Kriterien wissenschaftlicher Evaluation
Vorteile auf einen Blick
Warum Selbstevaluation?
Ein Beitrag zur Verbesserung der Lehre
Angebot zur Unterstützung
Das ITSE-Siegel
Das Grundmodell der Selbstevaluation
Vorarbeiten
Instruktionen für Dozenten
Beispielfragebogen
Farbcodierung des Fragebogens
Evaluation von Lehre und Bildungspolitik
Datenschutz
Literaturnachweise

"Our schools must preserve and
nurture the yearning for learning
that everyone is born with."

W. Edward Deming,
Professor für Management am MIT, Cambridge, 1994, S. 145

"The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.".

Campbell, D.T..
Assessing the Impact of Planned Social Change. Paper #8 Occasional Paper Series. (1976) ... more*

Gefördert aus Mitteln des Ausschusses für Lehre und Weiterbildung der Universität Konstanz

Was bedeutet selbst-kontrollierte, wissenschaftliche Evaluation?

WissenschafticheEvaluation bedeutet, dass die Evaluation an wissenschaftlichen Standards orientiert (Sanders, 1994). Sie unterscheidet sich grundlegend von ad hoc-Evaluationen, die meist andere Funktionen haben. Wissenschaftliche Evaluationen dienen ausschließlich der Verbesserung von Programmen, Maßnahmen oder Methoden und nicht dazu, Personen oder Personengruppen zu belobigen und zu belohnen oder zu bestrafen. Ihr Zweck in der Lehre ist die Qualitätsverbesserung.

Gegenstand der wissenschaftlichen Evaluation sind also in erster Linie Programme, Maßnahmen und pädagogische oder andere Methoden. Sie wird daher oft auch als Programmevaluation bezeichnet. Auch wenn der Begriff Evaluation häufig für die Begutachtung und Bewertung von Personen und Personengruppen benutzt wird, handelt es sich hierbei nichtum Evaluation. Personenbeurteilungen unterliegen ganz anderen wissenschaftlichen und rechtlichen Standards und werfen andere Probleme auf.

Bei Programmevaluationen wird gewöhnlich unterschieden, wer die Evaluation veranstaltet. Wenn sie von außenstehenden Wissenschaftlern durchgeführt wird, spricht man von Fremdevaluation. Wenn der Hauptakteur (hier: der Dozent) sie selbst durchführt, sprechen wir von Selbstevaluation. Selbstevaluation hat sich als ein besonders effektiver Weg der Qualitätsverbesserung in der Lehre erwiesen, weil der zentrale Akteur (möglichst unter Heranziehen von anderen direkt Beteiligten und von Experten) selbst die Evaluation veranlasst, die Ziele festlegt, die eingesetzten Methoden auswählt oder entwickelt, die Datenauswertung festlegt oder selbst durchführt und auch die Interpretation und Bewertung der Ergebnisse selbst vornimmt, und damit in hohem Maße dafür sorgt, dass die Evaluation optimal nutzbringend ist.

Da mit dem Begriff Selbstevaluation häufig etwas anderes bezeichnet wird als was wir hier meinen, benutzen wir den genaueren Begriff selbst-kontrollierte, wissenschaftliche Evaluation. Mit dem Begriff Selbstevaluation wird oft auch eine Evaluation bezeichnet, die sich ausschließlich auf die subjektive Selbsteinschätzung des Hauptakteurs stützt. Dies ist hier nicht gemeint. Eine wissenschaftlich fundierte Evaluation kann durch Selbst- oder Fremdeinschätzungen ergänzt, aber nicht ersetzt werden. ... mehr. Auch wenn der Hauptakteur die Evaluation selbst durchführt, muss er (oder sie) nicht auf wissenschaftliche Standards verzichten. Er ist dabei nicht auf ein bestimmtes Forschungsparadigma (z.B. auf randomisierte Experimentaldesigns) festgelegt, sondern sollte möglichst die adäquateste Untersuchungsanlage wählen. Das kann auch ein Handlungsforschungsmodell oder die genaue Dokumentation von Abläufen sein.

Weil wegen der häufigen Benutzung des Begriffs "Selbstevaluation" für reine Selbsteinschätzungen Missverständnisse möglich sind, haben wir des "S" in ITSE neu interpretiert als "scientific", was die Intentionen dieses Projekts noch besser trifft. Wenn sie wissenschaftlichen Standards genügen, können natürlich auch Fremdevaluationen sehr hilfreich sein.

Adressaten

Für die selbst-kontrollierte, wissenschaftliche Evaluation der Wirksamkeit von Maßnahmen ubnd Methoden durch Lehrende und Lehrer, Fachleiter, Schulleiter, Rektoren und Bildungsadministratoren an allen Bildungsinstitutionen.
Zur Instruktion für Lehrer und Dozenten.

Wie es dazu kam...

Studierende wie auch Lehrende sind, so beobachte ich immer wieder, im Grunde hoch motiviert zu lernen, den Stoff zu lernen, den man im Studium angeboten bekommt, bzw. zu lernen, wie man den Stoff so anbietet, damit er möglichst gut gelernt werden kann. Kein Wunder, denn Lernen ist eigentlich etwas Natürliches, wie wir nicht erst seit Aufkommen der modernen Neurobiologie wissen. Das Interesse am Lernen ist jedem Menschen von Geburt an mitgegeben. Hierüber sind sich Lern-, Entwicklungs- und Motivationspsychologen einig mit den Beobachtungen des Wirtschaftswissenschaftlers Edward Deming und des Neurologen Manfred Spitzer, deren Einsichten ich als Motto für das ITSE-Projekt gewählt habe.

Woran liegt es dann, dass das Lernen und Lehren im Alltag oft nicht so gut funktioniert, wie man es sich wünscht, oder dass es manchmal sogar ausgesprochen schlecht funktioniert, wenn nicht an der Motivation zu lernen? Natürlich sind wir nicht ständig und überall bereit oder bestrebt zu lernen. Es gibt viele Dinge, die uns aktiv davon abhalten können, wie Müdigkeit, Angst oder der Wunsch nach Entspannung (obwohl viele Lernbegierige behaupten, dass gerade das Lernen auch entspannend sein kann). Aber oft ist es nicht der Mangel an Motivation (oder die Wirkung von ablenkenden Motiven), die uns vom effektiven Lernen abhält, sondern der Mangel an guten Lerntechniken und die Schwierigkeit, angemessene, zuverlässige Rückmeldung über den Erfolg (oder Misserfolg) unserer Handlungen zu bekommen, die das Lernen erschweren.

Der Mangel als Lerntechniken und an zuverlässiger Wirkungsrückmeldung ist besonders eklatant. Hochschullehrer und Lehrer unterrichten mit der Gewissheit, dass sie etwas Wichtiges lehren und dass ihre Schüler und Studenten dies alles sich merken und auch später, wenn sie es im Beruf brauchen, noch parat haben werden. Aber trifft dies überhaupt zu?

Natürlich prüfen wir in Klausuren und Tests, auf die sich die Studierende intensiv und sehr speziell vorbereiten, ob bestimmtes Begriffswissen abrufbar ist. Aber wir wissen nicht, ob es auch nur wenige Wochen danach noch vorhanden ist und ob die Studierenden es später einmal kompetent anwenden können. Vor allem wissen wir wenig darüber, ob die beobachteten Resultate auf unsere Anstrengungen in Lehre und Unterricht zurückzuführen sind. Haben die Lernenden das Meiste schon in den Unterricht mitgebracht? Hängt der Lernerfolg eher mit außerschulischen Bedingungen zusammen? Bei so viel Ungewissheit ist es am klügsten, seiner eigenen Intuition zu trauen, statt "bewährte" Lehrmethoden durch neue zu ersetzen. Der Verbesserung der Lehre hilft das aber natürlich wenig.

Kriterien wissenschaftlicher Evaluation

Evaluation ist nicht gleichzusetzen mit experimenteller Theorienprüfung, aber sie kann viel davon lernen.

Die wissenschaftliche Evaluation muss klar abgegrenzt werden gegenüber unsystematischen, vorwissenschaftlichen Fallanalysen wie auch gegenüber pseudo-wissenschaftlich angelegten Großstudien mit rigiden Standards. Beides kann keine sichere Grundlage für die Verbesserung der Lehre sein.

1. Vorwissenschaftliche Analysen lassen sich allzuleicht von der eigenen Eitelkeit einfangen. Sie sind nicht selten von dem Wunsch beseelt, das eigene Handeln als das bestmöglichste bestätigt zu bekommen. Es fehlen hier alle Sicherheitsvorkehrungen gegen Selbsttäuschung.

2. Pseudo-wissenschaftliche Analysen setzen häufig auf große Beobachtungszahlen und hochkomplexe statistische Verarbeitungsmethoden, weisen jedoch große Defizite auf hinsichtlich so grundlegender Dinge wie der Validität der Daten, der Qualität des Beobachtungsdesigns und der Aufmerksamkeit für die Frage, welche Konsequenzen aus den Beobachtungen zu ziehen sind und welche Rückwirkungen solche Konsequenzen auf das Lernverhalten der Adressaten hat.

3. Evaluation braucht allgemeine, übergreifende Standards, nach denen Vergleiche möglich sind, aber sie muss auch Konzepte wie Individualität und Subjektivität ernst nehmen. Lernerfolge müssen immer in Bezug gesetzt werden zu dem individuellen Eingangswissen, den sozialen Unterstützungssystemen und dem Lernumfeld.

Schlecht gemachte Evaluation führt meist zu falschen Empfehlungen hinsichtlich der Effizienzsteigerung der Lehre, wodurch die Lage der Hochschule nur noch verschlimmert werden würde. "So wünschenswert eine stärkere Ausrichtung der Hochschulen an Effizienzkriterien ist, so schwerwiegend können die Folgen sein, wenn die konkrete Umsetzung fehlerhaft ist", schreibt der Hochschulexperte Bernhard Nagel (2004).

Gute Programmevaluation setzt die Einhaltung bestimmter Standards voraus, die man nicht unterschreiten sollte (vgl. Lind, 2004). Gute Evaluation erfordert u.a.:

1. Eine hohe theoretische und prädiktive Validität der Beobachtungskonstrukte: Wird genau das beobachtet, was beobachtet werden soll? Steht das Beobachtete mit dem zukünftigen Verhalten der Studierenden bzw. ihre zukünftigen Kompetenzentwicklung im Beruf in einem allgemein bedeutsam gehaltenen Zusammenhang? ("Statistische Signifikanz" hat mit dieser Art von Bedeutsamkeit wenig bis gar nichts zu tun.)

2. Ein angemessenes Beobachtungs-Design, das es ermöglicht, möglichst viele konkurrierende Erklärungen für die Beobachtungsergebnisse auszuschließen und damit zu einer möglichst eindeutigen Zuschreibung der Ursächlichkeit unseres Lehrverhaltens zu gelangen. Dazu sind zwei Dinge mindestens erforderlich: a) eine zweimalige Erhebung (zum Beispiel am Anfang und am Ende eines Kurses) und b) das Vorhandensein von Vergleichsdaten von ähnlichen Studierenden und ähnlichen Zeiträumen. Eine Einmalerhebung, mag sie noch so groß sein, ist für Evaluationszwecke in der Regel ungeeignet.

3. Eine Begrenzung des Evaluationsauftrags auf die Analyse und Bewertung der Methoden, Maßnahmen und Systemmerkmalen, die es zu verbessern gilt. Mit anderen Worten: Eine Evaluation, die der Qualitätsentwicklung dient, sollte grundsätzlich nicht auf die betroffenen Personen (hier: Studierende, Dozenten) ausgedehnt und gleichzeitig zur Zertifizierung oder Benotung eingesetzt werden. Bei einer solchen Vermengung der Zwecke werden die Evaluationsergebnisse, wie man weiß, sehr unscharf und damit kaum mehr brauchbar (siehe u.a. Amrein & Berliner, 2002; Nichols & Berliner, 2007).

4. Hohe Transparenz und eine intensive Beteiligung aller davon Betroffenen in allen Phasen eines Evaluationsvorhabens, um einerseits vorhandene Evaluationskompetenz (im Sinne der Punkte 1 und 2) bestmöglichst auszuschöpfen, andererseits um auch die Voraussetzungen für die notwendige Akzeptanz und Umsetzungsmotivation zu schaffen.

Wenn eine Evaluation diese bekannten und von Evaluationsexperten geteilten Anforderungen nicht oder nur unvollständig erfüllt, kann, ja wird sie eher kontraproduktiv wirken, statt Verbesserungen voranbringen.

Gute, regelmäßige Evaluation ist zeit- und geldaufwenig. Dies dürfte auch der häufigste Grund dafür sein, dass viel Lehrende, die sich eine zuverlässige und valide Wirkungsrückmeldung ihrer Lehre wünschen, es damit noch nicht versucht haben, oder es wieder aufgegeben haben, nachdem sie es versuchten. Allein die Erhebung der dafür notwendigen Daten bei den Studierenden kostet einige Zeit. Noch mehr Zeit und Geld kostet die Übertragung der Daten in eine Computerdatei, um sie (wenn man die dafür notwendige Expertise hat) mit einem statistischen Programm zu analysieren. Lässt man die Daten analysieren, ist das Ganze für die meisten Lehrenden schnell unbezahlbar.

Ich habe daher vor einiger Zeit damit angefangen, die Durchführung der wissenschaftlichen Evaluation meiner Kurse mit Hilfe des selbst programmierten Internetprogramms ITSE durchzuführen. Die Finanzierung von ITSE erfolgte anfangs aus Mitteln des Ausschusses für Lehre und Weiterbildung der Universität Konstanz, großenteils aber aus Eigenmitteln. Im Sommer 2004 habe ich mehrere Kollegen für eine Erprobung von ITSE gewinnen können. An der Erprobung nahmen 12 Kurse mit insgesamt über 300 Teilnehmern und sechs Dozenten teil. Der Bericht über diese Erprobung kann hier herunter geladen werden (Kurzbericht).

Vorteile auf einen Blick

Warum Selbstevaluation?

Lehrende wollen eine gute Lehre machen, bei der die Studierenden möglichst viel lernen, das Gelernte verstehen, das Verstandene anwenden und mit Anwendungen verantwortungsvoll umgehen lernen. Selbstevaluation ist dabei ein sehr wichtiges und effektives (wenn auch immer begrenztes) Hilfsmittel, um fest zu stellen, ob diese Ziele erreicht werden.

Mit dem Begriff Selbstevaluation ist gemeint, dass bei der Evaluation die Kontrolle über die Ziele, Durchführung und Auswertung der Evaluation ganz und gar bei dem Lehrenden selbst liegen. Während "Fremd-Evaluation" meist dazu dient, Personen (hier: Lehrende) zu evaluieren und in eine Rangreihe zu bringen, und sie entsprechend ihren Rangplätzen zu belohnen oder zu bestrafen, geht es bei der Selbstevaluation darum, Lehrmethoden und Lehrinhalte hinsichtlich ihrer Wirksamkeit zu bewerten und dazu beizutragen, die Lehre zu verbessern. Während Fremdevaluation in erster Linie auf Selektion zielt, zielt Selbstevaluation (bzw. Methodenevaluation) auf Lernen und Entwicklung.

Selbstevaluation könnte daher auch "Methoden-Evaluation" genannt werden. Lehrende führen diese Evaluation durch, um sich zu vergewissern, ob die Art wie sie lehren, also ihre Methoden und didaktischen Ansätze, ihre selbst gesteckten Ziele erreichen lassen, bzw. ob neue Methoden und Ansätze zu der erhofften Verbesserung führen.

Selbstevaluation schließt nicht aus, dass die Studierenden befragt und externe Experten zu Rate gezogen werden. Im Gegenteil, beides sind wichtige Kernelemente der Selbstevaluation. Auch ist die Selbstevaluation offen und kann öffentlich betrieben werden, um das allgemein verfügbare Wissen um effektive Lehrmethoden zu mehren. Bei ausreichender Datengrundlage können so "Rankings" von effektiven Lehrmethoden erstellt werden, die dem einzelnen Lehrenden helfen, die eigene Lehre kontinuierlich zu verbessern.

Selbstevaluation stellt also einen Rückkoppelungsprozess im Rahmen einer Qualitätsentwicklung dar, die auf der Grundlage bestimmter Zielsetzungen eine Verbesserungen der Effizienz und Effektivität der Lehre bezüglich bestimmter Aspekte und in bestimmten Kursen intendiert.

Ein Beitrag zur Verbesserung der Lehre

Das Wissen, ob die Bemühungen um gute Lehre etwas bewirken, hat vor allem für Motivation des Lehrenden große Bedeutung. Hat sich die Mühe gelohnt? Sind wir auf dem richtigen Weg oder sollten wir es zukünftig anders versuchen? Oft reicht es uns schon, wenn die Kursteilnehmer aufmerksam sind und am Ende zufrieden wirken. Aber manchmal möchten wir auch gern wissen, ob die Studierenden wirklich etwas gelernt haben. Zu leicht können wir uns selbst täuschen: Die Studierenden waren aufmerksam und zufrieden -- und haben vielleicht dennoch wenig von dem verstanden, was wir ihnen vermitteln wollten. Vielleicht sind wir auch sehr unterhaltsam aber wenig effektiv in der Wissensvermittlung gewesen.

Als Hochschullehrer müssen wir uns meist auf unseren "Glauben" verlassen, wenn wir wissen möchten, ob und was wir mit unserer Lehre den Teilnehmern wirklich vermitteln. Von einigen wenigen Teilnehmern können wir unmittelbare Rückmeldung bekommen. Wenn wir wissen wollen, ob alle oder nur ein Teil der Teilnehmer etwas mitnehmen und bei wie vielen unsere Lehre nachhaltige Lernprozesse ausgelöst hat, sind wir jedoch auf systematische Evaluation angewiesen.

Wie wir oben gesehen haben, hilft Evaluation aber nur dann die Lehre zu verbessern, wenn sie ein paar wichtige Kriterien erfüllt:

• Klare Ziele: Sie muss in einen Prozess der Qualitätsentwicklung eingebettet sein, in dem klare Ziele definiert sind.

• Zielvalidität: Die Erhebungsinstrumente und das Erhebungsdesign müssen genau auf die Ziele der Qualitätsentwicklung und Evaluation abgestimmt sein.

• Programmevaluation: Sie sollte sich immer auf Maßnahmen und Methoden richten, aber nicht auf Menschen oder Gruppen (sie kann aus "Selbstevaluation" wie auch als "Fremd-Evaluation" bestehen , siehe oben) und sie sollte Schutz vor Schuldzuweisungen und Sanktionen (auch in der anscheinend "milden" Form des Rankings) bieten. Sonst ist damit zu rechnen, dass die Evaluation "unscharf" wird (zum "Unschärfeprinzip" in der Bildungsforschung siehe Amrein und Berliner, 2002; Sacks, 2000).

• Intrinsische Motivation: Sie muss extrinsische Gratifikationen vermeiden; die "Belohnung" sollte allein in der Verbesserung der Lehrqualität und der Lernergebnisse liegen bzw. in der Befriedigung, die man daraus zieht, dass man seine Arbeit gut macht (siehe u.a. Deci et al., 1999; Deming, 1994; Kohn, 1999; McKeachie, 1997; Rindermann, 2001; Süllwold, 1992).

• Input-Output-Vergleich: Evaluation sollte so angelegt sein, dass eine möglichst eindeutige Zuschreibung von Ursache und Wirkung möglich ist, weil sonst keine eindeutigen Handlungsempfehlungen aus ihr abgeleitet werden können. Dazu gehört, dass sowohl Output als auch Input untersucht werden müssen. Der ausschließliche Fokus auf einer Seite ist ungenügend.

• Effizienz: Evaluation sollte auch unter Fragen der Effizienz betrachtet werden. Oft hat sie die größte Wirkung bei geringstem Mitteleinsatz, wenn sie "top-down" statt "bottom-up" geschieht, also zuerst nach Unzulänglichkeiten und Verbesserungsmöglichkeiten an der Spitze einer Machthierarchie sucht, statt an der Basis. Man sollte also zunächst jene Ursachen evaluieren, die man selbst unter Kontrolle hat und relativ leicht verändern kann, bevor man auf Ursachen fokussiert, die nur mit großem Aufwand zu beeinflussen sind.

• Transparenz: Die Anlage, Durchführung und Auswertung der Evaluation muss möglichst transparent für die Adressaten erfolgen.
  
• Meta-Evaluation: Gute Evaluation muss immer auch selbst evaluiert werden!

Evaluation, die gegen eine oder alle diese Kriterien für gute Evaluation verstößt, wird im besten Fall wirkungslos bleiben, im schlimmsten Fall kontraproduktiv sein.

Wirkungslose und schlechte Evaluation erkennt man daran,

• dass die Zielsetzungen und Kriterien kaum oder gar nicht expliziert werden,

• dass nur eine einmalige Erhebung erfolgt,

• dass die vorgeblichen Ziele sich in den Erhebungsinstrumenten kaum wiederfinden lassen bzw. die Zielvalidität der eingesetzten Erhebungsinstrumente nicht bekannt oder gering ist, und

• dass die Ergebnisse der Evaluation mit unangemessenen Sanktionen oder Belohnungen (Gatifikationen, Mittelentzug, Ranking etc.) verbunden sind, die das Augenmerk der Beteiligten mehr auf diese Sanktionen als auf das eigentliche Ziel der Qualifikationsverbesserung lenken.

Der Bildungsforscher Mark Smylie (1994) fasst den Stand der Forschung hierzu so zusammen:

"... effects of evaluation systems may be short lived, particularly if teachers do not agree with the conception of teaching they embody or the direction in which they attempt to influence teachers' behavior (Darling-Hammond & Sclan, 1992). The changes teachers make in their practice may become 'calculative' and not sustained. ... Firestone and Pennell (1992) warn that evaluation systems with exceptionally tight, highly specified criteria may infringe on teachers' sense of autonomy by restricting choices about objectives and methods. ... this effect may diminish the motivational potential of work redesign and, in turn, thwart efforts to improve classroom instruction." (S. 145-146)

Hochschulforscher fassen umfangreiche Studien zur Leistungsbewertung und Evaluation so zusammen:

"We believe grades and grading practice should be in the service of learning and teaching, not ranking. [...] Tests and grades as we now know them do not serve the purpose of promoting students learning very well." (Milton et al., 1986, S. 203 u 207)

Der Ökonom W. Edward Deming sekundiert ihnen dabei:

"The ranking of people indicates abdictation of management. The aim of anybody, under the merit system, is to please the boss. The result is destruction of morale. Quality suffers." (Deming, 1994, S. 27). "What is the effect of grading and ranking? Answer: humiliation of those that do not receive top grades or top rank. The effect of humiliation is demoralization of the individual. Even he that receives top grades or top rank is demoralized." (S. 148)

Bezogen auf die Hochschullehre folgert der Züricher Wirtschaftswissenschaftler Bruno Frey:

"Leistungsorientierte Besoldung [verdrängt] die intrinsische Motivation. ... Eine hohe intrinsische Motivation ist für Hochschullehrer unentbehrlich." (Frey, 2003, S. 543)

Lehre sollte schrittweise verbessert werden, indem man sich bestimmte Probleme oder Defizite vornimmt und diese zu verbessern versucht. Oft empfiehlt es sich auch, diese Verbesserungen zunächst in einer bestimmten Lehrveranstaltung vorzunehmen, und sie dann schrittweise an andere Kurstypen anzupassen. Daher muss jede Evaluation auch den spezifischen Erfordernissen einer Qualitätsentwicklung angepasst sein. Eine "Einheits-Evaluation", die für jeden Kurs und für alle Lehrenden passt, kann es nicht geben.

Zum Thema gute Evaluationsdesigns siehe auch mein ausführliches Skript (in Bearbeitung).

Unser Angebot: Unterstützung der Selbstevaluation der Lehre

Evaluation ist, wenn sie richtig durchgeführt wird, in der Regel mit einigem Aufwand verbunden, der von vielen nicht geleistet werden kann. Es ist nicht ganz einfach festzustellen, ob die real bestehende Lehrpraxis das bewirkt, was man sich davon erhofft, bzw. ob neue Lehrmethoden die erhofften Veränderungen bewirken.

Mit diesem Projekt soll daher auf dreifache Weise Hilfestellung bei der Durchführung einer Evaluation eigener Lehrveranstaltungen gegeben werden:

• Coaching bei der Konkretisierung der Evaluationsziele und der Umsetzung dieser Ziele in ein Evaluationsdesign und zielvalide Erhebungsinstrumente (Beispiel).

• Unterstützung bei der Durchführung der Erhebungen bei den Studierenden und technischer Support via Internet bei der Analyse der gewonnenen Daten, so dass die Kosten für die Datenerfassung und -analyse gering sind.

• Beratung bei der Interpretation und Umsetzung der Ergebnisse: Ist eine Änderungen der bisherigen Praxis notwendig? Wenn ja: was könnte als nächster Schritt versucht werden? Wie könnte eine neuerliche Evaluation aussehen?

Diese Selbstevaluation wird in der Eigenverantwortung des Lehrenden durchgeführt und strikt vertraulich behandelt. Die Daten sind für niemand anderen zugänglich. Der Leiter und alle Mitarbeiter dieses Projekts verpflichten sich, soweit sie überhaupt Einsicht in die Daten haben können, zur Einhaltung strikter Vertraulichkeit. Nach Abschluss der Entwicklungsarbeiten sollen sämtliche Daten und auch die eingesetzten Programme dem Lehrenden überlassen werden, dem dadurch die Option gegeben ist, seine Evaluation auf einem eigenen Web-Server durchzuführen und an jeden beliebigen neuen Arbeitsplatz mitzunehmen. Alle eingesetzte Software ist 'open source', frei nutzbar und sowohl unter Windows wie unter Linux einsetzbar. Der Autor dieses Projekts macht keine Lizenzansprüche geltend.

Jeder Lehrende, der den Service dieses Projekts nutzt, verpflichtet sich seinerseits, die erhobenen Daten anonymisiert für weitere, Kurs- und Dozenten-übergreifende Analysen zur Verfügung zu stellen, um so zu einer Wissensdatenbank beizutragen, in der Erfahrungen mit unterschiedlichen didaktischen Methoden und Maßnahmen gesammelt werden sollen. Die Auswertung dieser Daten wird sich strikt auf den Vergleich von Methoden und Maßnahmen konzentrieren und keine Personen vergleichen. Die Selbstevaluation der Lehre durch Einzelne trägt dann auch dazu bei, das hochschuldidaktische Wissen aller Lehrenden zu erweitern.

Das Grundmodell der wissenschaftlichen Selbstevaluation

In einem ersten Schritt wird ein Grundmodell der wissenschaftlichen Selbstevaluation angeboten, dass für jeden einige individuelle Ergänzungsmöglichkeiten bietet. Die Hauptelemente sind eine Basiserhebung ("input") und eine Schlusserhebung ("output"). Unser konkretes Angebot umfasst folgende Teile:

• Beratung bei der Konkretisierung der Zielsetzung der Evaluation. Auf Wunsch werden Tips zur Anreicherung des eigenen didaktischen Methodenrepertoirs und Hilfestellung bei der Umsetzung gegeben (siehe meine Hochschuldidaktik-Seite: http://www.uni-konstanz.de/ag-moral/hodi/index.htm).

• Zwei Erhebungen, eine ganz am Anfang und eine am Ende des Semesters.

  • Optionen für später:

    • Eine dritte Erhebung (Zwischenerhebung) mitten im Semester.
    • Erhebungen bei Vergleichsgruppen, um eine genauere Schätzung des Lehreffekts zu erhalten.
      
      

• Zwei über das Internet dargebotene Befragungsinstrumente, die gemeinsame Teile enthalten, um Veränderungen feststellen zu können, und erhebungsspezifische Teile, um Voraussetzungen und Ergebnisse des Lehr-Lernprozesses ermitteln zu können. Der folgende Überblick stellt die Inhalte beispielhaft dar:

  • Basiserhebung

  Spezifische Fragen: Semesterzahl; angestrebter Studienabschluss; Grund für Kursteilnahme; Erwartungen an den Kurs; Vorkenntnisse etc. (siehe Beispiel)

  Gemeinsame Fragen/Tests: Wissens- und Kompetenztests mit Bezug auf fachliche und überfachliche Lernziele des Kurses.

  • Schlusserhebung

  Spezifische Fragen: Umfang der Mitarbeit im Kurs; Fehlzeiten; Menge des Gelernten im Vergleich mit den eigenen Erwartungen, mit dem Lernergebnis sonst in anderen Kursen und mit den vermuteten beruflichen Anforderungen.

  Gemeinsame Fragen/Tests: Dieselben Wissens- und Kompetenztests wie bei der Basiserhebung.
  
  Als Ausgangsmaterial wird das Erhebungsinstrument angeboten, das der Projektleiter seit mehreren Jahren in seinen Kursen eingesetzt und erprobt hat (Beispiel). Jeder Lehrende ist jedoch frei, seine Selbstevaluation seinen spezifischen Erfordernissen anzupassen und eigene Instrumente zu entwickeln.
  
  Die Fragebogenteile sind farblich markiert (Basis-, Schlusserhebung):
  

  	Basiserhebung	Schlusserhebung
  Fester Bestandteil beider Erhebungen
  Fester Bestandteil einer Erhebung
  Freie Fragen zum Kurs	(nicht belegt)
  Frei wählbarer Teil zur Veränderungsmessung (identische Fragen in beiden Erhebungen)

• Beratung bei der Interpretation der Daten und Umsetzung der Ergebnisse.

Das Ziel der Evaluation muss anfangs nicht hoch gesteckt sein. Es kann darin bestehen zu fragen, was mit der Veranstaltung, wie sie bisher durchgeführt wurde, erreicht wird. Mit einer solchen Fragestellung kann die "Baseline" für zukünftige Fortschritte ermittelt werden.

Lehrende aller Fachrichtungen sind eingeladen, an dem Projekt teilzunehmen.

Vorarbeiten

Ich bin "von Haus aus" Bildungsforscher (von 1973 bis 1985 als Mitglied des SFB 23 Bildungsforschung) und Lehr-Lernpsychologe und mit der einschlägigen Literatur seit langem vertraut. Daher habe ich schon früh mit der Selbstevaluation meiner Lehre begonnen, und zwar auf der Grundlage von wissenschaftlichen Mindeststandards, wie ich sie oben beschrieben habe.

Natürlich verlasse ich mich nie allein auf solche Befragungen, sondern hole im Kurs laufend Rückmeldung ein, ob die dort stattfindenden multiplen Lehr- und Lernprozesse einigermaßen synchron verlaufen.

Die Selbstevaluation meiner Veranstaltungen ergab zusammen mit neueren lernpsychologischen Erkenntnissen wichtige Hinweise, wie ich meine Kurse didaktisch effektiver machen konnte. Schon nach kurzer Zeit ist es dadurch in allen Veranstaltungen gelungen, eine höhere Aufmerksamkeitsrate und Mitarbeit zu erreichen. Nach einigen Semestern konnten auch die Lerneffekte meiner Veranstaltung bezüglich wichtiger Lernziele deutlich gesteigert werden. Beispielsweise lies sich so die Urteils- und Diskursfähigkeit der Studierenden, ein wichtiges überfachliches Lernziel, stark verbessern. Der Zugewinn in einem Kurs ist heute deutlich höhrer als er noch vor einigen Semestern war.

Beispielfragebogen

Als Beispiel für einen Fragebogen-Satz (Basis- und Schlussbefragung) zur Selbstevaluation finden Sie im Internet die Fragebogen, ddie ich in meinen Lehrveranstaltungen verwende:

• Basiserhebung (nur Erprobungsversion!) ... mehr
• Schlusserhebung (nur Erprobungsversion!) ... mehr

Die Bedeutung der farblichen Codierung ist oben beschrieben. Der Beispielfragebogen für die beiden Evaluationserhebungen beinhaltet als gemeinsamen Teil einen Test zur moralischen Urteils- und Diskursfähigkeit, einem zentralen überfachlichen Lernziel universitärer Bildung. "Lehre und Studium sollen den Studenten auf ein berufliches Tätigkeitsfeld vorbereiten und ihm die dafür erforderlichen fachlichen Kenntnisse, Fähigkeiten und Methoden dem jeweiligen Studiengang entsprechend so vermitteln, daß er zu wissenschaftlicher oder künstlerischer Arbeit und zu verantwortlichem Handeln in einem freiheitlichen, demokratischen und sozialen Rechtsstaat befähigt wird." (HRG, 1999, § 7; siehe auch Bargel & Framhein, 1976; Bargel et al., 1982).

Dieser sogenannte "Moralisches Urteil-Test" (MUT) wurde 1976 in Konstanz im Sonderforschungsbereich 23 "Bildungsforschung" entwickelt (Lind, im Druck) und in einer international vergleichenden Längsschnittstudie zur Analyse der Wirksamkeit fünf nationaler Bildungssysteme eingesetzt (siehe Lind, 1986). Er wurde inzwischen in zwanzig Sprachen übersetzt und weltweit bei über 250.000 Studierenden und SchülerInnen eingesetzt, in Deutschland, Kolumbien und Mexiko als zentrales Maß für die Wirksamkeit des Bildungssystems.

Der MUT enthält zwei Dilemmageschichten mit Pro- und Contra-Argumenten, die nach ihrer Akzeptabilität zu beurteilen sind. Anhand der Urteilsmuster kann festgestellt werden, in welchem Maß die Studierenden sich bei ihren Urteilen konsequent an (eigenen) moralischen Maßstäben orientieren statt daran, ob die zu beurteilenden Argumente für oder gegen ihre Haltung in einer Kontroverse spricht. Der C-Index für moralische Urteilsfähigkeit lässt sich nicht simulieren, ist aber sensitiv für die Wirkung begünstigender Lernumwelten (Lind, 2002). Unter günstigen Voraussetzungen können in einer einsemestrigen Lehrveranstaltung relative Effektstärken von r = .60 und höher erreicht werden (auf einer Skala von 0.00 bis 1.00). Verschiedene absolute Effektstärken sind unten in der Graphik abgetragen (geschätzt auf Grund zahlreicher Studien bzw. direkte Ergebnisse aus Studien mit dem MUT; maximal möglicher Zuwachs = 100 auf einer skala von 0 bis 100; zu den Schätzungen siehe Lind, 2002).

Literaturnachweise