Scenario

1649-8526Jahrgang VIAusgabe 1Jahrgang 2012

Das Hamburger TheaterSprachCamp – Methoden und Ergebnisse der Evaluation

Julia Kinze

Zusammenfassung

Das Hamburger TheaterSprachCamp ist eine Ferienmaßnahme, die Sprachförderung, Theaterarbeit und Freizeitpädagogik integriert – mit dem Ziel, durchgängige sprachliche Bildung umzusetzen. Es wird seit der ersten Durchführung im Jahr 2007 von einer Evaluation begleitet, die sich erstens mit der Umsetzbarkeit des Ansatzes der Integration der drei Bereiche beschäftigt, zweitens die Wirksamkeit der Förderung im Camp und drittens die Nachhaltigkeit der erzielten Fördererfolge untersucht. Für alle bisherigen Camps konnte jeweils ein nachweisbarer Fördererfolg – also ein spezifischer Lernzuwachs in den geförderten Bereichen – für die in dieser besonderen Maßnahme geförderten Kinder nachgewiesen werden. Diese Wirkung der Förderung in den Camps ist allerdings bislang eher unbeständig und konnte in den vergangenen Jahren nicht nachhaltig – über das Schuljahr hinweg – gesichert werden. Das TheaterSprachCamp hat also ein Nachhaltigkeitsproblem, wie es auch von anderen kurzfristigen Interventionsmaßnahmen bekannt ist. Exemplarisch wird die Evaluation des TheaterSprachCamps 2010 mit Methoden und Ergebnissen vorgestellt. Die Maßnahme wird als Ganzes in ihren Ergebnissen evaluiert, es erfolgt dabei keine Analyse der einzelnen Bereiche, die in ihr vereint werden. Im Artikel werden die zur Evaluation eingesetzten Instrumente vorgestellt.

1. Fragestellungen und Untersuchungsdesign

Seit 2007 wird in Hamburg das TheaterSprachCamp durchgeführt, eine besondere Fördermaßnahme für Kinder mit ausgeprägtem Sprachförderbedarf1. Für drei Wochen fahren in der zweiten Hälfte der Sommerferien die teilnehmenden Kinder in verschiedene Camps. Die Sprachförderung im TheaterSprachCamp (TSC) wird auf der Basis eines integrierten Konzepts der drei Bereiche Deutsch als Zweitsprache, Theaterpädagogik und Freizeitpädagogik durchgeführt. Ziel ist dabei, über das Schaffen von Lernsituationen während der Maßnahme die Sprachbildung der Kinder jeweils individuell zu unterstützen. Die Maßnahme richtet sich insbesondere an mehrsprachige Kinder, aber auch an Kinder, die Förderbedarf beispielsweise im Bereich Lesen haben (vgl. Neumann u.a. 2011). Eine Beschreibung des Projekts und der Theaterarbeit im TSC findet sich auch im Artikel von Wolfgang Sting in dieser Ausgabe (vgl. Sting 2012).

1.1. Fragestellungen

Das Hamburger TheaterSprachCamp wird seit seiner ersten Durchführung 2007 vom LIQ2 evaluierend begleitet. Die Fragestellungen für die Evaluation beziehen sich auf folgende Bereiche:

Für die Untersuchung dieser Fragestellungen werden unterschiedliche Instrumente eingesetzt, die in den folgenden Abschnitten genauer vorgestellt werden: Die unmittelbare Wirksamkeit der Sprachförderung sowie die Nachhaltigkeit der Wirkung werden mit verschiedenen Sprachtests überprüft (Abschnitt 2). Daneben werden Selbsteinschätzungsskalen (Abschnitt 3.1) sowie Einschätzungsskalen für Lehrkräfte (Abschnitt 3.2) eingesetzt, um die Wirkung des TheaterSprachCamps im Bereich der überfachlichen Kompetenzen zu evaluieren. Um die Frage der Umsetzbarkeit des besonderen Ansatzes des TheaterSprachCamps zu untersuchen, gibt es eine Befragung der Campbetreuer (Abschnitt 3.3).

Auf die Erfassung von Hintergrundmerkmalen in den Elternhäusern wird seit 2008 verzichtet. Nachdem die Analyse einer Elternbefragung für das erste TheaterSprachCamp 2007 gezeigt hat, dass die befragten Eltern ein sehr positives Gesamtbild des Camps und seiner Wirkung hatten, kann für die nachfolgenden TheaterSprachCamps von einer ähnlich großen Zustimmung der Eltern ausgegangen werden. Auch der soziokulturelle Hintergrund der Campkinder wird nicht erneut erhoben, da davon ausgegangen wird, dass er ähnlich gelagert ist wie im Jahr 2007: eine relativ große Bandbreite der soziokulturellen Familienbedingungen, jedoch mit einem deutlichen Schwerpunkt auf sozial schwachen Herkunftsfamilien.

1.2. Untersuchungsdesign

In der Evaluation der TheaterSprachCamps ist für jeden Campdurchgang ein Untersuchungsdesign mit drei Erhebungszeitpunkten zur Erfassung der Lernstände vorgesehen. Dabei werden sowohl Sprachtests als auch Fragebögen eingesetzt. Mit einer Vortestung unmittelbar vor dem Camp wird die Ausgangslage ermittelt, eine erste Nachtestung nach den Sommerferien zeigt, ob und in welchen Bereichen durch das Training im TheaterSprachCamp feststellbare Verbesserungen erzielt werden. Eine zweite Nachtestung am Ende des Schuljahres überprüft die Nachhaltigkeit dieser Veränderungen. Es werden zu diesen drei Zeitpunkten jeweils die Kinder getestet und befragt, die am Camp teilnehmen, sowie eine Kontrollgruppe. Zur Bildung der Kontrollgruppe werden die Lehrkräfte um die freiwillige Testung weiterer Kinder gebeten, die im Leistungsstand in etwa den ins Camp fahrenden Kindern vergleichbar waren. Die tatsächliche Kontrollgruppe wird dann im Paarverfahren anhand der vorliegenden Daten ausgewählt. Dabei wird jedem Campkind ein Kontrollkind mit gleichen oder annähernd gleichen Leistungen in der Ausgangstestung zugeordnet (Matched Samples: vgl. Bortz 2006, S. 527).

Die Befragung der Campbetreuer wird während der Camps organisiert. Tabelle 1 zeigt schematisch die Einsatzzeitpunkte der einzelnen Instrumente.

Tests:

Vortest

1. Nachtest

2. Nachtest

Juni vor dem TSC

September nach dem TSC

Mai/Juni im Jahr nach dem TSC

C-Test Deutsch

Alt und Jung +2

Alt und Jung

Alt und Jung +2

Wortschatz

30 Aufgaben

15 Aufgaben

30 Aufgaben

Grammatik

30 Aufgaben

15 Aufgaben

30 Aufgaben

Lesen*

Stolperwörtertest

Stolperwörtertest**

Stolperwörtertest

Rechtschreiben*

HSP 3 (Auswahl)

HSP 3 (Auswahl)

HSP 4 (Auswahl)

Fragebögen:

für Schüler

Selbsteinschätzungs-skala (ÜFK*** und Sprachkompetenz)

Selbsteinschätzungs-skala (ÜFK*** und Sprachkompetenz)

Selbsteinschätzungs-skala (ÜFK*** und Sprachkompetenz)

für Lehrer

Einschätzungsbogen ÜFK*** (nur TSC 2010)

Einschätzungsbogen ÜFK*** (nur TSC 2010)

Einschätzungsbogen ÜFK*** (nur TSC 2010)

Veränderungen und deren Nachhaltigkeit

für Campbetreuer

Fragebogen zur Durchführung des Trainings

Tabelle 1: Übersicht über Erhebungsinstrumente und –zeitpunkte.
*Diese Testteile werden seit 2010 auf freiwilliger Basis durchgeführt. ** Zu diesem Zeitpunkt nicht mehr in der Evaluation enthalten seit 2011. ***Einschätzungsbögen zu überfachlichen Kompetenzen (vgl. Abschnitte in 2.3).

2. Evaluation

2.1. Sprachtests

Die Sprachtests überprüfen die Wirksamkeit der Sprachförderung im Camp sowie die Nachhaltigkeit festgestellter Effekte. In einer Vortestung wird bei den Campkindern und der Kontrollgruppe die Lernausgangslage erfasst, auf die der später erhobene Lernstand nach dem Training bezogen werden kann – einmal, um die Höhe des Lernzuwachses insgesamt abschätzen zu können, und vor allem, um einen Vergleich der Lernzuwächse in der Trainings- und Kontrollgruppe zu ermöglichen.

Die erste Nachtestung findet möglichst zeitnah nach dem Camp statt, um zu überprüfen, ob das Training einen nachweisbaren Erfolg im Hinblick auf die sprachlichen Kompetenzen hat, bevor weitere Bedingungen (in Elternhaus und Schule) den erneuten Lernstand wesentlich beeinflussen können. Ein Einfluss auf die Testergebnisse durch einfaches Memorieren der Antworten kann ausgeschlossen werden, da zwischen Vor- und Nachtest mindestens 10 Wochen liegen und die Aufgaben nicht besprochen werden.

Inwieweit das Training auch überdauernde Wirkungen auf die sprachlichen Kompetenzen der Kinder hat, wird jeweils anhand der zweiten Nachtestung am Ende des auf das Camp folgenden Schuljahres ermittelt.

Beim Vortest und bei beiden Nachtests werden im Wesentlichen dieselben sprachlichen Tests verwendet, um einen unmittelbaren Bezug zwischen allen drei Zeitpunkten herstellen zu können. Allerdings wurden die Tests für den ersten Nachtest gekürzt, um den Umfang der Testungen und damit den Aufwand für die Lehrkräfte zu reduzieren: Die Tests aus der Vortestung und aus der zweiten Nachtestung können jeweils zur Sprachförderdiagnose im Rahmen des Hamburger Sprachförderkonzepts3 eingesetzt werden. Die erste Nachtestung dient dagegen ausschließlich der Evaluation des TheaterSprachCamps und war daher in den ersten Jahren am stärksten von Datenverlusten betroffen. Die Tests für die zweite Nachtestung sind an das Niveau der vierten Klasse angepasst, aber über Ankeritems mit den Tests der ersten beiden Erhebungen verknüpfbar.

Die Erfassung der einzelnen Sprachleistungen erfolgt mit verschiedenen Tests (vgl. Tabelle 1).

Stolperwörterlesetest

Der Stolperwörterlesetest (Metze 2002) misst Lesegeschwindigkeit und Lesesicherheit auf der Satzebene. In jeweils voneinander unabhängigen Sätzen muss das „Stolperwort“ – das Wort, das nicht in den Satz passt – identifiziert werden. Der Test für die dritte bzw. vierte Klasse umfasst 60 Sätze. Der Stolperwörterlesetest ist bundesweit normiert.

Abbildung 1 illustriert den Test mit einem Beispiel.

Figure image

Abbildung 1: Beispielsätze aus dem Stolperwörterlesetest

Rechtschreibtest

Anders als in der bildgestützten HSP (Hamburger Schreibprobe, May 2002) werden für den Rechtschreibtest im Rahmen der Evaluation des TheaterSprachCamps ganze Sätze diktiert, wobei das fehlende Wort in eine Lücke geschrieben wird. Die Verankerung mit der HSP bietet aber die Chance, bundesweite Normen für die verwendeten Items nutzen zu können. Aus dem längeren Gesamttest der HSP wird für die Evaluation des TheaterSprachCamps ein Auszug aus 30 bzw. 20 Items genutzt.

C-Test

Der C-Test besteht aus drei kurzen Lückentexten unterschiedlicher Themenbereiche, bei denen jeweils fehlende Wortteile ergänzt werden. Die Texte stammen aus Schulbüchern und sind somit authentische Texte. Die Lücken wurden nicht ausschließlich nach dem Standard-Zufallsverfahren (vgl. Grotjahn 2002), sondern auch nach inhaltlichen Kriterien gesetzt, sodass über das Füllen der Lücken stärker auf ein inhaltliches Verständnis geschlossen werden kann. Zudem wurden einige Lücken mit niedriger Trennschärfe verworfen und durch neue ersetzt. Der Test wird in der Screening-Funktion verwendet: Die Auswertung erfolgt über eine einfache richtig/falsch-Bewertung.4 In der Evaluation des TheaterSprachCamps wird einer der drei Texte als Ankertest zu jedem Testzeitpunkt verwendet, sodass die drei Erhebungen miteinander verglichen werden können. Für die verwendeten C-Tests liegen Hamburger Normen vor. Abbildung 2 illustriert den Test mit einem Beispiel.

Figure image

Abbildung 2: Auszug aus der Anleitung für den C-Test

Grammatik- und Wortschatz-Tests

Der Grammatik-Test und der Wortschatz-Test sind beide im Multiple-Choice-Format mit vier Antwortmöglichkeiten gestaltet. Da die Förderung im TheaterSprachCamp im Schwerpunkt über Verben gestaltet wird, wurden bei der Zusammenstellung der Grammatik- und Wortschatz-Tests viele Items benutzt, die Verben beinhalten. Abbildung 3 illustriert die Tests mit einem Beispiel aus dem Grammatik-Test.

Figure image

Abbildung 3: Beispiel für das Multiple-Choice-Format von Grammatik- und Wortschatz-Test

Seit 2011 sind nur noch der C-Test, der Grammatik-Test und der Wortschatz-Test obligatorisch für die Evaluation. Für die anderen beiden Tests entscheiden jeweils die Lehrkräfte, ob sie sie mit ihren Schülern durchführen, um eine umfassendere Diagnose des Sprachstands zu erhalten.

2.2. Testergebnisse

Ergebnisse der Sprachtests nach der ersten Nachtestung

Um die Veränderungen der Testwerte auf einem einheitlichen Maßstab darstellen zu können, wurden die Testergebnisse der Vor- und Nachtests z-transformiert5. Anschließend wurden Werte für den Lernzuwachs gebildet, indem das Ergebnis der Vortestung (z-Test1) vom Ergebnis des Nachtests (z-Test2) abgezogen wurde:

Lernzuwachs = z-Test2 – z-Test1

Fällt diese Differenz positiv aus, dann ist der Lernzuwachs gegenüber der Lernausgangslage – bezogen auf alle an beiden Testungen beteiligten Kindern – vergleichsweise hoch, ergibt die Differenz ein negatives Ergebnis, dann ist der Lernzuwachs relativ niedrig.

Die Förderschwerpunkte im sprachlichen Bereich liegen auf der Grammatik (speziell auf der Grammatik des Verbs) einerseits, andererseits auf der Förderung der Lesemotivation und des Leseverstehens – nicht aber der Lesegeschwindigkeit – und generell auf der Wortschatzarbeit. Deshalb dienten der Rechtschreib- und der Stolperwörterlesetest zunächst als „Dummytests“. Erwartet wurde im Vergleich der Testergebnisse der Ausgangslage mit denen der ersten Nachtestung ein Muster, in dem sich höhere Lernzuwächse der Campkinder gegenüber der Kontrollgruppe im C-Test Deutsch, im Grammatik-Test und/oder im Wortschatz-Test zeigen, während sich die Vergleichsgruppen im Lernzuwachs in der Rechtschreibung und in der Lesegeschwindigkeit nicht unterscheiden. Seit 2007 zeigt sich in den Evaluationsergebnissen erwartungsgemäß dieses Muster: Die im Camp geförderten Kinder erzielen regelmäßig in einem oder in mehreren der erwarteten Bereiche signifikant höhere Lernzuwächse als die Kontrollgruppe. Tabelle 2 zeigt als Beispiel die Ergebnisse der Evaluation des TheaterSprachCamps 2010.

Campkinder

Kontrollgruppe

Effekt-stärkea

Signifikanz-niveaub

Anzahl

Z-Wert E2 – E1

SD

Anzahl

Z-Wert E2 – E1

SD

Grammatik-Test

183

0,051

0,964

183

-0,505

0,961

0,105

0,316

C-Test Alt und Jung

182

-0,038

0,652

183

0,038

0,756

-0,105

0,301

Wortschatz

183

0,102

0,908

183

-0,102

0,765

0,254

0,020

Rechtschreiben*

84

-0,915

0,706

95

0,081

0,529

-0,298

0,064

Sprachtests gesamt

183

0,583

0,043

183

0,540

0,040

0,094

0,378

Tabelle 2: Leistungsergebnisse der Vergleichsgruppen am Beispiel des TheaterSprachCamps 2010: Vergleich von erster und zweiter Erhebung, SD = Standardabweichung, *optionaler Test.

Da die beiden Gruppen sich in ihrer Ausgangsleistung nicht signifikant unterscheiden, zeigen die Vergleiche der mittleren Lernzuwachswerte die unmittelbaren Effekte der Förderung im TheaterSprachCamp auf die erfassten sprachlichen Kompetenzen. Die Werte in der Spalte Effektstärke zeigt das relative Ausmaß der Unterschiede – bezogen auf die gemeinsame Streuung der Testwertedifferenzen. Die Spalte Signifikanzniveau gibt an, inwieweit die Mittelwertunterschiede statistisch signifikant sind. Dabei ergeben sich nennenswerte Effektstärken bei den Werten für den Wortschatz und für die Rechtschreibung – allerdings mit gegenläufigen Tendenzen.

Abbildung 4 verdeutlicht grafisch die Unterschiede im Lernzuwachs von Camp- und Kontrollkindern für die Beispielerhebung 2010.

Figure image

Abbildung 4: Vergleich des Lernzuwachses (z-Werte-Differenzen) bei Campkindern und Kontrollgruppe, Vergleich der Ausgangslage mit der ersten Nacherhebung, TheaterSprachCamp 2010

Über alle Sprachtests hinweg ergeben sich im Gruppenvergleich leichte Vorteile für die Campkinder: Ihr Lernzuwachs ist insgesamt höher als der der Kontrollkinder (vgl. Tabelle 2, letzte Zeile und Abb. 4 rechts: “Sprachtests gesamt”). Für das Camp 2010 zeigen sich spezifische Trainingseffekte im Testbereich Wortschatz, wo sich schon in den Jahren 2008 und 2009 Hinweise auf relativ große Campwirkungen zeigten. Der Trainingseffekt in diesem Test ist wieder statistisch signifikant (vgl. Tabelle 2; Irrtumswahrscheinlichkeit: 2 Prozent). Ein etwas höherer Wert für den Lernzuwachs der Campkinder ist auch in der Grammatik feststellbar, er ist allerdings nicht signifikant.

Umgekehrt ergibt sich im Mittel ein etwas höherer Wert für den Lernzuwachs der Kontrollgruppe im C-Test, der Unterschied ist allerdings ebenfalls statistisch nicht signifikant. Dagegen zeigt sich im Unterschied zu anderen Jahren ein signifikant höherer Wert der Kontrollgruppe für den Lernzuwachs in der Rechtschreibung. Im Vergleich zu den gegenläufigen Unterschieden bei Grammatik und Wortschatz spricht der relative Vorteil der Kontrollgruppe in der Rechtschreibung aber ebenfalls für eine spezifische Wirkung der Förderung im TheaterSprachCamp, da Rechtschreibung nicht Teil des Förderkonzepts ist.

Die Ergebnisse der Evaluation bestätigen über die Jahre den Wortschatz als denjenigen sprachlichen Kompetenzbereich, in dem die Kinder messbar am stärksten von der Förderung im TheaterSprachCamp profitieren.

Nachdem die Spezifität von Wirkungen in den erwarteten Bereichen auf diese Weise mehrere Jahre hintereinander gezeigt wurde, wird zugunsten einer schlankeren Evaluation seit 2010 auf den obligatorischen Einsatz des Rechtschreib- und des Stolperwörtertests verzichtet.

Ergebnisse der Sprachtests nach der zweiten Nachtestung

In der zweiten Nachtestung werden Tests für die vierte Jahrgangsstufe verwendet, die über Items, die zu allen Zeitpunkten eingesetzt werden (Ankeritems) mit den Tests der vorherigen Erhebungen verknüpfbar sind. Die Ergebnisse der Evaluation zeigen hier regelmäßig, dass die in der ersten Nachtestung gefundenen Campwirkungen sich über das auf das Camp folgende Schuljahr verflüchtigen. Die Leistungen der Campkinder und ihrer Kontrollgruppe gleichen sich über das Schuljahr wieder aneinander an, sodass der in der ersten Nachtestung gefundene Vorteil der Förderung im TheaterSprachCamp wieder verloren geht. In den Evaluationsergebnissen des TheaterSprachCamps 2010 zeigten sich nach einem Jahr sogar leichte Nachteile für die ehemaligen Campkinder (vgl. Tabelle 3b). Hier zeigt sich ein Nachhaltigkeitsproblem, das allerdings aufgrund der Kürze der Maßnahme nicht überraschen kann.6 Die Anschlussförderung in der Schule ist zwar für alle Campkinder sichergestellt, diese Förderung erhalten aber selbstverständlich auch die ebenso schwachen Kontrollgruppenkinder.

Campkinder

Kontrollgruppe

Effekt-stärke

Signifikanz-niveau

Anzahl

Z-Wert

E3 – E2

SD

Anzahl

Z-Wert

E3 – E2

SD

Grammatik-Test

152

0,029

1,008

155

-0,028

1,556

0,044

0,702

C-Test Alt und Jung

147

-0,101

0,819

127

0,116

0,971

-0,242

0,046

Wortschatz-Test

145

-0,153

0,998

130

0,170

1,177

-0,295

0,014

Sprachtests gesamt

150

-0,083

0,699

143

0,040

0,953

-0,148

0,206

Tabelle 3a: Leistungsergebnisse der Vergleichsgruppen, Vergleich von erster und zweiter Nachtestung TSC 2010; SD=Standardabweichung

Campkinder

Kontrollgruppe

Effekt-stärke

Signifikanz-niveau

Anzahl

Z-Wert

E3 – E1

SD

Anzahl

Z-Wert

E3 – E1

SD

Grammatik-Test

152

0,087

1,127

155

-0,085

1,404

0,135

0,238

C-Test Alt und Jung

147

-0,136

0,850

127

0,158

1,162

-0,289

0,017

Wortschatz-Test

145

-0,078

1,080

130

0,087

1,043

-0,155

0,199

Sprachtests gesamt

150

-0,070

0,705

143

0,050

0,840

-0,155

0,185

Tabelle 3b: Leistungsergebnisse der Vergleichsgruppen, Vergleich von Ausgangs- und zweiter Nachtestung TSC 2010; SD=Standardabweichung

Während die beiden Gruppen sich in ihrer Ausgangsleistung nicht signifikant unterschieden und nach dem Training im Camp die dort geförderten Kinder leichte Vorteile zeigten (vgl. Tabelle 2), wird im Vergleich der mittleren Lernzuwachswerte über das Schuljahr 2010/11 deutlich, dass sich in den erfassten sprachlichen Kompetenzen kein langfristiger Vorteil aus der Teilnahme am TheaterSprachCamp ergibt (Tabelle 3a). Der Vergleich der späteren Nachtestung mit den ursprünglichen Ausgangswerten (Tabelle 3b) zeigt sogar ein langfristig etwas schwächeres Abschneiden der Campkinder.

Im Schuljahr 2012/13 sollen aufgrund dieser Ergebnisse an Pilotstandorten TheaterSprachKurse stattfinden, die eine Kontinuität der Förderung mit den Methoden des TheaterSprachCamps und damit auch die Nachhaltigkeit des Fördererfolgs sicherstellen sollen.

2.3. Einschätzungsbögen und Fragebögen

Bereits seit der ersten Durchführung des TheaterSprachCamps berichten sowohl die Campbetreuer als auch die beteiligten Lehrkräfte immer wieder von positiven Veränderungen der Motivation, der Selbstwirksamkeit und anderer überfachlicher Kompetenzen der am TheaterSprachCamp teilnehmenden Kinder. Daher wurde für die Evaluation des TheaterSprachCamps 2010 erstmals der vom LIQ neu entwickelte Bogen zur Einschätzung überfachlicher Kompetenzen (ÜFK) eingesetzt. Dieses Instrument liegt als Lehrerbogen für die Fremdeinschätzung und analog als Schülerbogen für die Selbsteinschätzung vor. Die drei Bereiche überfachlicher Kompetenzen (Selbstkompetenzen / Selbstkonzept und Motivation, Sozial-Kommunikative Kompetenzen und Lernmethodische Kompetenzen) werden in drei Skalen von ursprünglich jeweils acht Items erfasst. Die Einschätzung erfolgt anhand einer fünfstufigen Skala, bei der die mittlere Stufe jeweils für eine altersgemäß normale Ausprägung der jeweiligen Kompetenz steht. Für die statistischen Berechnungen wurden die Skalenstufen mit den Werten 1 (sehr schwach) bis 5 (sehr stark) kodiert (vgl. Abb. 5).

Figure image

Abbildung 5: Skala für überfachliche Kompetenzen im Selbsteinschätzungsbogen für Schüler

Selbsteinschätzungen der Kinder

Der Selbsteinschätzungsbogen für überfachliche Kompetenzen trat im Jahr 2010 an die Stelle des in den Vorjahren verwendeten Schülerfragebogens. Die Durchführung erfolgte Item für Item mit Beispielen – angeleitet durch die Lehrkräfte, damit nicht Lese- oder Verständnisschwierigkeiten die Selbsteinschätzung behindern.

Für den Einsatz im Rahmen der Evaluation des TheaterSprachCamps 2010 wurden die Formulierungen in den Selbsteinschätzungsbögen für Drittklässler vereinfacht und die Anzahl der Items insgesamt reduziert. Ergänzt wurde der Einschätzungsbogen um einige Items aus dem Bereich Sachkompetenz Sprache (Deutsch und Herkunftssprache).

Der Vergleich der beiden Gruppen weist zwar in der Ausgangslage einige interessante Unterschiede auf, die auf ein schwächeres Selbstbild der Campkinder hindeuten, insbesondere die – trotz annähernd gleicher Leistungen in den sprachlichen Tests der Ausgangstestung – deutlich schwächere Selbsteinschätzung der Campkinder in der Sprachkompetenz ist hervorzuheben. Im Vergleich der Werte der Ausgangslage mit denen der ersten Nacherhebung zeigt sich wiederum ein Rückgang der Werte der Campkinder. Inwieweit die relativ schwache Einschätzung sowohl ihrer überfachlichen Kompetenzen als auch ihrer Sprachkompetenz bei den Campkindern mit dem Selbstbild als besonders gefördertes Kind zusammenhängt, ist unklar. Eine andere Erklärung für den Rückgang der Werte der Campkinder könnte darin liegen, dass im TheaterSprachCamp auch die Reflexionsfähigkeit und der Umgang mit Einschätzungsbögen trainiert werden. Die Kinder werden dadurch möglicherweise zu einer eher realistischen und selbstkritischen Einschätzung ihrer Kompetenzen geführt. Allerdings führt das zu teilweise paradoxen Ergebnissen sowohl in der Selbsteinschätzung durch die Schüler wie auch im Zusammenhang mit den Einschätzungen durch die Lehrkräfte, die zum Teil genau entgegengesetzte Ergebnisse lieferten (vgl. 2.2.2).

Auch in der dritten Erhebung der Evaluation des TheaterSprachCamps 2010 wurde wieder der Selbsteinschätzungsbogen zu Sprachkompetenz und überfachlichen Kompetenzen eingesetzt, allerdings nach den Erfahrungen der ersten beiden Erhebungen deutlich gekürzt. Im Längsschnitt interessiert in diesem Zusammenhang insbesondere die Frage, ob das deutlich negativer getönte Selbstbild der Campkinder, wie es sich in den ersten beiden Erhebungszeitpunkten gezeigt hatte, bestehen bleibt, oder ob sich die Vergleichsgruppen annähern.

Die Werte für die Selbsteinschätzung sprachlicher Kompetenzen liegen für beide Gruppen bei der Nachtestung wieder ungefähr bei den Ausgangswerten vor dem Camp. Das heißt, die ehemaligen Campkinder haben in Hinblick auf ihre sprachlichen Kompetenzen ein unverändert schwaches Selbstbild.

Auch in der Selbsteinschätzung der überfachlichen Kompetenzen bleiben die Unterschiede zwischen Camp- und Kontrollkindern bestehen: Die durchschnittlichen Veränderungswerte beider Gruppen liegen bis auf wenige Ausnahmen relativ eng beieinander. Ein deutlicher Unterschied in der Entwicklung der Durchschnittswerte zeigt sich allerdings in den Selbsteinschätzungen zur Leistungsmotivation, die bei den Campkindern über den gesamten Zeitraum der Untersuchung absinken, während die Werte der Kontrollgruppe ansteigen.

Die Ergebnisse der Veränderungen bei der Selbsteinschätzung der überfachlichen Kompetenzen werfen die Frage nach der Eignung des Instruments im Rahmen der Evaluation des TheaterSprachCamps auf: Aus den Evaluationen der vergangenen Campdurchgänge lagen zahlreiche Berichte sowohl der Campbetreuer als auch der beteiligten Lehrkräfte zur Steigerung von überfachlichen Kompetenzen – insbesondere des Selbstwertgefühls und der Motivation – bei den trainierten Kindern vor. Daher war der Einsatz der Selbst- und Fremdeinschätzungsbögen zu überfachlichen Kompetenzen mit dem Ziel verbunden, diese Berichte zu objektivieren. Es scheint jedoch, dass diese Form der Selbsteinschätzung die Kinder in diesem Alter überfordert: Eine Selbsteinschätzung übergreifender nicht-fachgebundener Kompetenzen verlangt einen relativ hohen Grad an Reflexionsfähigkeit, der bei vielen Dritt- und Viertklässlern noch nicht gegeben ist.

Aufgrund dieser Überlegungen wurde das Instrument für die Evaluation des TheaterSprachCamps 2011 nicht weiter eingesetzt, sondern auf einen vereinfachten Schülerfragebogen zurückgegriffen.

Einschätzung der Lehrkräfte

Auf denselben Skalen wie die Kinder sollten auch die Lehrkräfte für den Campdurchgang 2010 die überfachlichen Kompetenzen ihrer Schüler einschätzen. Während die Anzahl der Items für die Selbsteinschätzungsbögen der Schüler gekürzt worden waren, hatten die Lehrkräfte jeweils die vollständigen Bögen bekommen. Die Aussagen, die über die von Lehrkräften beobachtete Wirkung des TheaterSprachCamps 2010 auf überfachliche Kompetenzen der geförderten Kinder gemacht werden können, sind allerdings begrenzt. Es können zwar Trends festgestellt werden, aufgrund einer relativ geringen Anzahl an eingeschätzten Kontrollkindern insbesondere in der zweiten Nachtestung aber können Effekte nicht zuverlässig nachgewiesen werden.

Bei den mittleren Differenzwerten, mit denen die Veränderung der Einschätzungen vor und nach den Sommerferien bestimmt wurden, ergeben sich in der Regel Werte um Null, in den meisten Bereichen allerdings mit einer leichten Tendenz zur positiveren Einschätzung der Campkinder. So sehen die Lehrkräfte in drei der vier Kompetenzen der Skala Selbstkonzept deutliche Verbesserungen der Campkinder. Der Vergleich der motivationalen Items fällt ebenfalls zum Vorteil der Campkinder aus, durch einen Anstieg auch der Mittelwerte der Kontrollgruppe aber nicht im Bereich statistischer Signifikanz. In der Skala Selbstkonzept und Motivation profitieren die Campkinder in den Augen ihrer Lehrkräfte deutlich von den Erfahrungen im Camp.

In den sozialen Kompetenzen sehen die Lehrkräfte dagegen leichte Vorteile bei den Kontrollgruppenkindern, jeweils aber wiederum außerhalb des Bereichs statistischer Signifikanz. Dieses Ergebnis steht im Gegensatz zur Einschätzung der Campbetreuer, die den Campkindern – nach einer solchen Ferienmaßnahme prinzipiell erwartbare – Steigerungen ihrer sozialen Kompetenzen bescheinigen.

Im Bereich der lernmethodischen Kompetenzen gibt es keine statistisch signifikanten Gruppenunterschiede in der Veränderung der Einschätzung der Lehrkräfte bei der Zweiterhebung nach dem Camp. Zwar fällt der durchschnittliche Mittelwert der Campkinder in der Konzentrationsfähigkeit höher aus als der der Kontrollkinder, die eher zur Förderung im Camp passenden Items Lernstrategien und Präsentationskompetenz7 bieten aber keinen signifikanten Anstieg.

Abbildung 6 zeigt diejenigen Bereiche, in denen sich die Campkinder aus der Sicht der Lehrkräfte deutlich von den Kontrollkindern unterscheiden. Zusätzlich werden die Werte zur Einschätzung der Leistungsmotivation einbezogen, die einen deutlichen Anstieg zu Beginn des Schuljahres für beide Gruppen zeigen und bei denen der Unterschied zwischen den Gruppen geringer ist als in anderen Items.

Figure image

Abbildung 6: Veränderungen der Lehrereinschätzungen in überfachlichen Kompetenzen: deutliche Unterschiede in den mittleren Differenzwerten zwischen den Vergleichsgruppen, TheaterSprachCamp 2010

Insgesamt bestätigen die Ergebnisse der Analyse der Lehrerfragebögen zu überfachlichen Kompetenzen frühere Aussagen beteiligter Lehrkräfte und Campbetreuer, die nach den bisherigen TheaterSprachCamps einen Anstieg sowohl in der Motivation wie auch im Selbstbewusstsein der Campkinder beobachteten. Zudem wird den Campkindern – bezogen auf die Ausgangswerte vor dem Training und im Vergleich zu den Kontrollgruppenkindern – eine bessere Konzentrationsfähigkeit, eine verbesserte Fähigkeit, eine eigene Meinung vertreten zu können und eine optimistischere Einstellung in Bezug auf ihre schulischen Leistungen bescheinigt.

Angesichts der relativ geringen Fallzahlen in der Kontrollgruppe im Rücklauf der Lehrereinschätzungsbögen (N = 19) ist ein kontrastiver Gruppenvergleich für die zweite Nacherhebung nicht sinnvoll. Da aber für 90 Campkinder erneute Einschätzungen vorliegen, können die nach der ersten Nacherhebung aus den Einschätzungen der Lehrer abgeleiteten Campwirkungen in den sprachlichen und überfachlichen Kompetenzen auf ihre Nachhaltigkeit überprüft werden. Die beteiligten Lehrkräfte hatten unmittelbar nach dem Camp bei der Mehrheit der Campkinder positive Auswirkungen sowohl in den sprachlichen Kompetenzen als auch im Bereich Selbstkonzept und Motivation beobachtet.

In der dritten Erhebung schätzen die Lehrkräfte die sprachlichen und überfachlichen Kompetenzen der Campkinder noch höher ein, sodass diesbezüglich durchaus von Nachhaltigkeit gesprochen werden könnte.

Allerdings zeigt der Vergleich mit den (sehr wenigen) Kontrollgruppenkindern, bei denen die Lehrereinschätzung deutlich zurückhaltender ausfällt, dass die Lehrereinschätzungen nicht mit den Veränderungen in der Testleistung korrelieren. Offenbar wählen die Lehrkräfte für die Einschätzung der Kompetenzen ehemaliger Campkinder einen mehr wohlwollenden Maßstab als für die Kontrollgruppenkinder.

Der Einsatz des Instruments des Lehrereinschätzungsbogens konnte für die Evaluation des TheaterSprachCamps Ergebnisse objektivieren, die zuvor schon durch Berichte der beteiligten Campbetreuer und Lehrkräfte vermutet werden konnten. Die höheren positiven Veränderungen der im Camp geförderten Kinder insbesondere im Bereich des Selbstkonzepts werden in der Außenansicht durch die Lehrkräfte viel deutlicher als durch die vermutlich zu früh eingesetzten Selbsteinschätzungsbögen (vgl. Abschnitt 1.2).

Auf der anderen Seite zeigen sich in der Analyse der Einschätzungsbögen Unterschiede zwischen den Vergleichsgruppen, die auf der Basis der Leistungsdaten so nicht zu sehen sind: Die Campkinder werden von den Lehrkräften als diejenigen mit größerem Zuwachs in den sprachlichen und überfachlichen Kompetenzen eingeschätzt, zeigen selbst zugleich aber ein schwächeres Selbstbild und in der zweiten Nachtestung auch keinen höheren Lernzuwachs als ihre Kontrollgruppe.

Befragung der Campbetreuer

Um Informationen zur Qualifikation und zur Vorbereitung der Campbetreuer und über die Arbeit in den Camps zu erhalten, wird den Campbetreuern ein Fragebogen vorgelegt. Der Fragebogen für die Campbetreuer umfasst neben Angaben zum persönlichen Hintergrund Fragen zur Vorbereitung auf das Camp, zum didaktischen Material und zur Durchführung der TheaterSprachCamps. Die meisten Items im Fragebogen für Campbetreuer liegen den Befragten mit einer vierstufigen Skala vor. Abbildung 7 zeigt eine Beispielskala aus dem Fragebogen.

Figure image

Abbildung 7: Auszug aus dem Fragebogen für Campbetreuer

Für die Berechnungen werden die Skalen in numerische Werte rekodiert (0 = „trifft nicht zu“ und 3 = „trifft zu“). Die Frage, inwieweit die Integration von Sprachförderung, theatralen Methoden und Freizeitpädagogik gelingt, wird von den Befragten im Laufe der Jahre stetig positiver beantwortet. Tabelle 4 zeigt den kontinuierlichen Anstieg der durchschnittlichen Werte für dieses Item im Verlauf der Jahre von recht wenig Zustimmung im ersten Jahr der Durchführung zu deutlich stärkerer Zustimmung in den Jahren 2009 und 2010.

Zustimmung zur Aussage

TSC

2007

2008

2009

2010

„Die Integration der drei pädagogischen Bereiche

ist gelungen.“

MW

1,4

2

2,3

2,5

N

54

17

62

66

Tabelle 4: Durchschnittliche Zustimmung der befragten Campbetreuer 2007-2010;
0 = „trifft nicht zu“, 3 = „trifft zu“


Die Zusammenarbeit der gemischten Teams für die intensive Förderung der Kinder wird von den Campbetreuern als sehr erfolgreich wahrgenommen. Sie gelingt im TheaterSprachCamp sowohl durch die konzeptionelle Weiterentwicklung als auch durch die persönlichen Erfahrungen der Beteiligten. Die Motivation der Campbetreuer und ihre Zufriedenheit mit der Arbeit im Camp sind zudem seit Jahren sehr hoch und es gibt viele Mehrfachfahrer, die für Kontinuität und Weiterentwicklung sorgen.

3. Zusammenfassung

Mit einem dreischrittigen Design (Vortest, Nachtest und Follow-up-Testung) werden spezifische Wirkungen und Nachhaltigkeit des TSC überprüft. Dabei zeigen sich hinsichtlich der unmittelbaren Effekte ermutigende Ergebnisse:

Mit sprachlichen Tests werden in der Evaluation des TheaterSprachCamp direkte und spezifische Effekte untersucht. Die Ergebnisse belegen, dass die Maßnahme in Hinblick auf das sprachliche Können der geförderten Kinder erfolgreich ist. Dazu werden unterschiedliche Tests eingesetzt, die einerseits die Bereiche, in denen die Förderung greift, identifizieren, und die andererseits die Spezifität der Förderung im Camp belegen.

Mit Schülerfragebögen und Einschätzungsskalen wird versucht, Motivationszuwächse und andere indirekte Fördererfolge im Bereich überfachlicher Kompetenzen im Camp zu belegen. Bislang ist dies noch nicht gelungen. Eine realistische Einschätzung eigener Kompetenzen und die Reflektion über Veränderungen sind für so junge Kinder noch zu voraussetzungsreich.

Die Einschätzungen der Lehrkräfte zeigten für den Campjahrgang 2010 eine deutliche Veränderung bei den Campkindern in einigen Aspekten und konnten so Beobachtungen, die die Beteiligten bereits in den Vorjahren gemacht hatten, objektivieren – beispielsweise zur Erhöhung des Selbstbewusstseins. Es zeigte sich allerdings bei Lehrkräften eine Tendenz, im TheaterSprachCamp geförderte Kinder besser einzuschätzen, auch wenn dies weder mit Leistungsdaten noch mit Selbsteinschätzungen korrespondiert.

Auch die Pädagogen, die die Förderung im TheaterSprachCamp durchführen, berichten vom immer besseren Gelingen der Arbeit in den Camps und der Integration der drei pädagogischen Ansätze für die Förderung und im Team.

Bezüglich der ebenfalls untersuchten längerfristigen Effekte (Nachhaltigkeitsprüfung) bestätigen sich Ergebnismuster, wie sie für kurzfristige Interventionen typisch sind. Nach einem Jahr lassen sich keine Effekte mehr nachweisen. Durch eine fortgesetzte Förderung mit den Methoden des TheaterSprachCamps wird an Pilotstandorten im Schuljahr 2012/13 eine Verbesserung der Nachhaltigkeit angestrebt.

Bibliografie

Bortz, Jürgen; Döring, Nicola (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Heidelberg: Springer

Grotjahn, Rüdiger (2002): Konstruktion und Einsatz von C-Tests: Ein Leitfaden für die Praxis. In: Grotjahn, Rüdiger (Hrsg.) (2002): Der C-Test. Theoretische Grundlagen und praktische Anwendungen (Bd. 4, 211-225). Bochum: AKS-Verlag

Hamburger Sprachförderkonzept: Zusammenfassung der Senatsdrucksachen unter www.schulenfoerdern.de/schulportal/index.php?page=35; 1.8.2012

May, Peter; Kinze, Julia; Hunger, Susanne (2011(2010/2009/2008)): TheaterSprachCamp 2010 (2009/2008/2007) – Ergebnisse der Evaluation. Hamburg: Landesinstitut für Lehrerbildung und Schulentwicklung

May, Peter; Bach, Stefanie u.a. (2011): Bericht über die Ergebnisse des Monitorings der schulischen Fördermaßnahmen und der Evaluation von Sprachförderprojekten im Schuljahr 2009/2010. Hamburg: Landesinstitut für Lehrerbildung und Schulentwicklung. www.schulenfoerdern.de/schulportal/index.php?page=20; 1.8.2012

May, Peter; Bennöhr, Jasmine (Hrsg.) (in Vorbereitung): KEKS – Kompetenzerfassung in Kita und Schule. Berlin: Cornelsen

May, Peter (2002): HSP 3 Hamburger Schreibprobe zur Erfassung der grundlegenden Rechtschreibstrategien. Hinweise zur Durchführung und Auswertung. Seelze: vpm

Metze, Wilfried (2002): Stolperwörterlesetest. http://www.wilfriedmetze.de/html/stolper.html; 1.8.2012

Neumann, Ursula; Sting, Wolfgang u.a. (2011): Hamburger TheaterSprachCamp 2011. http://www.epb.uni-hamburg.de/files/u14/Konzept_TSC_2011_final.pdf; 1.8.2012

Stanat, Petra.; Baumert, Jürgen; Müller, Andrea (2005): Förderung von deutschen Sprachkompetenzen bei Kindern aus zugewanderten und sozial benachteiligten Familien: Erste Ergebnisse des Jacobs-Sommercamp Projekts. Berlin: Max-Planck-Institut für Bildungsforschung

Sting, Wolfgang (2012): Performance und Theater als anderes Sprechen. In: Scenario VI, 1, 55-64