Lade Inhalt...

Experimentelle Studien

Hausarbeit 2011 13 Seiten

Mathematik - Statistik

Leseprobe

Inhaltsverzeichnis

1. Einleitung

2. Potentielle Probleme bei der Durchführung experimenteller Studien
2.1 Störungen der internen Validität
2.2 Störungen der externen Validität

3. Experimentelle Studien in der Praxis - Das Projekt STAR
3.1 Aufbau und Durchführung der Studie
3.2 Kritische Bewertung der Ergebnisse

4. Schlussbetrachtung

Literaturverzeichnis

1. Einleitung

Im Rahmen der volkswirtschaftlichen Kausalanalyse werden experimentelle Studien unter anderem1 dazu verwendet, um die Auswirkungen von wirtschafts- und gesellschaftspoliti- schen Maßnahmen auf bestimmte Gruppen von Individuen zu evaluieren2 und die kausalen Effekte solcher Maßnahmen zu isolieren.3 Hierbei dreht es sich hauptsächlich um arbeits- markt- und bildungspolitische Maßnahmen, wie z.B. der Teilnahme von Geringqualifizierten bzw. Arbeitslosen an Weiterbildungsmaßnahmen zur Verbesserung der Arbeitsmarktchancen oder der Mitwirkung von sich in schulischer bzw. universitärer Ausbildung befindlicher Per- sonen an Studien, die verschiedene Maßnahmen zur Verbesserung der Lernsituation oder der Leistungsfähigkeit dieser Individuen überprüfen. Die vollständige zufallsgesteuerte Auswahl von Maßnahmenteilnehmern und Nichtteilnehmern, d.h. der Kontrollgruppe, bildet dabei das Hauptmerkmal jeder experimentellen Studie.4 Durch dieses Merkmal wird das Evaluierungs- problem, das jeder Studie mit Individuen zugrunde liegt, gelöst. Das Evaluierungsproblem äußert sich einerseits darin, dass es nicht möglich ist, ein und dieselbe Person gleichzeitig in zwei oder mehreren Zuständen zu beobachten.5 Dieses Problem wird im Rahmen einer expe- rimentellen Studie mittels einer Aufteilung der ausgewählten Personen in eine Teilnehmer- gruppe, welche die Maßnahme erhält, und eine Kontrollgruppe, welche nicht an der Maßnah- me teilnimmt, gelöst. Am Ende jedes Experiments werden sodann die Erfolgsgrößen, wie z.B. das Einkommen oder die Wahrscheinlichkeit einer Wiederbeschäftigung nach der Förderung, der beiden Gruppen miteinander verglichen, um die Wirksamkeit der Maßnahme zu bewer- ten.6 Die Erfolgsgrößen werden dabei häufig als Durchschnitte dargestellt.7 Dabei liegt der Vorteil einer experimentellen Studie darin, dass die Differenz aus den beiden durchschnittli- chen Erfolgsgrößen einen konsistenten Schätzer des wahren durchschnittlichen Maßnahmen- effektes darstellt, womit das Problem zwischen unterschiedlichen Schätzern wählen zu müs- sen vermieden wird.8 Ein weiteres Merkmal des Evaluierungsproblems drückt sich im soge- nannten selection bias aus, der insbesondere bei der Auswahl von Teilnehmern an der Studie auftritt und sich auf unbeobachtbare Eigenschaften der Individuen bezieht. Der selection bias tritt z.B. dann auf, wenn die Personen, die im Rahmen eines sozialen Experiments in die re präsentative Stichprobe gelangt sind, selber entscheiden, ob sie an der Maßnahme teilnehmen, oder wenn diese Entscheidung von den Verantwortlichen getroffen wird. Dieses Problem wird innerhalb einer perfekten experimentellen Studie durch die vollständige zufallsgesteuerte Zu- teilung der Individuen auf die Teilnehmer- und Kontrollgruppe gelöst.9 Bei hinreichender Stichprobengröße sorgt die Zufallsauswahl zudem für einen Ausgleich aller Charakteristika der Teilnehmer- und Kontrollgruppenmitglieder, womit die reine Durchschnittsbildung aus- reichend ist, um den durchschnittlichen Effekt einer Maßnahme zu schätzen. Mit anderen Worten bedeutet dies, dass keine bedingten Durchschnitte gebildet werden müssen.10 Im Mit- telpunkt jeder experimentellen Studie steht damit die Frage, inwiefern sich die Situation der Maßnahmenteilnehmer gegenüber den Nichtteilnehmenden verändert hat. In der folgenden Darstellung soll dabei unter Gliederungspunkt zwei zunächst auf die potentiellen Probleme bei der Durchführung experimenteller Studien eingegangen werden. Unter Gliederungspunkt drei wird darauf aufbauend das Projekt STAR (Student-Teacher Achievement Ratio) als Bei- spiel für eine in der Praxis durchgeführte experimentelle Studie dargestellt und einer kriti- schen Bewertung unterzogen.

2. Potentielle Probleme bei der Durchführung experimenteller Studien

Störungen der internen und der externen Validität können bei der praktischen Durchführung experimenteller Studien auftreten. Dadurch entsteht potentiell das Problem, dass die im Rahmen einer experimentellen Studie aufgedeckten Effekte einer Maßnahme an einer Gruppe von Individuen nicht mit den wirklichen kausalen Effekten einer solchen Maßnahme übereinstimmen.11 Damit können Störungen der internen und der externen Validität letztendlich zu einer Einschränkung der Aussagekraft experimenteller Studien führen.12

2.1 Störungen der internen Validität

Die Ergebnisse einer experimentellen Studie sind dann intern valide, wenn diese auch für die Population gelten, aus der die Teilnehmer an der experimentellen Studie gezogen wurden.13 Störungen der internen Validität treten insbesondere bei einer fehlerhaften Randomisierung, bei einer fehlerhaften Maßnahmendurchführung, beim sogenannten Hawthorne-Effekt und bei zu kleinen Stichproben auf.14

Fehlerhafte Randomisierung: Wie einleitend bereits erwähnt, bildet die vollständige zu- fallsgesteuerte Auswahl der Maßnahmenteilnehmer den Kern jeder experimentellen Studie. Dieses elementare Charakteristikum einer experimentellen Studie kann dadurch verletzt wer- den, dass die Auswahl der Maßnahmenteilnehmer aus der Population nicht rein zufällig er- folgt, sondern durch die individuellen Präferenzen oder Charakteristika der Personen be- stimmt wird. Ist dies der Fall, dann entspricht der experimentell gemessene Maßnahmeneffekt nicht dem wahren kausalen Effekt. Der Grund dafür liegt darin, dass der experimentell ermit- telte Maßnahmeeffekt dann einerseits durch diese individuellen Präferenzen oder Charakteris- tika und andererseits durch den Effekt der Maßnahme bestimmt wird, womit letztendlich eine Verzerrung des experimentell ermittelten Effektes einhergeht.15 Beispielsweise kann es vor- kommen, dass die auswählbaren Personen auf Grund des Anfangsbuchstabens ihres Nachna- mens entweder der Teilnehmer- oder der Kontrollgruppe zugeordnet werden. Wegen zu er- wartender ethnischer Unterschiede in den Nachnamen und den daraus möglicherweise resul- tierenden Differenzen hinsichtlich des Ausbildungsniveaus oder der Arbeitserfahrung, kann es zu einer systematischen Verletzung des Zufallsprinzips und damit der internen Validität kommen.16

Fehlerhafte Maßnahmendurchführung: Die interne Validität einer experimentellen Studie kann auch durch eine fehlerhafte Durchführung der Maßnahme bzw. durch ein Abweichen von der protokollarisch festgelegten Vorgehensweise gestört werden. So kann es trotz einer zufälligen Zuteilung der Personen zur Teilnehmer- bzw. Kontrollgruppe dazu kommen, dass die Teilnahme bzw. Nicht-Teilnahme nicht zufällig ist.17 Dies kann sich einerseits dadurch äußern, dass sich eine Person, die der Maßnahmenteilnehmergruppe zugeordnet wurde, dazu entscheidet, nicht an der Maßnahme teilzunehmen. Andererseits kann eine Person, die ur- sprünglich der Kontrollgruppe zugeordnet wurde, bspw. durch einen Einspruch doch einen Platz in der Teilnehmergruppe erlangen.18 Die dritte Möglichkeit einer Abweichung von der protokollierten Vorgehensweise kann darin bestehen, dass eine Person, die der Teilnehmer- gruppe zugeordnet wurde, zwar an der Maßnahme teilnimmt, diese jedoch aus persönlichen Gründen, wie z.B. durch einen Wechsel des Wohnortes, vorzeitig abbricht.19 Sind diese Ab- weichungen von der protokollierten Vorgehensweise nicht durch die Zufälligkeit, sondern vielmehr durch die individuellen Präferenzen oder Charakteristika der Personen bestimmt, dann kommt es zu einer Verzerrung des experimentell ermittelten Maßnahmeneffektes hin sichtlich des wahren kausalen Effektes. Diese Verzerrung lässt sich auf eine Korrelation die- ser individuellen Präferenzen oder Charakteristika mit der Erfolgsgröße zurückführen.20 Hawthorne-Effekt: Der experimentell aufgedeckte Effekt einer Maßnahme kann auch durch den sogenannten Hawthorne-Effekt21 einer Verzerrung unterliegen. Der Hawthorne-Effekt äußert sich in einer Verhaltensänderung der Teilnehmer, die alleine durch die Teilhabe an dem Experiment ausgelöst wird. So kann es z.B. vorkommen, dass die Teilnehmer ihre An- strengungen hinsichtlich eines erfolgreichen Abschlusses der Maßnahme durch die erhöhte Aufmerksamkeit an ihrer Person verstärken.22 Zudem kann es vorkommen, dass Lehrkräfte innerhalb einer Weiterbildungsmaßnahme ihre Anstrengungen bezüglich einer erfolgreichen Bewertung der Maßnahme bekräftigen, wenn deren Fortbestehen und damit die Beschäfti- gungssituation dieser Lehrkräfte von einer zufriedenstellenden Bewertung dieses Experiments abhängig ist.23 Eine Vermeidung des Hawthorne-Effektes in wirtschaftswissenschaftlichen experimentellen Studien gestaltet sich dabei als schwierig bis unmöglich, da es im Rahmen einer solchen Studie kaum zu verbergen ist, ob eine Person zu den Teilnehmern gehört oder nicht.24

Kleine Stichproben: Experimentelle Studien erweisen sich häufig als äußerst kostspielig. Deshalb sind die Stichproben, aus denen die Teilnehmer zufällig gezogen werden, zumeist nicht sehr groß, womit vergleichsweise nur wenige Datensätze zur Evaluation bereitstehen. Kleine Stichproben führen zu einer geringeren Präzision der experimentell ermittelten Effekte und damit möglicherweise zu einer Verletzung der internen Validität, nicht jedoch zu einer Verzerrung des experimentell gemessenen Effektes hinsichtlich des wahren kausalen Zusam- menhanges.25

2.2 Störungen der externen Validität

Eine experimentelle Studie ist dann extern valide, wenn die Ergebnisse auch auf andere Populationen übertragen bzw. generalisiert werden können.26 Dabei stellen nicht-repräsentative Stichproben, eine nicht-repräsentative Maßnahme und allgemeine Gleichgewichtseffekte mögliche Störquellen für die externe Validität dar.

[...]


1 In Abgrenzung zur experimentellen Wirtschaftsforschung, deren Anliegen darin besteht, ökonomische Verhaltensannahmen mittels spieltheoretischer Ansätze im Labor zu überprüfen.

2 Bauer, Fertig, Schmidt (2009), S. 149

3 Ebenda, S. 139

4 Ebenda, S. 148

5 Heckman, Smith (1996), S. 40

6 Björklund, Regnér (1996), S. 90

7 Heckman, Smith (1995), S. 87

8 Björklund, Regnér (1996), S. 90 - 91

9 Björklund, Regnér (1996), S. 90

10 Bauer, Fertig, Schmidt (2009), S. 149

11 Ebenda, S. 151

12 Ebenda, S. 156

13 Ebenda, S. 151

14 Stock, Watson (2007), S. 472

15 Bauer, Fertig, Schmidt (2009), S. 152

16 Stock, Watson (2007), S. 472

17 Bauer, Fertig, Schmidt (2009), S. 152

18 Stock, Watson (2007), S. 472

19 Ebenda, S. 473

20 Bauer, Fertig, Schmidt (2009), S. 153

21 Für die Herkunft dieses Names s. Bauer, Fertig, Schmidt (2009), S. 153

22 Stock, Watson (2007), S. 474

23 Ebenda, S. 475

24 Bauer, Fertig, Schmidt (2009), S. 153

25 Ebenda, S. 153

26 Ebenda, S. 154

Details

Seiten
13
Jahr
2011
ISBN (eBook)
9783656088059
ISBN (Buch)
9783656087847
Dateigröße
441 KB
Sprache
Deutsch
Katalognummer
v184154
Institution / Hochschule
Universität Hohenheim
Note
Schlagworte
Experimentelle Studien Interne Validität Externe Validität Projekt STAR

Autor

Zurück

Titel: Experimentelle Studien