Die Hausarbeit befasst sich mit den Gütekriterien von empirischen Forschungsprojekten, konkret mit der systematischen Befragung von Klient*innen der ambulanten Altenpflege. Der Anbieter der Dienstleistung in diesem fiktiven Beispiel ist ein bundesweit tätiger freier Träger, wie es zahlreiche in Deutschland gibt.
Zunächst werden in Kapitel zwei die Gütekriterien der Forschung vorgestellt. Beschrieben werden die Kriterien der Objektivität sowie Reliabilität, welche notwendig, aber nicht hinreichend sind, um das zu messen, was der Auftraggeber im vorgegebenen Beispiel wissen möchte: Wie seine Klient*innen die vom ihm angebotene Dienstleistung, also die ambulante Pflege, bewerten. Um diesen Auftrag zu erfüllen, muss die gewählte Methode, wie ich anhand des fiktiven Evaluations-Beispiel zeigen werde, nicht nur objektive und reliable, sondern auch valide Ergebnisse liefern. Über diese drei Gütekriterien hinaus erscheinen mir auch ethische Richtlinien sowie Fragen des Datenschutzes für das vorgegebene, fiktive Forschungsprojekt in der ambulanten Altenpflege bedeutsam.
Das dritte Kapitel beschäftigt sich mit der Operationalisierung des Forschungsprojektes unter den beschriebenen Gütekriterien. Wichtig erscheinen zunächst Kenntnisse über die Struktur der Befragtengruppe – auch, wie in 3.2. und 3.3. zu sehen, in Hinblick auf den Aufbau sowie die Durchführung der Befragung, die objektiven Kriterien genügen muss, um zuverlässige Ergebnisse zu liefern. So kann der Fragebogen nicht einem Befragten durch die Pflegekraft, einer anderen per Post übermittelt werden, wenn nach anerkannten Standards evaluiert werden soll. Der Aspekt Inhalt des Fragebogens kann dann im weiteren aus Platzgründen nur exemplarisch behandelt werden. Hier wird deutlich, dass verschiedene Fragen aus verschiedenen Blickwinkeln gestellt werden müssen, um eine Kategorie, etwa die der Körperpflege, zu erfragen.
Angerissen wird ebenso die Nutzung der freien Frage, welche hier als Zusatz zum standardisierten Verfahren vorgeschlagen wird. Abschließend soll dann die Bedeutung der Evaluation für die Praxis erörtert werden: Welche Auswirkungen haben die Ergebnisse für den Träger, etwa die Personalführung? Wozu kann er die Evaluation nutzen? Wären auch externe Auswirkungen der Evaluation denkbar?
Inhaltsverzeichnis
1. Einleitung
2. Gutekriterien der Evaluationsforschung
2.1. Objektivitat
2.2. Reliabilitat
2.3. Validitat
2.4. Ethische Richtlinien und Datenschutz
3. Passgenauigkeit der Befragung
3.1. Befragtengruppe
3.2. Aufbau des Fragebogens
3.3. Ausfuhrung der Befragung
3.4. Inhalt der Fragen
4. Bedeutung & Auswirkungen
5. Fazit
6. Literaturverzeichnis
1. Einleitung
Die vorliegende Hausarbeit befasst sich mit den Gutekriterien von empirischen Forschungsprojekten, konkret mit der systematischen Befragung von Klient*innen der ambulanten Altenpflege. Der Anbieter der Dienstleistung in diesem fiktiven Beispiel ist ein bundesweit tatiger, freier Trager, wie es zahlreiche in Deutschland gibt. Tatsachlich war ich als Studentin vor rund 15 Jahren fur den DRK als Aushilfs-Pflegekraft in der ambulanten Pflege tatig, so dass ich, wenn auch langst veraltete, Grundkenntnisse in diesem Bereich besitze und mir das Thema umso greifbarer erschien. Wissenschaftliche Forschung, hier die Evaluation, muss allerdings andere Kriterien erfullen als personliche Zugange, wenn auch spezifische fachliche/theoretische Kenntnisse fur derartige Projekte unerlasslich sind. Doch der Fokus dieser Hausarbeit liegt auf der Methodik.
In Kapitel zwei werden die Gutekriterien der Forschung vorgestellt. Beschrieben werden zunachst die Kriterien der Objektivitat sowie Reliabilitat, welche notwendig, aber nicht hinreichend sind, das zu messen, was der Auftraggeber im vorgegebenen Beispiel wissen mochte: wie seine Klient*innen die vom ihm angebotene Dienstleistung, also die ambulante Pflege, bewerten. Um diesen Auftrag zu erfullen, muss die gewahlte Methode, wie ich anhand des fiktiven Evaluations-Beispiel zeigen werde, nicht nur objektive und reliable, sondern auch valide Ergebnisse liefern. Uber diese drei Gutekriterien hinaus erscheinen mir auch ethische Richtlinien sowie Fragen des Datenschutzes fur das vorgegebene, fiktive Forschungsprojekt in der ambulanten Altenpflege bedeutsam.
Das dritte Kapitel beschaftigt sich mit der Operationalisierung des Forschungsprojektes unter den beschriebenen Gutekriterien. Wichtig erscheinen zunachst Kenntnisse uber die Struktur der Befragtengruppe - auch, wie in 3.2. und 3.3. zu sehen, in Hinblick auf den Aufbau sowie die Durchfuhrung der Befragung, die objektiven Kriterien genugen muss, um zuverlassige Ergebnisse zu liefern. So kann der Fragebogen nicht einem Befragten durch die Pflegekraft, einer anderen per Post ubermittelt werden, wenn nach anerkannten Standards evaluiert werden soil. Der Aspekt Inhalt des Fragebogens kann dann im weiteren aus Platzgrunden nur exemplarisch behandelt werden. Hier wird deutlich, dass verschiedene Fragen aus verschiedenen Blickwinkeln gestellt werden mussen, um eine Kategorie, etwa die der Korperpflege, zu erfragen. Angerissen wird ebenso die Nutzung der freien I-'rage, welche hier als Zusatz zum standardisierten Verfahren vorgeschlagen wird.
AbschlieBend soil dann die Bedeutung der Evaluation fur die Praxis erortert werden: Welche Auswirkungen haben die Ergebnisse fur den Trager, etwa die Personalfuhrung? Wozu kann er die Evaluation nutzen? Waren auch externe Auswirkungen der Evaluation denkbar?
2. Gutekriterien der Evaluationsforschung
Das Tatigkeitsgebiet der Evaluationsforschung ist die Praxis. Hier wird mit wissenschaftlichen Methoden herausgefunden, welche Projekte, Angebote oder Organisationen ihre selbst gesetzten Ziele erreichen oder wo Veranderungsbedarf besteht. Ziel einer Evaluation ist, wie Diekmann definiert, „die Ermittlung von Wirksamkeit oder Unwirksamkeit praktisch-politischer oder sozialplanerischer MaBnahmen bezuglich eines oder mehrerer Erfolgskriterien“ (2005, S. 33). Bezogen auf das Thema dieser Hausarbeit besteht die MaBnahme in der ambulante Pflege, das Erfolgskriterium ist die Befriedigung oder Nicht-Befriedigung der Bedurfnisse der Klientel.
Um ein Evaluationsprojekt durchzufuhren, das dem Auftraggeber von Nutzen ist, mussen bestimmte Gutekriterien erfullt werden. Um die tatsachliche Zufriedenheit von Pflegebedurftigen bzw. ihrer Angehorigen mit der angebotenen Dienstleistung zu messen, muss zunachst eine geeignete Forschungsmethode gefunden werden. Als Methode wird hier eine quantitative Evaluierung vorgeschlagen: der standardisierte Fragebogen. Die Operationalisierung der Messung muss nun wissenschaftlichen Gutekriterien entsprechen, um aussagekraftig und zielfuhrend zu sein:
Diese Kriterien dienen als Zielvorgaben und Prufsteine einer beliebigen angewandten Forschungsmethode, an denen der Grad der Wissenschaftlichkeit dieser Methode gemessen werden kann (Mayring, 2016, S. 141).
Diese Gutekriterien werden im folgenden, unter Berucksichtigung der Aufgabenstellung - die Qualitatsmessung fur einen groBen Trager - vorgestellt.
2.1. Objektivitat
Das wissenschaftliche Gutekriterium der Objektivitat enthalt die Forderung, dass eine Evaluation unabhangig von der Person des Forschenden bei gleichbleibender Befragtengruppe zu den gleichen Ergebnissen kommen sollte. Anders ausgedruckt: die Ergebnisse einer Evaluation mussten bei zwei Forschenden, welche die gleiche Methode mit derselben Gruppe anwenden, ubereinstimmen. Unterschieden werden muss zwischen Durchfuhrungs- und Auswertungsobjektivitat (vgl. Diekmann, 2005, S. 216 f.). So sollte der Fragebogen zur Messung der Servicequalitat Pflege unter ahnlichen auBeren Umstanden durchgefuhrt werden. Des Weiteren darf die Auswertung der Qualitatsmessung nicht im Ermessensspielraum der mit der Evaluation beauftragten Personen liegen. Vielmehr muss es Standards geben, nach denen etwa unbeantwortete Fragen ausgewertet werden. Ebenso muss etabliert sein, ab wann ein abgefragter Service die Standards des Auftraggebers nicht mehr erfullt. Uber allem steht die Pramisse, dass jeder Fragebogen gleich aussieht, also denselben Wortlaut, die gleiche Skalierung sowie Form besitzt.
Objektivitat ist in der quantitativen Forschung schematischer herzustellen als in der qualitativen - ein Unterschied, der auch fur diese Hausarbeit von Bedeutung ist. Es ist naheliegend, im Rahmen einer Service-Befragung von Pflegebedurftigen zumindest eine offene Frage zu stellen - etwa und der Einfachheit halber nach Kritikpunkten am Service - und diese angemessen zu interpretieren. Auch hierfur gilt es einheitliche Auswertungs-Standards zu finden. Insgesamt mussen Bewertungs- und Durchfuhrungsstandards vorab dokumentiert werden (vgl. Konig, 2016, S. 23 f.).
Hinzuzufugen ist, dass Objektivitat in der Forschung und Evaluation auch kontext- und zeitabhangig ist. So verandert sich das Wissen in der Geriatrie - etwa, was die Ernahrung, psychische Gesundheit oder aber physikalische Therapien betrifft - und setzt so neue Standards. Oder aber die Digitalisierung ermoglicht neue Arten der Durchfuhrung. Diese Art der Befragung erscheint beispielsweise in der Altenpflege derzeit nicht vorstellbar, in Zukunft aber durchaus.
2.2. Reliabilitat
Das Gutekriterium der Reliabilitat bewertet die Zuverlassigkeit einer Methode, sagt aber zunachst nichts daruber aus, ob die Methode an sich auch das misst, was sie messen sollte (siehe 2.3.). Die Reliabilitat gibt den Grad der Genauigkeit an, mit dem beispielsweise die Frage nach der Qualitat der Korperpflege fur die Evaluation beantwortet wird. Wie ist die Frage formuliert, so dass die Antwort auch bei einer weiteren Befragung zum gleichen Auswertungsergebnis fuhren wurde? 1st die Sprache auf den Bogen fur alle verstandlich, so dass alle Befragten das gleiche unter derselben Frage verstehen? Oder aber verfalschen womoglich fehlende Deutschkenntnisse die Werte? War ein Ausfullen in Ruhe und ohne Druck alien Befragten moglich?
Wurde eine Evaluation nach objektiven MaBstabe durchgefuhrt und ausgewertet, fuhrt sie zu zuverlassigen Messergebnissen. Reliabilitat beschreibt also als Begriff die methodischen Genauigkeit eines Messinstrumentes, hier eines Fragebogens, mit dem Ideal, Verzerrungen zu vermeiden - etwa durch fehlende Rucklaufe, unleserliche Antworten (ja und nein z.B. werden gleichzeitig angestrichen, weil die die Anforderung seitens des Befragten nicht verstanden wurde), systematisches Missverstehen einer Frage, etc.
2.3. Validitat
Diekmann erlautert in seiner Einfuhrung zur Sozialforschung, „Objektivitat und Reliabilitat sind nur notwendige Minimalanforderungen an ein Messinstrument. Das Hauptziel ist dagegen die Konstruktion moglichst valider Messinstrumente“ (2005, S. 223). Anders ausgedruckt: eine falsch gewahlte Methode kann zwar zuverlassige Messergebnisse liefem und unterschiedliche Forschende wurden womoglich auch zu dem gleichen Ergebnis kommen - dieses Ergebnis konnte aber mit der Fragestellung nicht das geringste zu tun haben. So ware ein quantitativer Fragebogen, der allein das psychische Wohlempfinden der zu Pflegenden misst, nicht aussagekraftig fur das vorliegende Beispiel, in dem die Qualitat der ambulanten Pflege evaluiert werden soil. Der gangige Merksatz lautet entsprechend: Valide ist eine Forschung, wenn sie das misst, was sie messen soil.
In der quantitativen Sozialforschung wird unterschieden zwischen interner und externer Validitat. Intern valide ist eine Forschung, wenn die Ergebnisse in sich glaubwurdig sind und der Auftraggeber fur sich, also sein Projekt, seine Einrichtung oder, wie hier, seine Dienstleistung, sinnvolle Schlussfolgerungen treffen kann. In dem vorliegenden Beispiel muss der bundesweit tatige Trager erfahren, wo Veranderungsbedarf besteht. Extern valide ist eine Messung dagegen, wenn sie Erkenntnisse liefert, die uber den internen Gebrauch hinausgehen, wie Mayring definiert:
Exteme Validitat liegt vor, wenn von den untersuchten Versuchspersonen auf die intendierte Population, von in der Untersuchung realisierten Bedingungen und Stufen der unabhangigen Variablen auf die interessierenden Bedingungen und Konstrukte [...] geschlossen werden kann (2016, S. 148).
Lasst die Interpretation des Fragebogens auch Schlussfolgerung zur Pflegesituation in Deutschland zu? Haben Fachkrafte genug Zeit, sich uber die Grundpflege hinaus mit den ihnen anvertrauten Menschen zu befassen - oder musste hier mehr Zeit, sprich: Geld zur Verfugung gestellt werden? Hier kann eine Evaluation, wenn auch durch einen freien Trager in Auftrag gegeben, gesundheitspolitische Folgen haben, z.B. wenn die Abrechnungsmodalitaten durch die Pflegekasse verandert werden.
Daruber hinaus gibt es unterschiedliche Arten, Validitat zu sichern, also festzustellen, ob das reale Merkmal und die erhobene Daten ubereinstimmen. Ein Beispiel: Zum Service des Tragers gehort die Grundpflege. Eine Frage wie ,,Die Korperpflege ist ausreichend“ scheint augenscheinlich genau dies abzufragen, fuhrt aber nicht zu validen Daten. Denn ausreichend kann fur den einen Befragten ein Minimalkriterium darstellen, fur den anderen gut und nicht verbesserungsbedurftig bedeuten. Hier mussten bestimmte Komponenten der Korperpflege abgefragt werden - etwa, wie sauber ein/e Klient/in sich danach fuhlt. Ein weiteres Kriterium fur die Qualitat dieser Dienstleistung ware, ob sich die zu Pflegenden wahrenddessen, also der Grundpflege, wohl oder unwohl fuhlen. Deutlich wird: Insgesamt sind fur das vorliegende Beispiel die konkreten Bedurfnisse bzw. deren Befriedigung zu evaluieren, nicht eine allgemeine Zufriedenheit mit dem Dienstleister. Dies ist fur das Design des standardisierten Fragebogens wichtig, denn die Klient*innen konnten beispielsweise sehr zufrieden sein mit ihrenjeweiligen Pflegekraften, aber dennoch nicht optimal versorgt sein.
2.4. Ethische Richtlinien und Datenschutz
Auch ein standardisierter Fragebogen, der Klient*innen/Angehorige nach ihrer Zufriedenheit mit der ambulanten Pflege befragt, kann Angste evozieren und Werte verfalschen. Erfahren die jeweiligen Pflegekrafte von den Ergebnissen? Werden sie mich oder meine Angehorigen danach anders behandeln, evtl. schlechter oder auch besser? Diese Storfaktoren konnen ausgeschlossen werden, wenn die Befragung anonym ablauft und dies von den Befragten auch so verstanden wird. Hierbei ware es wichtig, auf dem Fragebogen darauf hinzuweisen, dass keinen personenbezogene Daten gesammelt werden. Ebenso bedeutsam ist es, Fragen dergestalt zu formulieren, dass ihr Zweck - die allgemeine Servicequalitat - behandelt wird und nicht durch spezifische Fragen womoglich auf den Antwortenden geschlossen werden kann. Sinnvoll und vertrauensstiftend ware es ebenso, auf die Freiwilligkeit in der Beantwortung, vor allem der offene Frage, hinzuweisen.
Dem Auftraggeber gegenuber muss deutlich gemacht werden, wo Werte nicht ausreichend erhoben werden konnten und/oder nicht eindeutig zu interpretieren waren - und warum. Wird die Evaluation auBerdem uber den internen Gebrauch hinaus veroffentlicht, etwa zu Werbe- oder auch politischen Zwecken, muss aus den entsprechenden Publikationen hervorgehen, wer die Evaluation in Auftrag gegeben und/oder finanziert hat und was genau gemessen werden sollte. Ebenso mussen alle Mitautorinnen und Mitautoren sowie mogliche, weitere Beteiligte der Studie genannt werden (vgl. Doring & Bortz, 2016, S. 93 ff.).
3. Passgenauigkeit des Fragebogens
Fur das Thema dieser Hausarbeit, die Evaluation eines Services in der ambulanten Altenpflege, wurde als Erhebungsinstrument ein standardisierter Fragebogen vorgeschlagen. Diese Methode scheint am besten geeignet, den Auftrag des freien Tragers zu erfullen. Zunachst ist dieser bundesweit tatig und mochte das Qualitatsempfinden aller zu Pflegenden bzw. deren Angehoriger eruieren. Zudem mochte er seine Zielgruppe systematisch befragen, also auch neu dazu kommende Klient*innen. Der Fragebogen soil entsprechend uber eine langere Zeitspanne genutzt werden. Insgesamt ist eine groBe Datenmenge zu erwarten, die immer wieder neu ausgewertet werden muss. Ein quantitativer Fragebogen mit den wichtigsten Pflege-Kategorien und einer einfachen Skalierung scheint fur die Auftragsstellung handhabbar und aussagekraftig - wenn auch nicht uneingeschrankt: Jedoch haben geschlossene Fragen und damit ein hoher Standardisierungsgrad auch Nachteile. Sie engen den Blick ein auf das, was die Evaluationsakteure bei der Konstruktion des Fragebogens bereits als Annahmen einbringen. Die Antwortoptionen sind notwendigerweise eingeschrankt durch das, was die Evaluationsakteure fur relevant halten oder was ihnen als potenziell bedeutsam in den Sinn kommt (Doring & Bortz, 2016, S. 84).
Dies ist insbesondere problematisch, wenn in einem so intimen, personlichen Bereich wie der ambulanten Pflege nach der Einschatzung der Qualitat der Dienstleistung gefragt wird. Um dem Rechnung zu tragen, erscheint eine nicht standardisierte, freie Frage sinnvoll. So kann der Auftraggeber seinen Klient*innen bzw. den Angehorigen nicht nur das Gefuhl geben, auch als Individuen gesehen zu werden und so Vertrauen schaffen. Auch fur Veranderungsprozesse ist diese Frage bedeutsam, etwa, wenn ein groBer Teil der Klient*innen die gleiche Kritik ubt.
3.1. Befragtengruppe
Der bundesweit tatige Anbieter mochte die Qualitat seiner Dienstleistung uberprufen, wobei er nur die Adressat*innen seiner Dienstleistung befragen mochte, nicht auch Mitarbeiter*innen oder andere Beteiligte wie Zulieferer. Folglich geht es um das, was ankommt bei den Nutzer*innen, in diesem Fall den Pflegebedurftigen und ihren Angehorigen - wobei dieses und zu diskutieren ist: Sollen Angehorige grundsatzlich befragt werden oder nur, wenn die zu Pflegenden aufgrund gesundheitlicher Einschrankung nicht mehr antworten konnen? Letztlich konnen die alten Menschen die Qualitat ihrer Pflege am besten bewerten und nicht Angehorige, die moglicherweise wahrend der Pflege abwesend sind. Hier ware die Messung kaum reliabel: Sie fande nicht unter objektiven Bedingungen statt, in dem Sinne, dass die falschen Personen antworten wurden. Dennoch: wenn sich Klient*innen in einem fortgeschritten Pflegestadium befinden, eventuell sogar dement sind, ist eine Einschatzung der Pflegequalitat nur durch Angehorige moglich. In solchen Fallen ist allerdings davon auszugehen, dass der Kontakt zu den stark pflegebedurftigen Menschen eng ist, da ersterejavieles unternehmen, um die/den Angehorige/n zu Hause zu behalten.
Ebenso ist, wie bereits in Kapitel 2.2. erwahnt, vorab herauszufinden, ob die zu Pflegenden die deutsche Sprache ausreichend beherrschen oder aber Fragebogen in Ubersetzungen notwendig sind. Insgesamt sollten die Fragen so formuliert sein, dass sie von alien gleich verstanden werden:
Das oberste Gebot hierbei ist die sprachliche Klarheit, d.h. die Aufgabenstellung soil den Testpersonen bereits nach einmaligem Durchlesen verstandlich sein, damit es zu keinen Fehlinterpretationen und Antwortverzerrungen kommt (Moosbrugger & Brandt, 2013, Kap. 8, S. 1).
Die Fragen sollten also intuitiv beantwortbar und entsprechend eindeutig formuliert sein. Ein verlassliches Ergebnis kann nur erzielt werden, wenn die Befrager und die Befragten „die Bedeutung von Fragen und Antworten in gleicher Weise [interpretieren]“ (Reinecke, 2019, S. 719).
3.2. Aufbau des Fragebogens
Ein standardisierter Fragebogen legt den Fragetext fest, ebenso die Reihenfolge der Befragung sowie die Antwortkategorien (vgl. Reinecke, 2016, S. 49). Im vorliegenden Fall ware es sinnvoll, den Fragetext in einzelne Kategorien zu zerlegen, so dass deutlich wird, um welches Thema es sich handelt - etwa Korperpflege oder Ernahrung - und diese aus unterschiedlichen Blickwinkeln zu durchleuchten. Zudem sollten alle Fragen, bis auf jene nach personlichen Kritikpunkten, geschlossen gestellt werden, um eindeutige Ergebnisse zu erzielen und die Befragten nicht zu uberfordern. Die Reihenfolge der Fragen/Kategorien spielt in dem gewahlten Evaluationsprojekt m.E. eine geringe Rolle, auch wenn in der quantitativen Forschung oft die fur die Forschungsfrage wesentlichsten Punkte in der Mitte abgehandelt werden (vgl. Schaffer, 2014, S. 130). Fur die zu Pflegenden werden jedochjeweils unterschiedliche Aspekte im Vordergrund stehen - fur den einen Mobilisierungen, fur die andere die Ernahrung. In jedem Fall sollte der Fragebogen nicht mit der freien Frage beginnen. Diese sollten am Ende abgefragt werden, um eben MaBnahmen zu erfassen, die im Fragebogen noch nicht direkt abgefragt worden sind bzw. wo Mangel empfunden werden.
Als Antwortmoglichkeiten ware eine leichte, wenig abstrakte Kategorie sinnvoll, statt etwa einer Notengebung von 1-6 oder sogar 1-10 bzw. eine Abstufungen mit Radioknopfen. Insbesondere letztere erfordern einen hohen Grad an Differenziertheit und Abstraktion und saen im Verlauf Zweifel, ob bisherige Einschatzungen womoglich zu streng war, was zu wenig reliablen Ergebnissen fuhren konnte. Im Gegensatz dazu garantiert die haufig eingesetzte 5-stufige
[...]