Wir sind eine Genossenschaft mit gleichberechtigten freiberuflichen Mitgliedern. Jede und jeder von uns bringt spezifische Expertisen, eigene Themen und eine Vielfalt an Erfahrungen und Methodenkompetenz mit.
Was uns verbindet, sind die Vision einer zukunftsfähigen Gesellschaft, der (umwelt)psychologische Fachhintergrund, ein klarer professioneller Qualitätsanspruch, aus langjährigen Kooperationen gewachsenes Vertrauen und Freude am gemeinsamen Arbeiten.
Wir sind geografisch über mehrere Orte verteilt: Von Leipzig über Konstanz, Frankfurt, Hannover und Oldenburg bis nach Berlin. Gemeinsam arbeiten wir für unsere Kundinnen und Kunden daran, der Vision einer zukunftsfähigen Gesellschaft Schritt für Schritt näher zu kommen!
Unser Vorgehen
Für eine aussagekräftige und nützliche Evaluation ist es von entscheidender Bedeutung zu verstehen, warum die Evaluation notwendig ist, welche Fragen beantwortet werden müssen und zu welchem Zweck die Ergebnisse genutzt werden sollen. Dafür ist uns der offene Dialog mit unseren Auftraggebenden und weiteren zentralen Stakeholdern wichtig.
Typische Leistungsphasen, die bei begleitenden (formativen) Evaluationen, auch wiederholt, durchlaufen werden können, sind:
1. Klären: Zweck, Fragestellung und Kontext
2. Konzipieren: Wirkungslogik, Evaluationsplan und -methoden
3. Untersuchen: Datenerhebung, -auswertung und Bewertung
4. Berichten: nachvollziehbare Dokumentation, aussagekräftige Grafiken und Empfehlungen
Bereits zu Beginn klären wir den Zweck und die Fragestellungen der Evaluation, um ein bedarfsgerechtes, machbares und aussagekräftiges Evaluationskonzept zu entwickeln. Das Konzept der Evaluation baut auf einer Wirkungslogik der Maßnahme auf, d. h., es werden systematisch Ressourcen, Ziele, Aktivitäten, Output (Leistungen, Produkte) und Outcome (Wirkung bei Zielgruppen) sowie ein möglicher Impact (Wirkung auf gesellschaftlicher Ebene) geklärt und logische Zusammenhänge als Modell strukturiert.
Unsere qualitativen wie quantitativen Erhebungs- (interviewen, befragen, beobachten) und Auswertungsmethoden (beschreiben, kategorisieren, typisieren, quantifizieren) sind sozialwissenschaftlich fundiert und nutzen aktuelle Software.
Die Evaluationsergebnisse bereiten wir zielgruppengerecht und nachvollziehbar auf. Mit Betroffenen und Beteiligten diskutieren wir gerne die Bedeutung der Ergebnisse und entwickeln gemeinsam Schlussfolgerungen.
Grafik Autor: Dr. Dirk Scheffler
Evaluationsansätze
Je nach Zweck und Zeitpunkt einer Evaluation lassen sich drei grundlegende Ansätze von Evaluationen unterscheiden:
1. Ex-ante Evaluationen: ermöglichen im Vorfeld, die Maßnahmen zweckmäßig und wirksam zu gestalten.
2. Formative Evaluationen: begleiten die Umsetzung einer Maßnahme und ermöglichen, wirkungsorientiert zu steuern. Genutzt werden hierfür Informationen über Strukturen, Prozesse und Zielerreichung sowie Akzeptanz und Wirkungen.
3. Summative Evaluationen: untersuchen die Wirksamkeit und bewerten häufig die Effektivität und Wirtschaftlichkeit von Projekten und Programmen, beispielsweise um den Einsatz bestimmter Mittel zu legitimieren oder Erkenntnisse über eine mögliche Fortsetzung, Ausweitung bzw. Neuausrichtung zu erhalten.
Weitere Informationen zu Ansätzen von Wirkungsevaluationen haben wir in der Schwerpunkteinleitung im Heft 1/2016 der Zeitschrift Umweltpsychologie zusammengefasst.
Methoden
Wir können beides – quantitative und qualitative Methoden
Bei unseren Evaluationen verknüpfen wir Dialogmethoden mit sozialwissenschaftlichen Methoden der Datenerhebung und -auswertung. Unser Bestreben ist dabei, unterschiedliche Methoden zu kombinieren, denn die Verwendung mehrerer methodischer Zugänge bietet den Vorteil, ein umfassendes und differenziertes Bild vom Gegenstand zu bekommen.
Wir können auf ein breites Methodenspektrum von quantitativen und qualitativen sozialwissenschaftlichen Methoden zurückgreifen, u.a Fragebögen, Interviews, Gruppendiskussionen, teilnehmende Beobachtung und Dokumentenanalysen. Wenn zweckmäßig, nutzen wir auch die Möglichkeiten der Kommunikation und Datenerhebung über die sozialen Medien.
Qualitative Methoden
Wir verfügen über ein reichhaltiges Spektrum an qualitativen Erhebungs- und Auswertungsverfahren, die wir passend zur Fragestellung und zu den praktischen Möglichkeiten auswählen.
Datenerhebung
In Interviews können Fragen und ihre Reihenfolge unterschiedlich stark strukturiert und standardisiert sein: Narrative Interviews sind kaum vorstrukturiert und darauf ausgerichtet, die Befragten anzuregen sich frei zu äußern. Der Vorteil ist hierbei, dass die Befragten ihre eigenen Themen als Schwerpunkte ausführen können. Leitfaden- bzw. fokussierte Interviews sind den Untersuchungsfragen entsprechend stärker strukturiert. Die Vergleichbarkeit mehrerer Interviews kann durch eine solche mehr oder weniger starke Standardisierung (z.B. durch die Erstellung eines Gesprächsleitfadens) erhöht werden.
Gruppendiskussionen regen Menschen, die über eine gemeinsame oder zumindest gleichartige Handlungspraxis und Erfahrungsbasis verfügen, zu einem selbstläufigen Gespräch an. Hierbei tauschen sie sich zu den Fragestellungen untereinander aus und aktivieren persönliche wie kollektive Erfahrungen und Orientierungen z. B. in Form von Geschichten und Erzählungen. Kollektive Orientierungen sind den Beteiligten nicht immer reflexiv zugänglich, sie können teilweise auch implizit bleiben und bedürfen dann spezieller Auswertungsverfahren wie z. B. der Dokumentarischen Methode.
Neben interaktiven Interviewmethoden bieten sich Beobachtungen und die Analyse von Artefakten und Dokumenten für die Datenerhebung an:
Bei der teilnehmenden Beobachtung werden bspw. das Handeln und Kooperieren in konkreten Praxissituationen beobachtet. Je nach Fragestellung werden auch Körpersprache (Mimik, Gestik), Verhaltensroutinen und räumlich-bauliche Bedingungen bei der Analyse berücksichtigt.
Bilder und Fotos bieten einen Zugang zu den nonverbalen, visuellen Aspekten der sozialen Welt. In Werbeplakaten, bildender Kunst, oder auch Internetauftritten finden wir Sinnzusammenhänge, die gleichzeitig und doch gegensätzlich sein können. Diese Gegensätzlichkeit des Gleichzeitigen lässt sich im Visuellen artikulieren und erfassen.
Bei der Dokumentenanalyse werden bspw. Ergebnisberichte, Konzepte und Broschüren von Organisationen im Hinblick auf ausgewählte Zielstellungen untersucht. So können beispielsweise geplante Zielgruppen und die erwarteten Ergebnisse der bisherigen Projektarbeit identifiziert werden. Ebenso kann überprüft werden, inwieweit Ergebnisse der eigenen Arbeit transparent und nachvollziehbar dokumentiert sind. So kann rekonstruiert werden, wie sich eine Organisation anhand ihrer schriftlichen Darstellung präsentiert, welche Themen sie wie transportiert und inwieweit das Konzept bereits ein möglichst großes Wirkungspotenzial aufweist.
Datenanalyse
Neben klassischen qualitativen Inhaltsanalysen, bieten wir für vertiefenden Analyse die dokumentarische Interpretation nach Bohnsack an. Unsere Methoden der Datenanalyse können damit zwei Arten von Wissen erfassen:
1) Wissen, das den Befragten im Nachhinein (reflexiv) zugänglich ist, also von ihnen direkt benannt werden kann wie bspw. Handlungsansätze, Meinungen, Erfahrungen, Bewertungen, Zielstellungen etc.. Methodische Ansätze hierfür sind unter anderem Inhaltsanalysen, Kategorienbildung und Theoretisches Codieren.
2) Besonders an unserem methodischen Know How ist, dass wir auch Wissen rekonstruieren können, das den Beteiligten nicht direkt zugänglich ist. Dieses sogenannte implizite Wissen kann mit der von Ralf Bohnsack entwickelten Methode der dokumentarischen Interpretation untersucht werden. Dieser qualitativen Methode liegt die Tatsache zugrunde, dass implizites Wissen häufig das Handeln des Menschen beeinflusst. Es entwickelt sich aus gemachten Erfahrungen und Erkenntnissen und geht über das einzelne Individuum hinaus. So bildet sich bei Menschen spezifisches, geteiltes Handlungswissen heraus, wenn sie bestimmte Erfahrungen teilen wie bspw. als Frau, als Mann, als Homosexuelle, als MigrantIn oder Beteiligte eines einschneidenden Erlebnisses. Verbindend sind dabei gemeinsame Erfahrungsräume, aus denen spezifische Handlungsorientierungen erwachsen, die meist implizit das tagtägliche Handeln beeinflussen und überindividuell sind.
Datenbewertung
Die Bewertung der erhobenen Daten erfolgt zum einen im Vergleich der erhobenen Daten untereinander und zum anderen im Vergleich mit der formulierten Zielstellung des Projekts. Analysen von qualitativen Daten wie bspw. Interviews oder Gruppendiskussionen werden in einem ersten Schritt in Bezug auf gemeinsame sowie sich unterscheidende Aussagen verglichen, fokussiert und zusammengefasst. Diese Ergebnisse werden im zweiten Schritt bezogen auf die formulierten Ziel- und Fragestellungen untersucht und z. B. zur Bewertung von Projektwirkung und -erfolg herangezogen. Die abschließende Bewertung erfolgt unserem Ansatz entsprechend gemeinsam mit den Stakeholdern der Maßnahmen und Projekte, die als Expertinnen und Experten in eigener Sache einen professionellen Blick auf die Analyseergebnisse haben. In einem dritten Schritt können gemeinsam Zielstellungen und Handlungsschritte für die weitere Projektentwicklung erarbeitet werden.
Quantitative Methoden
Unser Ziel ist es, relevante Sachverhalte möglichst aussagekräftig und genau zu erfassen. Dafür ist es notwendig messbare Indikatoren und praxisrelevante Bewertungskriterien festzulegen. Das Klären von Zweck und Fragestellung sowie das Einbeziehen von Beteiligten und Betroffenen einer Evaluation ist daher die Basis, um akzeptierte, transparente und relevante, damit bedeutsame Kriterien zu erhalten.
Datenerhebung
Um den Gegenstand der Evaluation zu erfassen bedarf es Daten zusammenfassende oder Qualitäten identifizierende Merkmale, auch Kennwerte oder Indikatoren genannt, deren kritische, d.h. erwünschte/erwartete Ausprägung als Soll- oder Erwartungswerte ein Kriterium festgelegen. Ausgehend von der Fragestellung entwickeln wir passende, möglichst wissenschaftlich bewährte Befragungen bzw. standardisierte Interviewleitfäden zur Erhebung von Indikatoren. Wir können sowohl mit Online- und Papierbefragungen als auch in Interviews bspw. Meinungen, Gefühle, Einstellungen, Wissen oder ein bestimmtes Verhalten aus Sicht der Befragten erheben und vergleichbar machen. Für Befragungen mit repräsentativen Stichproben kooperieren wir mit etablierten Marktforschungsinstituten.
Bei Bedarf entwickeln wir alltagstaugliche Dokumentations- und Monitoring-Systeme, die eine steuerungsrelevante Bewertung des Projektfortschritts und dessen Wirkung ermöglichen.
Datenanalyse
Ausgehend von deskriptiven (beschreibenden) Statistiken (Häufigkeitsverteilung, Mittelwert etc.) bieten wir bei passender Datenlage weiterführend inferenzstatistische und (non-) parametrische Analysen an, z. B. Chi-Quadrat-Test für Häufigkeitsanalysen, T-test oder Varianzanalyse für Gruppenvergleiche, Clusteranalyse für die Entdeckung von Ähnlichkeitsstrukturen etc..
Datenbewertung
Bewertungen in der Evaluation sollen systematisch und nachvollziehbar sein und fachlich-methodische Erkenntnisse berücksichtigen. Trotzdem ist Bewerten als urteilen, hinterfragen und interpretieren immer auch ein sozialer Konstruktionsprozess. Er folgt nicht nur fachlich-inhaltlichen und methodisch begründeten Kriterien, sondern auch bspw. politisch, kulturell oder aus der sozialen Lage motivierten Interessen und Werten.
Für die Bewertung der Ergebnisse aus der Datenanalyse identifizieren und klären wir (vorher) gemeinsam mit Auftraggebenden und zentralen Stakeholdern maßgebliche Erwartungen, Werte und Verwendungskontexte der Ergebnisse. Außerdem recherchieren wir vorhandene, empirisch fundierte Vergleichswerte, um realistische, faire und relevante Erfolgskriterien zu erhalten.
Die Bewertung basiert häufig auf expliziten Vergleichen:
Vorher-Nachher-Vergleich: Hierbei geht es um die direkte Veränderung, die durch eine bestimmte Maßnahme erreicht wird. Dafür werden die Werte vor einer Maßnahme mit den Werten nach einer Maßnahme verglichen und es wird untersucht, inwiefern sie sich voneinander unterscheiden.
Soll-Ist-Vergleich: Die erreichten Resultate werden mit erwarteten Resultaten verglichen, wobei die Erwartungswerte möglichst explizit mit Bezug auf Zweck und Fragestellung der Evaluation begründet sein sollten. So können z.B. empirisch fundierte Erkenntnisse oder – im Falle eines Benchmarkings – Ergebnisse anderer Projekte als Maßstab herangezogen werden.
Gruppen-Vergleich: Die TeilnehmerInnen einer Maßnahme werden mit Nicht-TeilnehmerInnen verglichen, wie z.B. bei der zufälligen Zuteilung von Sprachkursteilnehmenden zu zwei unterschiedlichen Kursarten, sodass eine Gruppe den üblichen Sprachkurs erhält (Kontrollgruppe), während die andere einen verbesserten Sprachkurs (Interventionsgruppe) absolviert. Außerdem können Gruppierungen innerhalb der Zielgruppe (Teilzielgruppen) miteinander verglichen werden, um spezifische Wirkungen zu untersuchen, z. B. inwieweit eine Maßnahme geschlechtsspezifisch wirksam ist.
Die vorläufige Bewertung der Ergebnisse anhand der vereinbarten Kriterien gestalten wir als sozialkonstruktiven Prozess der Bedeutungsgebung, den wir daher möglichst im Rahmen eines Ergebnisworkshops im Dialog mit den Stakeholdern umsetzen. Erfahrungsgemäß kann auf diese Weise unter Einbezug der unterschiedlichen Perspektiven, Werte und Verwendungsansprüche ein gemeinsames Verständnis der Ergebnisse entwickelt werden. Sowohl geteilte als auch abweichende Auffassungen dokumentieren wir nachvollziehbar und berücksichtigen sie bei der Bewertung im abschließenden Ergebnisbericht.