Wir verfügen über ein reichhaltiges Spektrum an qualitativen Erhebungs- und Auswertungsverfahren, die wir passend zur Fragestellung und zu den praktischen Möglichkeiten auswählen.
Datenerhebung
In Interviews können Fragen und ihre Reihenfolge unterschiedlich stark strukturiert und standardisiert sein: Narrative Interviews sind kaum vorstrukturiert und darauf ausgerichtet, die Befragten anzuregen sich frei zu äußern. Der Vorteil ist hierbei, dass die Befragten ihre eigenen Themen als Schwerpunkte ausführen können. Leitfaden- bzw. fokussierte Interviews sind den Untersuchungsfragen entsprechend stärker strukturiert. Die Vergleichbarkeit mehrerer Interviews kann durch eine solche mehr oder weniger starke Standardisierung (z.B. durch die Erstellung eines Gesprächsleitfadens) erhöht werden.
Gruppendiskussionen regen Menschen, die über eine gemeinsame oder zumindest gleichartige Handlungspraxis und Erfahrungsbasis verfügen, zu einem selbstläufigen Gespräch an. Hierbei tauschen sie sich zu den Fragestellungen untereinander aus und aktivieren persönliche wie kollektive Erfahrungen und Orientierungen z. B. in Form von Geschichten und Erzählungen. Kollektive Orientierungen sind den Beteiligten nicht immer reflexiv zugänglich, sie können teilweise auch implizit bleiben und bedürfen dann spezieller Auswertungsverfahren wie z. B. der Dokumentarischen Methode.
Neben interaktiven Interviewmethoden bieten sich Beobachtungen und die Analyse von Artefakten und Dokumenten für die Datenerhebung an:
Bei der teilnehmenden Beobachtung werden bspw. das Handeln und Kooperieren in konkreten Praxissituationen beobachtet. Je nach Fragestellung werden auch Körpersprache (Mimik, Gestik), Verhaltensroutinen und räumlich-bauliche Bedingungen bei der Analyse berücksichtigt.
Bilder und Fotos bieten einen Zugang zu den nonverbalen, visuellen Aspekten der sozialen Welt. In Werbeplakaten, bildender Kunst, oder auch Internetauftritten finden wir Sinnzusammenhänge, die gleichzeitig und doch gegensätzlich sein können. Diese Gegensätzlichkeit des Gleichzeitigen lässt sich im Visuellen artikulieren und erfassen.
Bei der Dokumentenanalyse werden bspw. Ergebnisberichte, Konzepte und Broschüren von Organisationen im Hinblick auf ausgewählte Zielstellungen untersucht. So können beispielsweise geplante Zielgruppen und die erwarteten Ergebnisse der bisherigen Projektarbeit identifiziert werden. Ebenso kann überprüft werden, inwieweit Ergebnisse der eigenen Arbeit transparent und nachvollziehbar dokumentiert sind. So kann rekonstruiert werden, wie sich eine Organisation anhand ihrer schriftlichen Darstellung präsentiert, welche Themen sie wie transportiert und inwieweit das Konzept bereits ein möglichst großes Wirkungspotenzial aufweist.
Datenanalyse
Neben klassischen qualitativen Inhaltsanalysen, bieten wir für vertiefenden Analyse die dokumentarische Interpretation nach Bohnsack an. Unsere Methoden der Datenanalyse können damit zwei Arten von Wissen erfassen:
1) Wissen, das den Befragten im Nachhinein (reflexiv) zugänglich ist, also von ihnen direkt benannt werden kann wie bspw. Handlungsansätze, Meinungen, Erfahrungen, Bewertungen, Zielstellungen etc.. Methodische Ansätze hierfür sind unter anderem Inhaltsanalysen, Kategorienbildung und Theoretisches Codieren.
2) Besonders an unserem methodischen Know How ist, dass wir auch Wissen rekonstruieren können, das den Beteiligten nicht direkt zugänglich ist. Dieses sogenannte implizite Wissen kann mit der von Ralf Bohnsack entwickelten Methode der dokumentarischen Interpretation untersucht werden. Dieser qualitativen Methode liegt die Tatsache zugrunde, dass implizites Wissen häufig das Handeln des Menschen beeinflusst. Es entwickelt sich aus gemachten Erfahrungen und Erkenntnissen und geht über das einzelne Individuum hinaus. So bildet sich bei Menschen spezifisches, geteiltes Handlungswissen heraus, wenn sie bestimmte Erfahrungen teilen wie bspw. als Frau, als Mann, als Homosexuelle, als MigrantIn oder Beteiligte eines einschneidenden Erlebnisses. Verbindend sind dabei gemeinsame Erfahrungsräume, aus denen spezifische Handlungsorientierungen erwachsen, die meist implizit das tagtägliche Handeln beeinflussen und überindividuell sind.
Datenbewertung
Die Bewertung der erhobenen Daten erfolgt zum einen im Vergleich der erhobenen Daten untereinander und zum anderen im Vergleich mit der formulierten Zielstellung des Projekts. Analysen von qualitativen Daten wie bspw. Interviews oder Gruppendiskussionen werden in einem ersten Schritt in Bezug auf gemeinsame sowie sich unterscheidende Aussagen verglichen, fokussiert und zusammengefasst. Diese Ergebnisse werden im zweiten Schritt bezogen auf die formulierten Ziel- und Fragestellungen untersucht und z. B. zur Bewertung von Projektwirkung und -erfolg herangezogen. Die abschließende Bewertung erfolgt unserem Ansatz entsprechend gemeinsam mit den Stakeholdern der Maßnahmen und Projekte, die als Expertinnen und Experten in eigener Sache einen professionellen Blick auf die Analyseergebnisse haben. In einem dritten Schritt können gemeinsam Zielstellungen und Handlungsschritte für die weitere Projektentwicklung erarbeitet werden.
Unser Ziel ist es, relevante Sachverhalte möglichst aussagekräftig und genau zu erfassen. Dafür ist es notwendig messbare Indikatoren und praxisrelevante Bewertungskriterien festzulegen. Das Klären von Zweck und Fragestellung sowie das Einbeziehen von Beteiligten und Betroffenen einer Evaluation ist daher die Basis, um akzeptierte, transparente und relevante, damit bedeutsame Kriterien zu erhalten.
Datenerhebung
Um den Gegenstand der Evaluation zu erfassen bedarf es Daten zusammenfassende oder Qualitäten identifizierende Merkmale, auch Kennwerte oder Indikatoren genannt, deren kritische, d.h. erwünschte/erwartete Ausprägung als Soll- oder Erwartungswerte ein Kriterium festgelegen. Ausgehend von der Fragestellung entwickeln wir passende, möglichst wissenschaftlich bewährte Befragungen bzw. standardisierte Interviewleitfäden zur Erhebung von Indikatoren. Wir können sowohl mit Online- und Papierbefragungen als auch in Interviews bspw. Meinungen, Gefühle, Einstellungen, Wissen oder ein bestimmtes Verhalten aus Sicht der Befragten erheben und vergleichbar machen. Für Befragungen mit repräsentativen Stichproben kooperieren wir mit etablierten Marktforschungsinstituten.
Bei Bedarf entwickeln wir alltagstaugliche Dokumentations- und Monitoring-Systeme, die eine steuerungsrelevante Bewertung des Projektfortschritts und dessen Wirkung ermöglichen.
Datenanalyse
Ausgehend von deskriptiven (beschreibenden) Statistiken (Häufigkeitsverteilung, Mittelwert etc.) bieten wir bei passender Datenlage weiterführend inferenzstatistische und (non-) parametrische Analysen an, z. B. Chi-Quadrat-Test für Häufigkeitsanalysen, T-test oder Varianzanalyse für Gruppenvergleiche, Clusteranalyse für die Entdeckung von Ähnlichkeitsstrukturen etc..
Datenbewertung
Bewertungen in der Evaluation sollen systematisch und nachvollziehbar sein und fachlich-methodische Erkenntnisse berücksichtigen. Trotzdem ist Bewerten als urteilen, hinterfragen und interpretieren immer auch ein sozialer Konstruktionsprozess. Er folgt nicht nur fachlich-inhaltlichen und methodisch begründeten Kriterien, sondern auch bspw. politisch, kulturell oder aus der sozialen Lage motivierten Interessen und Werten.
Für die Bewertung der Ergebnisse aus der Datenanalyse identifizieren und klären wir (vorher) gemeinsam mit Auftraggebenden und zentralen Stakeholdern maßgebliche Erwartungen, Werte und Verwendungskontexte der Ergebnisse. Außerdem recherchieren wir vorhandene, empirisch fundierte Vergleichswerte, um realistische, faire und relevante Erfolgskriterien zu erhalten.
Die Bewertung basiert häufig auf expliziten Vergleichen:
Vorher-Nachher-Vergleich: Hierbei geht es um die direkte Veränderung, die durch eine bestimmte Maßnahme erreicht wird. Dafür werden die Werte vor einer Maßnahme mit den Werten nach einer Maßnahme verglichen und es wird untersucht, inwiefern sie sich voneinander unterscheiden.
Soll-Ist-Vergleich: Die erreichten Resultate werden mit erwarteten Resultaten verglichen, wobei die Erwartungswerte möglichst explizit mit Bezug auf Zweck und Fragestellung der Evaluation begründet sein sollten. So können z.B. empirisch fundierte Erkenntnisse oder – im Falle eines Benchmarkings – Ergebnisse anderer Projekte als Maßstab herangezogen werden.
Gruppen-Vergleich: Die TeilnehmerInnen einer Maßnahme werden mit Nicht-TeilnehmerInnen verglichen, wie z.B. bei der zufälligen Zuteilung von Sprachkursteilnehmenden zu zwei unterschiedlichen Kursarten, sodass eine Gruppe den üblichen Sprachkurs erhält (Kontrollgruppe), während die andere einen verbesserten Sprachkurs (Interventionsgruppe) absolviert. Außerdem können Gruppierungen innerhalb der Zielgruppe (Teilzielgruppen) miteinander verglichen werden, um spezifische Wirkungen zu untersuchen, z. B. inwieweit eine Maßnahme geschlechtsspezifisch wirksam ist.
Die vorläufige Bewertung der Ergebnisse anhand der vereinbarten Kriterien gestalten wir als sozialkonstruktiven Prozess der Bedeutungsgebung, den wir daher möglichst im Rahmen eines Ergebnisworkshops im Dialog mit den Stakeholdern umsetzen. Erfahrungsgemäß kann auf diese Weise unter Einbezug der unterschiedlichen Perspektiven, Werte und Verwendungsansprüche ein gemeinsames Verständnis der Ergebnisse entwickelt werden. Sowohl geteilte als auch abweichende Auffassungen dokumentieren wir nachvollziehbar und berücksichtigen sie bei der Bewertung im abschließenden Ergebnisbericht.