Erhebungsinstrumente, keine Rückmeldebögen.

Reihenfolgeeffekte, und was dagegen getan wird

Positionsverzerrung ist der am günstigsten zu beseitigende Messfehler und zugleich der, den man am häufigsten stehen lässt. Das zufällige Mischen der Antworten lässt sich je Frage einschalten, und drei Einzelheiten machen es brauchbar statt dekorativ.

• Der Startwert des Mischens gilt je Seitenaufruf. Wer zurückgeht, um eine Antwort zu ändern, sieht dieselbe Reihenfolge wie beim ersten Mal. Bei jedem Aufbau neu zu mischen ist schlimmer als gar nicht zu mischen, denn es zwingt zum erneuten Lesen der Liste und verändert unbemerkt, wogegen verglichen wird.
• Optionen lassen sich als fest markieren und bleiben vom Mischen ausgenommen. „Nichts davon“, „Weiß nicht“ und „Sonstiges (bitte angeben)“ gehören ans Ende, und ein Mischer, der sie in die Mitte der Liste spült, erzeugt Daten, die Sie nicht gebrauchen können.
• Es gilt je Frage, nicht je Umfrage. Eine Markenliste wird gemischt; eine Skala von „stimme voll zu“ bis „stimme gar nicht zu“ darf es nicht.

Was es hier nicht gibt: keine Rotationsblöcke über Fragegruppen hinweg, keine gespiegelten Skalenhälften und keine Quotensteuerung je Zelle. Braucht Ihr Design das, ist dies das falsche Werkzeug — und es ist besser, das jetzt zu wissen.

Das Instrument

Es gibt 16 Fragetypen. Diese sind es, auf die sich Forschungsarbeit am stärksten stützt.

• Matrix. Zeilen auf einer gemeinsamen Skala — das übliche Itembatterie-Raster. Export als eine Spalte je Zeile.
• Rangfolge. Ziehen in eine Reihenfolge, mit einer Top-N-Variante, wenn Sie von neun Punkten die ersten drei wollen statt einer vollständigen Ordnung.
• Skala. 1 bis n mit beschrifteten Enden — die ehrliche Art, eine Zustimmungs- oder Wahrscheinlichkeitsskala zu führen.
• Weiterempfehlungswert. Die Frage von 0 bis 10. In der Oberfläche heißt sie „Weiterempfehlungswert“ und nicht NPS, denn NPS ist eine Berechnung auf der Antwort und nicht die Frage.
• Bewertung. Stern oder Herz, standardmäßig mit einem Höchstwert von fünf.
• Mehrfach- und Einfachauswahl mit Bildern je Option, einer Beschreibungszeile und dem Muster „Sonstiges (bitte angeben)“, dessen Freitext getrennt von der Bezeichnung gespeichert wird.

Auswahlfragen erscheinen standardmäßig als Bento-Auswahlkacheln statt als Liste. Die Kacheln haben einheitliche Höhe und laufen auf eine je Zeile um, wenn eine Bezeichnung etwa 110 Zeichen überschreitet, damit eine lange Option das Raster nicht verzerrt. Die einfache Liste ist die Alternative und für eine lange Itembatterie oft die bessere Wahl. Fragen können ein Bild tragen, platziert oben, links, rechts oder unten, in drei Größen, wobei seitlich platzierte Bilder an die Höhe der Frage angepasst werden — genau das, was ein Stimulustest braucht.

Screening, Steuerung und Piping

Bedingungslogik blendet Fragen abhängig von früheren Antworten ein oder aus, mit Regeln, die auf eine oder alle Bedingungen passen. Damit sind Screening, kategoriebasierte Steuerung und das Muster der Nachfrage bei schlechter Bewertung abgedeckt. Piping setzt eine frühere Antwort über {{question_id}} in den Titel, die Beschreibung oder die Überschrift einer späteren Frage; ein Verweis ohne Antwort erscheint als „Ihre Antwort“, statt ein rohes Token zu zeigen — der Fehlerfall, der eine laufende Umfrage blamiert.

Die Prüfung von Eingaben umfasst Pflichtfelder, Mindest- und Höchstlänge mit mitlaufendem Zähler, Zahlenbereiche, E-Mail-Adresse, Telefonnummer, URL, britische Postleitzahl sowie einen eigenen regulären Ausdruck mit eigener Fehlermeldung. Zahlenbereiche und eigene Muster sind es, die verhindern, dass eine Frage nach Ausgaben als „so ungefähr 40 Pfund“ zurückkommt.

Stichprobe, Links und Kennungen

Verborgene Felder werden je Umfrage festgelegt, aus der Abfragezeichenfolge gelesen und mit der Antwort gespeichert. So werden eine Panel-ID, ein Quellcode, eine Wellennummer oder eine CRM-Referenz angehängt, ohne die teilnehmende Person danach zu fragen. Jedes wird zu einer Spalte im Export.

Der Feldschluss wird sauber durchgesetzt: Schlussdatum und Antwortobergrenze werden von einem Datenbank-Trigger angewendet und nicht von der Oberfläche, denn Antworten werden unmittelbar aus dem Browser eingefügt. Eine Obergrenze von 400 hält bei 400, auch wenn der Link noch im Umlauf ist, und eine eigene Schlussmeldung erklärt, dass die Feldphase beendet ist. Umfragen lassen sich außerdem in eine andere Seite einbetten, statt von dort wegzuverlinken.

Zwei Dinge, um die man planen sollte. Der Spamschutz ist aktiv — ein Honigtopf außerhalb des sichtbaren Bereichs, eine Mindestverweildauer und eine Ratenbegrenzung je Umfrage, alle von einem Datenbank-Trigger durchgesetzt statt von der Oberfläche und bewusst kein CAPTCHA —, er filtert aber automatisierte Einreichungen und keine entschlossenen Menschen; ein offener Link in sozialen Medien ergibt daher weiterhin keine kontrollierte Stichprobe. Ergänzen Sie ihn um eine Obergrenze, ein Schlussdatum und ein verborgenes Quellfeld, nach dem Sie filtern können. Und Webhooks gibt es sehr wohl — jede Antwort an eine https-URL gesendet, mit HMAC-SHA256 und einem Geheimnis je Webhook signiert, mit Zustellprotokoll —, aber es gibt keine Panelanbindungen; ein Abgleich mit einem Anbieter bedeutet also, diesen Webhook selbst entgegenzunehmen oder es über CSV zu erledigen.

Die Daten herausbekommen

Laufend aktualisierte Diagramme je Frage mit Antwortzahlen und Abschlussquote sind nützlich, um die Feldphase zu beobachten, nicht für die Auswertung. Das eigentliche Ergebnis ist der CSV-Export: eine Spalte je Matrixzeile, eine eigene Spalte für die Angaben unter „Sonstiges“ und verborgene Felder als eigene Spalten — eine Datei also, die sich ohne Vorverarbeitung sauber in R, Python, SPSS oder einer Tabellenkalkulation öffnen lässt. Einzelne Antworten lassen sich nacheinander durchblättern, und jede einzelne Antwort kann über den Browser als PDF gedruckt werden.

Das Löschen der Testantworten entfernt Uploads und Teilantworten mit, sodass eine Pilotwelle die echte nicht verunreinigt. Eine KI-Auswertung offener Antworten gibt es nicht — sie ist geplant, aber nicht gebaut, und das Codieren von Freitext bleibt Sache eines Menschen oder Ihrer eigenen Werkzeuge.

Wo die Daten liegen

Umfrageinhalte und Antworten liegen bei Supabase in London (eu-west-2), von der Plattform bei der Übertragung und im Ruhezustand verschlüsselt, mit durchgehender Sicherheit auf Zeilenebene und serverseitig festgelegter Trennung der Organisationen. Für Institute zählt das doppelt: einmal für die eigenen Pflichten und einmal, weil eine Auftraggeberin aus dem öffentlichen Sektor vor Vertragsschluss danach fragen wird. Die Einzelheiten stehen auf der Sicherheitsseite und in der Liste der Unterauftragsverarbeiter. Wird eine Studie gemeinsam durchgeführt, werden Logos mitwirkender Stellen je Umfrage festgelegt, sodass der Arbeitsbereich eines Instituts bei jeder Feldphase eine andere Auftraggeberin ausweisen kann.

Verwandt

Kommunalverwaltung ist der Bereich, in dem der größte Teil der britischen Feldarbeit des öffentlichen Sektors beauftragt wird, Bildung behandelt Bewertungsinstrumente, und der Vergleich mit Typeform (auf Englisch) legt dar, was ein dialogorientiertes Werkzeug einem Forschungsteam gibt und was nicht. Zurück zu allen Lösungen.