Zum Inhalt springen

Forschung

Wie wir unsere Fragen schreiben und wie wir die Antworten lesen

Fast vier von fünf Fragen in Polzys Bank sind von veröffentlichter Forschung geleitet, und jede davon nennt die Forschung, auf der sie beruht. Die meisten sind in unseren eigenen Worten; die wenigen, die wir aus öffentlichen Befragungen anpassen, sagen, woher sie kommen. Jedes Ergebnis wird offen berechnet: auf wie vielen Menschen es beruht, wie weit es sich noch bewegen könnte und was es zurückhält, um sie zu schützen.

  • 487 Fragen in sechs Sprachen
  • 380 von veröffentlichter Forschung geleitet
  • Rund 110 Quellen, Frage für Frage genannt

Die Bank

Fragen, die ihren Wortlaut behalten

Ein Ergebnis bedeutet erst etwas neben einem anderen, das genauso erfragt wurde. Deshalb hat jede Frage der Bank eine feste Identität und einen festen Wortlaut, und ihre Antworten sind über Umfragen hinweg und über die Zeit vergleichbar.

Fester Wortlaut

Eine Bankfrage behält ihren Wortlaut. Ihre Antworten zählen in jeder Umfrage, die sie stellt, als die dieser Frage, damit ein Trend Gleiches mit Gleichem vergleicht.

Sechs Sprachen

Jede Frage ist auf Englisch, Niederländisch, Französisch, Deutsch, Spanisch und Arabisch geschrieben. Wer die Sprache einer Umfrage wechselt, ändert die Worte, die jemand liest, nicht die Frage, zu der die Antwort zählt.

Geordnet nach dem, was sie messen

Jede bewertete Frage gehört zu genau einem Thema: Unterstützung durch die Führungskraft, Arbeitsbelastung, Bedienbarkeit, Preis-Leistung. Der Wert eines Themas ist der Durchschnitt der Fragen, die es messen.

Und nach dem Moment, in dem sie gestellt werden

Jede Frage ist für einen Moment geschrieben: einen regelmäßigen Puls, eine jährliche Umfrage, die ersten Wochen nach dem Start, einen Abschied, eine abgeschlossene Supportanfrage, eine beendete Schulung, eine Veranstaltung.

Woher sie kommen

Von veröffentlichter Forschung geleitet

438 der 487 Fragen der Bank sind in unseren eigenen Worten. 48 passen eine Frage aus einer veröffentlichten Befragung an, 46 davon aus Befragungen der US-amerikanischen und der britischen Regierung, und eine wird so gestellt, wie sie veröffentlicht wurde. Bei 380 davon sind das, was die Frage misst, und ihr Wortlaut von veröffentlichter Forschung geleitet und von den Befragungen öffentlicher Verwaltungen, die ihre Fragebögen und Ergebnisse veröffentlichen. Das ist diese Forschung, nach Bereichen.

Arbeit und Wohlbefinden

Forschung zu Arbeitsanforderungen und -ressourcen, die Selbstbestimmungstheorie (Autonomie, Kompetenz und Zugehörigkeit), psychologische Sicherheit in Teams und organisationale Gerechtigkeit: ob Entscheidungen und Behandlung fair sind.

Öffentliche Mitarbeiterbefragungen

Die Befragungen, die Regierungen unter ihrem eigenen Personal durchführen und offen veröffentlichen: der US-amerikanische Federal Employee Viewpoint Survey und der britische Civil Service People Survey, dazu der australische Public Service Employee Census für ein Thema.

Kunden und Service

Forschung zur Servicequalität (zuverlässig, reaktionsschnell und zugewandt sein), zum Aufwand, den ein Kunde hat, um etwas zu erledigen, und zu Zufriedenheit und Loyalität.

Produkte

Forschung zur Gebrauchstauglichkeit (wie leicht sich ein Produkt lernen und bedienen lässt) und dazu, ob es für die Aufgabe nützlich ist, für die Menschen es einsetzen.

Schulungen und Veranstaltungen

Die vier Ebenen der Schulungsevaluation (Reaktion, Lernen, Verhalten und Ergebnisse) und Forschung dazu, wie das Gelernte in die Arbeit übergeht.

Wie man fragt

Umfragemethodik: wie Wortlaut, Antwortskalen, Übersetzung und die Reihenfolge der Fragen die Antworten verändern.

Fragen nach Zielgruppe und worauf sie beruhen

Mitarbeitende170
Kunden114
Produkt55
Veranstaltungen70
Lernen53
Jede Umfrage10
Formulare15
20015010050
MitarbeitendeKundenProduktVeranstaltungenLernenJede UmfrageFormulare
Formulare sind aus der Praxis geschrieben: Ein Name, eine E-Mail-Adresse und ein Einwilligungsfeld brauchen keine Theorie.

„Von Forschung geleitet“ heißt, dass diese Forschung bestimmt hat, was eine Frage misst und wie sie formuliert ist, nicht dass ihr Wortlaut daraus übernommen wurde. Die 49 Fragen, die ihren Wortlaut aus einer veröffentlichten Befragung übernehmen, sind mit dieser Quelle und ihrer Lizenz erfasst. Keine der genannten Organisationen hat Polzy geprüft oder empfohlen. Wir verwenden keine Fragen aus kommerziellen Fragebögen, die unter Lizenz verkauft werden, und keine von anderen Umfrageanbietern.

Nach Thema

Die Forschung hinter jedem Thema

Jedes Thema, das die Bank misst, mit der Forschung, auf die hin seine Fragen geschrieben sind. Meist hat sie geprägt, was eine Frage fragt, nicht ihren Wortlaut; eine Frage, die ihren Wortlaut aus einer veröffentlichten Umfrage übernimmt, sagt das in ihrer Zeile im Umfrage-Builder.

Wie eine Frage geschrieben wird

Regeln, denen jede Frage folgt

Jede Frage wird aus einer schriftlichen Definition dessen entworfen, was sie misst (was das Thema umfasst und was nicht), und an diesen Regeln geprüft.

  • Ein Gedanke pro Frage

    Kein „und“ zwischen zwei Dingen, die unterschiedliche Antworten bekommen könnten. „Meine Führungskraft ist fair und gut erreichbar“ sind zwei Fragen, also wird es als zwei geschrieben.

  • Einfache Worte

    Kurze Sätze (auf Englisch höchstens vierzehn Wörter) auf alltäglichem Leseniveau, ohne Fachjargon und ohne Redewendungen, die sich nicht übersetzen lassen.

  • In der ersten Person

    Eine Aussage, der man zustimmt oder nicht, handelt von der eigenen Erfahrung: „Meine Führungskraft sagt klar, worauf sich unser Team konzentrieren soll.“ Zufriedenheit wird als Frage gestellt: „Wie zufrieden sind Sie mit …?“

  • Eine passende Skala

    Aussagen werden auf fünf Stufen beantwortet, von Stimme gar nicht zu bis Stimme voll zu, jede Stufe beschriftet. Zufriedenheit, Aufwand und Häufigkeit haben jeweils eine eigene beschriftete Skala.

  • Neutral, nicht suggestiv

    Keine Frage setzt eine Antwort oder eine Erfahrung voraus: nie „Wie großartig war …“, nie „Da Ihnen die Schulung geholfen hat …“.

  • Umgekehrte Fragen: wenige und geplant

    Einige Fragen sagen das Gegenteil („Meine Arbeitsbelastung ist mehr, als ich bewältigen kann“), damit auffällt, wer allem zustimmt. Höchstens eine pro Thema, nur in vollständigen Umfragen, nie in einem kurzen Puls, und vor der Bewertung umgedreht. Ansonsten vermeiden Fragen „nicht“, das leicht überlesen wird.

Wie eine Frage geprüft wird

Vom Entwurf in die Bank

Jede Frage der Bank wurde so recherchiert und entworfen. Die Prüfungen mit Fachleuten, mit Lesenden und mit professionellen Übersetzern kommen als Nächstes, und die letzte läuft auf echten Antworten, sobald sie eingehen.

  1. 1

    Forschung und Definitionen

    Erledigt

    Jedes Thema bekommt eine schriftliche Definition und die Forschung dahinter, bevor eine Frage entworfen wird.

  2. 2

    Entwurf

    Erledigt

    Mehrere Formulierungen pro Thema, nach den Regeln oben geschrieben, damit die schwächeren wegfallen können.

  3. 3

    Prüfung durch Fachleute

    Als Nächstes

    Fachleute aus der Arbeits- und Organisationspsychologie für Fragen zur Arbeit, aus der Kunden- und Nutzerforschung für Fragen zu Kunden und Produkten und aus der Weiterbildung für Schulungen und Veranstaltungen bewerten, wie gut jede Frage zu ihrem Thema passt.

  4. 4

    Tests mit lautem Denken

    Als Nächstes

    Menschen beantworten die Fragen laut, während sie sie lesen, in jeder Sprache, damit ein missverstandenes Wort oder eine schwer zu beantwortende Frage auffällt, bevor sich jemand darauf verlässt.

  5. 5

    Professionelle Übersetzung

    Als Nächstes

    Übersetzer arbeiten mit einem gemeinsamen Glossar für Wörter wie Führungskraft, Team und Arbeitsbelastung; eine unabhängige Rückübersetzung prüft, ob die Bedeutung erhalten blieb; Arabisch wird auf der Umfrageseite von rechts nach links geprüft. Bis dieser Schritt erledigt ist, sind die Übersetzungen der Bank maschinell entworfen.

  6. 6

    Prüfung an echten Antworten

    Sobald Antworten eingehen

    Sobald genug Menschen geantwortet haben, zeigen Zahlen über viele Antworten (nie die einer einzelnen Person), welche Fragen oft übersprungen, von fast allen gleich beantwortet werden oder sich nicht mit dem Rest ihres Themas bewegen. Diese werden umformuliert oder ausgemustert, und eine Übersetzung, die anders beantwortet wird als die übrigen, wird erneut geprüft.

Was wir verwenden dürfen

Unsere eigenen Worte und die wenigen, die wir anpassen

438 unserer 487 Fragen sind ganz in unseren eigenen Worten. 46 passen Fragen an, die die Regierungen der USA und des Vereinigten Königreichs zur Wiederverwendung veröffentlichen, und 3 stammen aus einer veröffentlichten Befragung zum Product-Market-Fit. Jede sagt, woher sie kommt.

  • Unsere eigenen Worte

    438
  • Angepasst aus gemeinfreien US-Befragungen

    Der Federal Employee Viewpoint Survey 2024 und der bundesweite Standard für Kundenerfahrung in OMB Circular A-11 §280.

    42
  • Angepasst aus dem britischen Civil Service People Survey

    Unter der Open Government Licence v3.0, mit Änderungen.

    4
  • Fragen zum Product-Market-Fit, mit Namensnennung

    Ellis (2010) und Vohra (2018).

    3

Wir verwenden keine Frage aus einem Fragebogen, der unter Lizenz verkauft wird, oder von einem anderen Umfrageanbieter, und eine automatische Prüfung hält unseren Build an, wenn eine Frage einer solchen zu nahe kommt.

Im Builder

Worauf jede Frage beruht

Im Umfrage-Builder trägt jede Bankfrage eines dieser Labels, und die forschungsgeleiteten nennen ihre Quellen.

  • Forschungsgeleitet

    380

    Nach einer Definition aus veröffentlichter Forschung geschrieben, die die Frage nennt: 336 in unseren eigenen Worten, 44 aus öffentlichen Befragungen angepasst.

  • Aus der Praxis

    107

    Aus der Arbeit mit Feedbackprogrammen geschrieben: die ersten Fragen, die Polzy ausgeliefert hat, offene Fragen und Formularfelder. 5 davon passen eine genannte Quelle an oder zitieren sie: 2 Fragen aus dem US-Bundesstandard für Kundenerfahrung und die 3 Fragen zum Product-Market-Fit.

  • Wie veröffentlicht verwendet

    Die eigene Frage eines veröffentlichten Fragebogens, Wort für Wort gestellt. Keine unserer Fragen trägt dieses Label heute.

Eine Frage, die wir schreiben, heißt nicht validiert, weil sie sorgfältig formuliert ist. Dafür braucht es Belege aus echten Antworten, in jeder Sprache, und diese Prüfungen beginnen, sobald Antworten eingehen.

Werte

Von der Antwort zum Wert

Jede Antwort wird zu einer Zahl von 0 bis 100: der Punkt einer Bewertung geteilt durch ihren höchsten Punkt, also ergibt 4 von 5 den Wert 80. Eine umgekehrt formulierte Frage wird zuerst umgedreht. Der Wert einer Umfrage ist der Durchschnitt ihrer Antworten, es sei denn, ihr Autor gewichtet manche Fragen stärker, und die Ansichten zeigen ihn von 10.

  • Meine Führungskraft nimmt meine Ideen ernst.4 von 580
  • Meine Arbeitsmenge ist mehr, als ich bewältigen kann.2 von 540umgedreht60
  • Ich vertraue darauf, dass meine Führungskraft mich fair behandelt.5 von 5100
  • Durchschnitt80Angezeigt als8,0

Die Empfehlungsfrage (eNPS) ist der Anteil, der 9 oder 10 antwortet, minus den Anteil, der 0 bis 6 antwortet.

Themen

Themenwerte, die sich nachvollziehen lassen

Ein Thema wird nur aus den ihm zugeordneten Fragen bewertet, die jemand beantwortet hat, und jede Antwort zählt einmal. Ein Thema, zu dem niemand geantwortet hat, hat keinen Wert, keine Null.

  • Wo die KI-Auswertung an ist, kann eine geschriebene Antwort zu ihrem Thema zählen, und ein Thema, nach dem keine Frage fragt, wird nur bewertet, wenn die Auswertung auf das Geschriebene verweist.
  • Eine Bankfrage, die in ihrem eigenen Wortlaut gestellt wird, behält ihren Wert unter einer festen ID und ist so mit jeder Umfrage vergleichbar, die sie stellt. Formulieren Sie sie um oder ändern Sie Typ oder Skala, wird sie zu Ihrer eigenen; stellen Sie den Wortlaut wieder her, zählt sie wieder.
Fragen aus der Fragenbank

Die Ergebnisse lesen

Wie sicher jede Zahl ist

Der Punkt neben einem Wert beruht auf einer 95-%-Spanne: wie weit sich der Wert bewegen könnte, wenn alle geantwortet hätten, berechnet aus der Zahl der Antwortenden und daraus, wie stark ihre Antworten auseinandergehen.

  • Menschen zählen einmal, wie oft sie auch antworten.
  • Die Spanne wird enger, wenn die meisten Gefragten geantwortet haben.
  • Unter zehn Menschen oder dem Doppelten Ihrer Datenschutzgrenze wird keine Spanne angegeben, und der Punkt sagt allein aus der Anzahl, wie sicher die Zahl sein kann.
Wie sicher ist diese Zahl?

Kommentare

Themen in dem, was Menschen schreiben

Ein Kommentar wird unter dem Thema der Frage abgelegt, die er beantwortet. Wo die KI-Auswertung an ist, bekommt jede Antwort außerdem bis zu sechs Stichworte aus dem Geschriebenen.

  • Ein Thema kehrt wieder, wenn es in mindestens zwei Kampagnen vorkommt, und ist neu oder steigend im Vergleich zur gleichen Zahl von Tagen davor.
  • Ein Thema, das weniger Menschen genannt haben, als Ihre Datenschutzgrenze vorsieht, wird nicht aufgeführt.
  • Eine Zusammenfassung der Kommentare nennt niemanden und keine Zahl, die ihr nicht vorlag, und ein Zitat muss der eigene Wortlaut der antwortenden Person sein.

Insights

Insights, die ihren Rechenweg zeigen

Polzys Insights werden von Code gefunden, nicht von der KI. Sieben Prüfungen vergleichen die letzten 30 Tage mit den 30 davor, und jeder Befund trägt die Zahlen, die ihn ergeben haben, und wie sicher er ist.

Die sieben Prüfungen

  • Eine Gruppe, die sich um 8 Punkte oder mehr vom Rest des Arbeitsbereichs entfernt
  • Eine Gruppe, deren eigener Wert um 8 Punkte oder mehr gestiegen ist
  • Ein Thema, das neu ist oder in zwei oder mehr Kampagnen zunimmt
  • Negative Antworten, die sich zu 40 % oder mehr in einer Gruppe ballen
  • Eine Gruppe, die verstummt ist
  • Ein Thema, dessen Erwähnung mit einem um 8 Punkte oder mehr niedrigeren Wert einhergeht
  • Mehr Menschen, die ein Risikozeichen zeigen

Die KI schreibt dann aus diesen Zahlen den Satz und einen nächsten Schritt. Von einem Thema, das mit einem niedrigeren Wert einhergeht, heißt es, dass es damit einhergeht, nie, dass es ihn verursacht.

KI-Analyse und Erkenntnisse

Datenschutz

Eine Datenschutzgrenze bei jedem Ergebnis

Das Ergebnis einer Gruppe erscheint erst, wenn genug Menschen geantwortet haben: standardmäßig drei oder eine höhere Zahl bis 50, die Ihr Arbeitsbereich festlegt. Gezählt werden Menschen, nicht Antworten.

  • Wenn eine Gruppe verborgen ist, verbirgt Polzy auch die kleinste der angezeigten Gruppen, um die Anonymität zu schützen.
Mehr zur Datenschutzgrenze

Was wir nicht behaupten, noch nicht

  • Wir sagen nicht, dass eine Frage misst, was sie messen soll, bevor echte Antworten das zeigen.
  • Wir vergleichen Sie nicht mit anderen Organisationen: Polzy hat keine Benchmarks.
  • Wir sagen nicht, was einen Wert verursacht, nur, was mit ihm einhergeht.

Weiterlesen

Schließen Sie die Lücke zwischen Feedback und Handeln.

Kostenlos für Ihre ersten 1.000 Antworten pro Monat. Team und Business beginnen mit einer kostenlosen Testphase.

Datenspeicherung in der EUDSGVOJederzeit kündbar