Naar de inhoud

Onderzoek

Hoe we onze vragen schrijven, en hoe we de antwoorden lezen

Bijna vier op de vijf vragen in de bank van Polzy zijn geïnformeerd door gepubliceerd onderzoek, en elk daarvan noemt het onderzoek waarop het rust. De meeste zijn in onze eigen woorden; de paar die we bewerken naar openbare enquêtes, zeggen waar ze vandaan komen. Elk resultaat wordt open berekend: op hoeveel mensen het rust, hoeveel het nog kan verschuiven, en wat het achterhoudt om hen te beschermen.

  • 487 vragen in zes talen
  • 380 geïnformeerd door gepubliceerd onderzoek
  • Zo’n 110 bronnen, per vraag vermeld

De bank

Vragen die hun woorden houden

Een resultaat zegt pas iets naast een ander resultaat dat op dezelfde manier is gevraagd. Daarom heeft elke vraag in de bank een vaste identiteit en een vaste formulering, en zijn de antwoorden vergelijkbaar tussen enquêtes en door de tijd.

Vaste formulering

Een bankvraag houdt haar woorden. De antwoorden tellen als die van die vraag in elke enquête die haar stelt, zodat een trend gelijk met gelijk vergelijkt.

Zes talen

Elke vraag is geschreven in het Engels, Nederlands, Frans, Duits, Spaans en Arabisch. Wie de taal van een enquête wisselt, verandert de woorden die iemand leest, niet de vraag waar het antwoord bij hoort.

Geordend naar wat ze meet

Elke vraag met een score valt onder één onderwerp: steun van de leidinggevende, werkdruk, gebruiksgemak, prijs-kwaliteit. De score van een onderwerp is het gemiddelde van de vragen die het meten.

En naar het moment waarop ze wordt gesteld

Elke vraag is geschreven voor een moment: een vaste pulse, een jaarlijkse enquête, de eerste weken van een nieuwe collega, iemand die vertrekt, een afgehandelde supportvraag, een afgeronde training, een evenement.

Waar ze vandaan komen

Geïnformeerd door gepubliceerd onderzoek

438 van de 487 vragen in de bank zijn in onze eigen woorden. 48 zijn bewerkt naar een vraag uit een gepubliceerde enquête, 46 daarvan uit enquêtes van de Amerikaanse en de Britse overheid, en één wordt gesteld zoals hij is gepubliceerd. Bij 380 ervan zijn wat de vraag meet en hoe ze is geformuleerd geïnformeerd door gepubliceerd onderzoek en door de enquêtes van overheden die hun vragenlijsten en resultaten openbaar maken. Dit is dat onderzoek, per gebied.

Werk en welzijn

Onderzoek naar taakeisen en hulpbronnen, de zelfdeterminatietheorie (autonomie, competentie en verbondenheid), psychologische veiligheid in teams en organisatierechtvaardigheid: of beslissingen en behandeling eerlijk zijn.

Openbare medewerkersonderzoeken

De enquêtes die overheden onder hun eigen personeel houden en openbaar maken: de Amerikaanse Federal Employee Viewpoint Survey en de Britse Civil Service People Survey, met de Australische Public Service Employee Census voor één onderwerp.

Klanten en service

Onderzoek naar servicekwaliteit (betrouwbaar, snel en zorgzaam zijn), naar de moeite die het een klant kost om iets gedaan te krijgen, en naar tevredenheid en loyaliteit.

Producten

Onderzoek naar bruikbaarheid (hoe makkelijk een product te leren en te gebruiken is) en naar of het nuttig is voor het werk waarvoor mensen het gebruiken.

Training en evenementen

De vier niveaus van trainingsevaluatie (reactie, leren, gedrag en resultaten) en onderzoek naar hoe wat mensen leren doorwerkt in hun werk.

Hoe je vraagt

Enquêtemethodologie: hoe formulering, antwoordschalen, vertaling en de volgorde van vragen de antwoorden van mensen veranderen.

Vragen per doelgroep, en waar ze op rusten

Medewerkers170
Klanten114
Product55
Evenementen70
Leren53
Elke enquête10
Formulieren15
20015010050
MedewerkersKlantenProductEvenementenLerenElke enquêteFormulieren
Formulieren zijn geschreven vanuit de praktijk: een naam, een e-mailadres en een toestemmingsvakje hebben geen theorie nodig.

‘Geïnformeerd door’ betekent dat dit onderzoek heeft bepaald wat een vraag meet en hoe ze is verwoord, niet dat haar woorden eruit zijn overgenomen. De 49 vragen die hun woorden wel aan een gepubliceerde enquête ontlenen, staan geregistreerd met die bron en haar licentie. Geen van de genoemde organisaties heeft Polzy beoordeeld of onderschreven. We gebruiken geen vragen uit commerciële vragenlijsten die onder licentie worden verkocht, of van andere enquêtebedrijven.

Per onderwerp

Het onderzoek achter elk onderwerp

Elk onderwerp dat de bank meet, met het onderzoek waarop de vragen zijn geschreven. Meestal bepaalde dat onderzoek wat een vraag vraagt, niet de woorden; een vraag die haar woorden uit een gepubliceerde enquête haalt, zegt dat op haar regel in de enquêtebouwer.

Hoe een vraag wordt geschreven

Regels die elke vraag volgt

Elke vraag wordt opgesteld vanuit een geschreven definitie van wat ze meet (wat het onderwerp omvat en wat niet) en getoetst aan deze regels.

  • Eén idee per vraag

    Geen ‘en’ tussen twee dingen die verschillende antwoorden kunnen krijgen. ‘Mijn leidinggevende is eerlijk en makkelijk bereikbaar’ zijn twee vragen, dus het worden er twee.

  • Gewone woorden

    Korte zinnen (in het Engels hooguit veertien woorden) op een alledaags leesniveau, zonder jargon en zonder uitdrukkingen, die niet te vertalen zijn.

  • In de eerste persoon

    Een stelling waarmee je het eens of oneens bent, gaat over je eigen ervaring: ‘Mijn leidinggevende maakt duidelijk waar ons team zich op moet richten.’ Tevredenheid wordt als vraag gesteld: ‘Hoe tevreden ben je met…?’

  • Een schaal die past

    Stellingen worden beantwoord op vijf punten, van Helemaal niet mee eens tot Helemaal mee eens, elk punt met een label. Tevredenheid, moeite en hoe vaak iets gebeurt, hebben elk hun eigen schaal met labels.

  • Neutraal, niet sturend

    Geen vraag gaat uit van een antwoord of een ervaring: nooit ‘Hoe geweldig was…’, nooit ‘Omdat de training je heeft geholpen…’.

  • Omgekeerde vragen: weinig, en gepland

    Een paar vragen zeggen het omgekeerde (‘Mijn werkdruk is meer dan ik aankan’) zodat opvalt wie het overal mee eens is. Hooguit één per onderwerp, alleen in volledige enquêtes, nooit in een korte pulse, en omgedraaid voordat ze een score krijgt. Verder vermijden vragen ‘niet’, dat mensen verkeerd lezen.

Hoe een vraag wordt gecontroleerd

Van concept tot de bank

Elke vraag in de bank is zo onderzocht en opgesteld. De controles met experts, met lezers en met professionele vertalers komen hierna, en de laatste loopt op echte antwoorden, zodra die binnenkomen.

  1. 1

    Onderzoek en definities

    Gedaan

    Elk onderwerp krijgt een geschreven definitie en het onderzoek erachter, voordat er een vraag wordt opgesteld.

  2. 2

    Opstellen

    Gedaan

    Meerdere formuleringen per onderwerp, geschreven volgens de regels hierboven, zodat de zwakkere kunnen afvallen.

  3. 3

    Beoordeling door experts

    Volgt

    Een organisatiepsycholoog voor vragen over werk, klant- en gebruikersonderzoekers voor vragen over klanten en producten, en een leerspecialist voor training en evenementen beoordelen hoe goed elke vraag bij haar onderwerp past.

  4. 4

    Hardop-denktests

    Volgt

    Mensen beantwoorden de vragen hardop terwijl ze ze lezen, in elke taal, zodat een woord dat verkeerd wordt gelezen of een vraag die moeilijk te beantwoorden is, opvalt voordat iemand erop vertrouwt.

  5. 5

    Professionele vertaling

    Volgt

    Vertalers werken met een gedeelde woordenlijst voor woorden als leidinggevende, team en werkdruk; een onafhankelijke terugvertaling controleert of de betekenis overeind bleef; het Arabisch wordt van rechts naar links gecontroleerd op de enquêtepagina. Tot deze stap is gedaan, zijn de vertalingen in de bank machinaal opgesteld.

  6. 6

    Toetsen aan echte antwoorden

    Zodra antwoorden binnenkomen

    Zodra genoeg mensen hebben geantwoord, laten cijfers over veel antwoorden (nooit die van één persoon) zien welke vragen vaak worden overgeslagen, door bijna iedereen hetzelfde worden beantwoord, of niet meebewegen met de rest van hun onderwerp. Die worden herschreven of uit de bank gehaald, en een vertaling die anders wordt beantwoord dan de andere, wordt opnieuw gecontroleerd.

Wat we mogen gebruiken

Onze eigen woorden, en de paar die we bewerken

438 van onze 487 vragen zijn helemaal onze eigen woorden. 46 bewerken vragen die de Amerikaanse en Britse overheid publiceren om te hergebruiken, en 3 komen uit een gepubliceerde enquête over product-market fit. Elke vraag zegt waar ze vandaan komt.

  • Onze eigen woorden

    438
  • Bewerkt naar Amerikaanse enquêtes in het publieke domein

    De Federal Employee Viewpoint Survey 2024, en de federale norm voor klantervaring in OMB Circular A-11 §280.

    42
  • Bewerkt naar de Britse Civil Service People Survey

    Onder de Open Government Licence v3.0, met wijzigingen.

    4
  • Vragen over product-market fit, met bronvermelding

    Ellis (2010) en Vohra (2018).

    3

We gebruiken geen vraag uit een vragenlijst die onder licentie wordt verkocht of van een ander enquêtebedrijf, en een automatische controle stopt onze build als een vraag er te dicht bij komt.

In de bouwer

Waar elke vraag op rust

In de enquêtebouwer draagt elke bankvraag een van deze labels, en de vragen die op onderzoek steunen noemen hun bronnen.

  • Onderzoeksgeïnformeerd

    380

    Geschreven naar een definitie uit gepubliceerd onderzoek, dat de vraag noemt: 336 in onze eigen woorden, 44 bewerkt naar openbare enquêtes.

  • Uit de praktijk

    107

    Geschreven vanuit het draaien van feedbackprogramma’s: de eerste vragen die Polzy uitbracht, open vragen en formuliervelden. 5 ervan bewerken of citeren een vermelde bron: 2 vragen uit de Amerikaanse federale norm voor klantervaring, en de 3 vragen over product-market fit.

  • Gebruikt zoals gepubliceerd

    De eigen vraag van een gepubliceerde vragenlijst, woord voor woord gesteld. Geen van onze vragen draagt dit label vandaag.

Een vraag die wij schrijven, heet niet gevalideerd omdat ze zorgvuldig is geschreven. Daarvoor is bewijs uit echte antwoorden nodig, in elke taal, en die controles beginnen zodra er antwoorden binnenkomen.

Scores

Van een antwoord naar een score

Elk antwoord wordt een getal van 0 tot 100: het punt van een beoordeling gedeeld door het hoogste punt, dus 4 van de 5 is 80. Een vraag die andersom is geformuleerd, wordt eerst omgedraaid. De score van een enquête is het gemiddelde van haar antwoorden, tenzij de maker sommige vragen zwaarder laat wegen, en schermen tonen hem op 10.

  • Mijn leidinggevende neemt mijn ideeën serieus.4 van 580
  • Mijn werklast is meer dan ik aankan.2 van 540omgedraaid60
  • Ik vertrouw erop dat mijn leidinggevende me eerlijk behandelt.5 van 5100
  • Gemiddelde80Op het scherm8,0

De aanbevelingsvraag (eNPS) is het aandeel dat 9 of 10 antwoordt, min het aandeel dat 0 tot en met 6 antwoordt.

Thema’s

Themascores die je kunt herleiden

Een thema krijgt alleen een score uit de vragen die eraan gekoppeld zijn en die iemand heeft beantwoord, en elke respons telt één keer. Een thema waarover niemand iets heeft beantwoord, heeft geen score, geen nul.

  • Waar AI-lezen aanstaat, kan een geschreven antwoord meetellen voor zijn thema, en een thema waar geen vraag naar vraagt, krijgt alleen een score als de lezing wijst naar wat er geschreven is.
  • Een bankvraag die in haar eigen woorden wordt gesteld, houdt haar score onder een vaste id, zodat ze vergelijkbaar is met elke enquête die haar stelt. Herschrijf haar, of verander haar type of schaal, en ze wordt van jou; zet de woorden terug en ze telt weer mee.
Vragen uit de vragenbank

De resultaten lezen

Hoe zeker elk getal is

De stip naast een score komt uit een marge van 95%: hoeveel de score kan verschuiven als iedereen had geantwoord, berekend uit hoeveel mensen hebben geantwoord en hoeveel hun antwoorden verschillen.

  • Mensen tellen één keer, hoe vaak ze ook antwoorden.
  • De marge wordt kleiner als de meeste gevraagde mensen hebben geantwoord.
  • Onder tien mensen, of twee keer je privacydrempel, wordt geen marge genoemd, en zegt de stip hoe zeker het getal kan zijn op basis van alleen het aantal.
Hoe zeker is dit cijfer?

Opmerkingen

Onderwerpen in wat mensen schrijven

Een opmerking wordt ingedeeld onder het thema van de vraag die ze beantwoordt. Waar AI-lezen aanstaat, krijgt elke respons ook tot zes onderwerpen uit wat er geschreven is.

  • Een onderwerp keert terug als het in minstens twee campagnes opkomt, en is nieuw of stijgend vergeleken met hetzelfde aantal dagen ervoor.
  • Een onderwerp dat minder mensen noemden dan je privacydrempel, wordt niet getoond.
  • Een samenvatting van opmerkingen noemt niemand en geeft geen getal dat ze niet heeft gekregen, en een citaat moet de eigen woorden van de respondent zijn.

Inzichten

Inzichten die laten zien hoe ze tot stand kwamen

De inzichten van Polzy worden door code gevonden, niet door de AI. Zeven controles vergelijken de laatste 30 dagen met de 30 daarvoor, en elke bevinding draagt de getallen die haar opleverden en hoe zeker ze is.

De zeven controles

  • Een groep die 8 punten of meer afwijkt van de rest van de werkruimte
  • Een groep waarvan de eigen score 8 punten of meer steeg
  • Een onderwerp dat nieuw is of stijgt in twee of meer campagnes
  • Negatieve antwoorden die voor 40% of meer in één groep zitten
  • Een groep die stil is geworden
  • Een onderwerp waarbij de vermelding samengaat met een score die 8 punten of meer lager is
  • Meer mensen die een risicosignaal laten zien

De AI schrijft daarna de zin en een volgende stap op basis van die getallen. Van een onderwerp dat samengaat met een lagere score, wordt gezegd dat het ermee samengaat, nooit dat het die veroorzaakt.

AI-analyse en Inzichten

Privacy

Een privacydrempel bij elk resultaat

Het resultaat van een groep verschijnt pas als genoeg mensen hebben geantwoord: standaard drie, of een hoger aantal tot 50 dat je werkruimte instelt. Het telt mensen, geen antwoorden.

  • Als één groep verborgen is, verbergt Polzy ook de kleinste van de getoonde groepen, om de anonimiteit te beschermen.
Over de privacydrempel

Wat we nog niet beweren

  • We zeggen niet dat een vraag meet wat ze moet meten, tot echte antwoorden dat laten zien.
  • We vergelijken je niet met andere organisaties: Polzy heeft geen benchmarks.
  • We zeggen niet wat een score veroorzaakt, alleen wat ermee samengaat.

Meer lezen

Dicht het gat tussen feedback en actie.

Gratis voor je eerste 1.000 reacties per maand. Team en Business beginnen met een gratis proefperiode.

Dataopslag in de EUAVGAltijd opzegbaar