Geenstijl

Geachte GeenStijl,
Graag wil ik jullie op het onderstaande attenderen

"Zoals inmiddels wel bekend is, houdt de gemeente Amsterdam een onderzoek over de mening van Amsterdammers over de tijdelijke afsluiting van o.a. de Weesperstraat. Men mag hopen dat dit onderzoek goed wordt uitgevoerd, zodat resultaten betrouwbaar en valide zijn en de data ook echt wat betekent en bruikbaar is. Echter lijkt de gemeente Amsterdam bezig te zijn met de sturing van onderzoeksresultaten, op wel twee verschillende manieren. Zie hierboven een screenshot van de vragenlijst over de knip.

Ten eerste, het sentiment voor de keuzeopties. Waar in onderzoeken vaak een 5-punts Likertschaal wordt aangehouden, tot soms zelfs een 9-punts Likertschaal, kiest de gemeente Amsterdam voor een 3-punts Likertschaal. Aparte keuze, maar dat is niet eens mijn punt.

In dit soort schalen is het standaard dat er altijd een 'middelkeuze' is. Als voorbeeld: erg ontevreden, ontevreden, neutraal, tevreden, erg tevreden. Neutraal is hier de middelkeuze. Sommige mensen hebben namelijk geen uitgesproken mening. Zoals je kan zien op de foto kiest gemeente Amsterdam voor de volgende keuzemogelijkheden: ontevreden, tevreden en zeer tevreden. Er is geen middelkeuze en twee van de drie keuzeopties zijn positief. Dit is mijn inziens een duidelijk geval van sturing van onderzoeksresultaten, maar het wordt nog leuker. 

Zo worden mensen die visueel zijn ingesteld ook nog eens misleid. Als je kijkt naar de emoticons die worden gebruikt in de enquête zie je een best duidelijk keuze tussen ontevreden, neutraal en tevreden. De koppeling van de eerste emoticon klopt maar bij de tweede en derde emoticon gaat het mis. De tweede emoticon met een rechte mond wordt normaliter gezien als neutrale keuze-optie, echter wordt er nu een positief sentiment aan gegeven. Mensen die visueel zijn ingesteld en neutraal willen stemmen worden gestuurd naar een positief antwoord. De derde emoticon is eigenlijk ook fout, aangezien dit type smiley in onderzoeken wordt geassocieerd met tevreden, en niet zeer tevreden. Geen ramp, maar het feit dat bij de middelste keuzeoptie sturing plaatsvindt is wel onaanvaardbaar. 

Hier onder de smileys die zijn gebruikt in het onderzoek. Google Image Search leert dat er maar drie varianten van dit type design emoticon bestaan. Het kan dus niet zo zijn dat er per ongeluk een aparte sentiment keuze is gemaakt omdat dit op internet toevallig zo gekoppeld stond en is overgenomen. Dat er bijvoorbeeld ook nog een oranje variant was en per ongeluk de verkeerde is geüpload. De keuze om het gekozen sentiment te koppelen aan deze emoticons is bewust gemaakt.

Door het design van dit onderzoek zijn de onderzoeksresultaten niet valide. Validiteit in onderzoek betekent dat je meet wat je wilt meten. Gezien de tekst onder de emoticons en de emoticons zelf niet overeenkomen, komt de validiteit in geding. Meten we nu wel wat we willen meten of meten we wat we graag als uitkomst willen zien? Een oplossing zou zijn om bij de volgende enquête dit te verbeteren maar dat leidt tot het volgende probleem: de betrouwbaarheid van het onderzoek. Betrouwbaarheid in onderzoek betekent dat hoe vaak je ook iets test, de onderzoeksresultaten zullen hetzelfde zijn. Wordt er midden in een onderzoek het design van keuzeopties veranderd, dan zijn de onderzoeksresultaten niet meer betrouwbaar. Het onderzoek is dus al niet valide, en mocht de validiteit worden hersteld, dan is het ook niet meer betrouwbaar. 

Al met al is dit een 'onderzoek' dat ver onder de maat is en het riekt naar sturing van onderzoeksresultaten, wat absoluut onaanvaardbaar is. De onderzoeksresultaten worden meegenomen in het besluit over of een knip definitief wordt doorgevoerd, wat de noodzaak voor goed onderzoek zo belangrijk maakt. Vanwege de opzet van dit onderzoek is dit hopeloos mislukt en is de data onbruikbaar. 

Zoals valt te zien in de screenshot ben ik als bewoner van Amsterdam centrum niet tevreden met het experiment (ik stem ontevreden). Dit geeft natuurlijk een motief om goed te zeuren over het experiment maar waar ik me nooit heb gemengd in de discussies erover, kan ik niet anders dan wat van me laten horen. Blijkbaar worden beslissingen in Amsterdam gemaakt op basis van onderzoeken die kwalitatief nog lager liggen dan de onderzoeken die ikzelf in groep 8 deed. Alleen ging het daar over iets minder belangrijke onderwerpen dan de inrichting van een stad.

Vandaar mijn mail aan jullie. Ik denk dat dit een onderwerp is om vragen over te stellen richting gemeente Amsterdam. Wie laten zij dit soort belabberde onderzoeken opstellen? Kunnen we de resultaten vertrouwen? (spoiler: nee). Worden de resultaten nadat blijkt dat de opzet van het onderzoek slecht is nog wel meegenomen? Wat betekent dat dan voor het experiment? En worden alle onderzoeken van gemeente Amsterdam op deze manier gedaan? Is er budget om een vacature open te gooien voor wetenschappelijke onderzoekers zodat dit soort gênante vertoningen niet meer plaatsvinden? *You get my point." *

[NAW bij redactie bekend]
(@Annabel je mag het ook aan Cousin Greg Kevin Kreuger vragen)