Wordt het CVW cijfer van 7,1 voor “algemene tevredenheid” gecreëerd?
Er is een relativerend gezegde over de waarde van de bevindingen in de statistiek en dat is: er zijn kleine leugens, grote leugens en statistieken.
Daaraan moest ik denken bij het lezen van de resultaten van het bewonerstevredenheidsonderzoek van het CVW in het jaar 2015. De directeur van het CVW schrijft daarover in een brief aan minister Kamp.
Reactie CVW op opmerkingen onafhankelijke raadsman. {link}
In deze brief schrijft hij: “De algemene tevredenheid over het schadeafhandelingsproces door het CVW scoorde het cijfer: 7,1.” Daar begint al de verwarring. Want aan schadelijders is niet gevraagd naar een concreet cijfer om hun tevredenheid weer te geven, en dus is het een ‘vertaling’ van niet cijfermatige scores. Mag een dergelijke vertaling van niet cijfermatig scores zo maar? Nee, onderzoekstechnisch is zoiets niet passend. Maar wel handig van het CVW om het zo te publiceren! En als het CVW dit ‘cijfer’ook nog eens combineert met de 35% van de schadelijders (7711) die gereageerd zouden hebben, dan laat die 7.1 voor ‘algemene tevredenheid’ zich als een prettig cijfer presenteren. Die 7.1 als een concrete waardering presenteren is echter dubieus.
Hoe komt dhr. Kruyt eigenlijk aan dat cijfer voor “algemene tevredenheid”? In de brief aan de minister staat onderstaande tabel over de resultaten van het ‘bewonerstevredenheidsonderzoek’. Nergens is bij de gepresenteerde resultaten het begrip ‘algemene tevredenheid’ terug te vinden in deze tabel.
Resultaten bewonerstevredenheidsonderzoek, verdeeld naar onderdelen:
Heeft hij soms appels, peren en pruimen bij elkaar opgeteld? Met andere woorden heeft hij de beoordelingen van het meldingsproces, het bezoek schade-expert en schade expertiserapport bij elkaar opgeteld en vervolgens gedeeld door drie? Dan kom je namelijk precies uit op die 7,1. Heeft hij daar het etiket “ algemene tevredenheid” opgeplakt?
Hoe dit alles te wegen? Op zijn minst kan gezegd worden dat het een warrige presentatie van de onderzoeksresultaten is. Of is het goochelen met resultaten of manipuleren? En dat om tot een ‘bevredigend’ resultaat te komen?
Hoeveel mensen hebben op de vragen gereageerd?
Dhr. Kruyt, de algemeen directeur van het CVW, schrijft aan minister Kamp dat in 2015 er totaal 22.581 vragenlijsten zijn verstuurd. De respons, de teruggestuurde vragenlijsten, was volgens het onderzoeksbureau 7.711 zijnde 35% van die 22.581. Het CVW is er trots op. De directeur van het CVW laat niet na om in de brief te vermelden dat het onderzoeksbureau dit als een hoge score ziet.
Maar opmerkelijk is, dat dit getal niet terugkomt in de tabel met de resultaten van het bewonerstevredenheidsonderzoek. Klopt die 35% dan wel? De volgende in de tabel vermelde bevindingen, zoals toegestuurd aan de minister, roepen twijfel op:
– Slechts 2952 van de reagerende schadelijders hebben een beoordeling gegeven over het meldingsproces. Dat is geen respons van 35% maar van 13 %. De resterende 4759 mensen van die 7.711 hebben hierbij blijkbaar niets ingevuld.
– Slechts 2465 van de reagerende schadelijders hebben een beoordeling gegeven over het bezoek van de schade-expert. Dat is geen respons van 35% maar van 10,9 %. De resterende 5246 mensen van die 7.711 hebben hierbij blijkbaar niets ingevuld.
– Slechts 2406 van de reagerende schadelijders hebben een beoordeling gegeven over het schade-expertiserapport. Dat is geen respons van 35% maar van 10,6 %. De resterende 5305 mensen van die 7.711 hebben hierbij blijkbaar niets ingevuld.
Kortom, in de antwoorden op de hoofdvragen is de mening van de overgrote meerderheid van de ‘respondenten’ niet terug te vinden. Op basis van wat vermeldt het CVW dan de respons van 35%? Zijn slechts de teruggestuurde enveloppen geteld, ook als er niets is ingevuld? Is het soms een knullig presenteren van de cijfers in een formele brief aan de minister? Is het goochelen met de resultaten of is het manipulatie?
Helaas lijkt het erop, dat het eerder aangehaalde gezegde over de statistiek ook geldt voor het bewonerstevredenheidsonderzoek CVW: er bestaan kleine leugens, grote leugens en het bewonerstevredenheidsonderzoek CVW.
Dick Kleijer
Secretaris GBB