Zoek een willekeurig biertje op en je vindt hetzelfde beeld op twee websites, met één merkwaardig verschil: op de ene site krijgt het 4,4 van 5, op de andere 2,7. Hetzelfde bier, dezelfde drinkers, twee cijfers die niet bij elkaar passen.

Dat is geen toeval, en het is ook geen kwestie van smaak. Het is het eerste cijfer dat het verschil maakt.

Een experiment dat niemand heeft opgezet

Onderzoekers van de EPFL keken naar twee grote bierrecensiesites, RateBeer en BeerAdvocate. Duizenden bieren staan op allebei, beoordeeld door verschillende gebruikers. Meestal lijkt de eerste beoordeling op beide sites wel op elkaar. Maar soms is er een uitschieter: een bier dat op site A meteen een 4,4 krijgt en op site B een 2,7.

Dat is precies de situatie die je normaal nooit kunt onderzoeken. Je weet nooit wat er gebeurd zou zijn als de eerste recensie anders was uitgevallen. Maar hier is de eerste beoordeling op beide sites onafhankelijk van elkaar gegeven, door iemand die nog niets van de andere site wist. Welke site de hoge eerste recensie kreeg, is in feite een muntworp.

En dus konden ze meten wat er daarna gebeurde.

Wat er daarna gebeurde

Ze vergeleken 7.424 bieren die op beide sites stonden. In de extreme groep — hoog op de ene site, laag op de andere — kreeg hetzelfde bier op de site met de hoge eerste recensie een tweede recensie die gemiddeld 22 procent hoger uitviel. Het bier stond daar in de bovenste helft van de ranglijst, terwijl het op de andere site in de onderste helft bleef.

En het zakte niet weg. Ook na twintig of meer beoordelingen bleef het verschil zichtbaar: ongeveer 10 procent in gemiddelde rang. Het eerste cijfer werkt jaren later nog door.

Het voorbeeld dat in het onderzoek staat: Grain Belt Nordeast kreeg op BeerAdvocate een eerste recensie van 4,38 en op RateBeer een van 2,7. Jaren later stond het gemiddelde op 3,49 (467 recensies) tegen 2,59 (115 recensies). Hetzelfde bier.

Waarom dit gebeurt

Mensen gebruiken eerdere beoordelingen als informatie. Als iedereen het goed vindt, zal het wel goed zijn. Dat is op zich rationeel. Het probleem is dat die redenering het signaal versterkt in plaats van meet.

De eerste recensie is geen steekproef uit de kwaliteit van het product. Het is één persoon, op één dag, met een hoofdpijn of een goede bui. Maar die ene recensie bepaalt wat de tweede persoon ziet, en de tweede beïnvloedt de derde. Na een tijdje is het gemiddelde geen schatting meer van hoe goed het bier is, maar een verslag van hoe de eerste paar toevalligheden zijn verlopen.

Dat is een belangrijk onderscheid. Een meting wordt betrouwbaarder naarmate je vaker meet. Een zichzelf versterkend proces wordt niet betrouwbaarder; het wordt alleen maar zekerder van zichzelf.

Niet alleen bier

Hetzelfde mechanisme zit overal waar een eerste oordeel zichtbaar is voordat er genoeg andere oordelen zijn.

De eerste reactie onder een forumdraad bepaalt de toon van de rest. Het eerste sterretje op een app in de winkel bepaalt of de volgende gebruiker hem überhaupt installeert. Het eerste bod in een onderhandeling werkt als anker, ook als iedereen weet dat het willekeurig is gekozen. En op marktplaatsen met weinig aanbod bepaalt de eerste verkoper de prijs die iedereen daarna redelijk vindt.

Steeds hetzelfde patroon: één vroeg signaal, veel gewicht, en een uitkomst die daarna zijn eigen gelijk bewijst.

Wat de onderzoekers voorstellen

Hun oplossing is verrassend simpel: verberg alle recensies tot een product er minstens tien heeft. Niet alleen het gemiddelde cijfer, zoals de sites nu doen, maar de recensies zelf. Dan verzamel je tien onafhankelijke eerste indrukken, en de elfde lezer ziet een gemiddelde dat veel dichter bij de werkelijkheid ligt.

Dat is een interessante ruil. Je geeft tijdelijk transparantie op om de meting betrouwbaarder te maken. Voor een site die leeft van recensies is dat een lastige keuze, want recensies zijn ook entertainment en gemeenschap. Maar statistisch is het de juiste kant van de ruil.

Wat ik ervan meeneem

Als lezer: bij een product met minder dan tien beoordelingen kijk je niet naar kwaliteit, je kijkt naar de eerste beoordelaar. Wacht, of zoek een product met genoeg geschiedenis.

Als maker: de eerste recensie is geen bijzaak. Vraag je eerste klanten om een eerlijke beoordeling op het moment dat je product al goed genoeg is om die te verdienen, niet op de dag van de lancering.

En als ontwerper van een beoordelingssysteem: het probleem is niet dat mensen elkaar napraten. Het probleem is dat we ze één cijfer laten zien voordat er iets te vergelijken valt.

Een gemiddelde van twee is geen mening. Het is een muntworp met een sterretje erbij.

Bron: Of sheep and beer — Gael Lederrey en Bob West, EPFL Data Science & AI Lab; paper: When Sheep Shop.