Ik ben geen fan van Metacritic. De site, die scores die door de pers gegeven worden voor bijna elke vorm van entertainment zoals dat zo mooi heet ‘aggregeert’ en het gemiddelde eruit gooit, is intussen zo’n instituut geworden dat ontwikkelaars van games afgerekend worden als de gemiddelde score niet voldoende is. Het probleem daarvan (naast het feit dat Metacritic als site helemaal niet transparant is over hoe ze aan dat -gewogen- gemiddelde komen) is dat er veel te veel nadruk wordt gelegd op hoeveel scores er zijn in plaats van wat ze betekenen. Het is het eindstation in het verwijderen van alle context in recensies van games: er blijft alleen een cijfer over dat je helemaal niets vertelt over wat een game voor je zou kunnen betekenen. Precies de reden dat er hier geen cijfers te vinden zijn bij recensies.
Maar vorige week kwam er een nieuwe feature online bij de site: een gemiddeld cijfer voor de ontwikkelaars van al die games. Dat heeft een storm van commentaar opgeleverd (niet in de laatste plaats door de ontwikkelaars zelf) en gisteren heeft Metacritic dan ook maar aangekondigd dat de cijfers van de ontwikkelaars voorlopig uit blijven staan. Het is een begin, maar wat mij betreft hoeven ze helemaal niet meer aan.
Het vergelijken van ontwikkelaars is een exercitie die gedoemd is om te falen als je niet alle data van de wereld hebt, precies wat gebeurd is nu. Want met een graadmeter die als persoon qua kwantiteit en kwaliteit zo ver boven het maaiveld uitsteekt is het snel duidelijk dat er dingen scheef gaan lopen. Cliff Bleszinsky, verantwoordelijk voor de Gears of War serie had er de juiste woorden voor op Twitter:
Tja, hij heeft een punt. Je hoeft echt niet gestudeerd te hebben om te weten dat een man met Shigeru Miyamoto’s historie (Bedenker van Donkey Kong en Mario, Zelda, Pikmin, Wii Fit en zo goed als de rest van alle Nintendo games die iemand ooit leuk heeft gevonden) en 30 jaar aan games van de bovenste plank de hoogste score zou moeten hebben van allemaal, maar dat is dus niet hoe Metacritic werkt. De insteek van de site is in principe nobel (om te zien waar bepaalde personen aan hebben gewerkt en of hoe die games het hebben gedaan), maar levert in deze context alleen maar ruis op.
Want is een lijst van games met de cijfers erbij dan niet veel beter? Het geeft je veel meer een idee van wat iemand allemaal heeft gedaan dan dat ene cijfer, dat op 100 games of 10 games gebaseerd kan zijn, waarbij het ook nog eens heel wat uitmaakt of je als ontwikkelaar bij een uitgever werkt die altijd op safe speelt of dat er risico’s genomen mogen worden, die onherroepelijk tot lagere scores leiden. En dan nog: het is sowieso lastig om te overzien in hoeverre iemand echt heeft meegewerkt aan een game of er alleen zijdelings bij betrokken is geweest. Wordt dat meegenomen? Telt het punt zwaarder mee als je lead designer was ten opzichte van design consultant?
Erger nog is dat alle data van voor pak ‘m beet 1995 niet wordt meegenomen, omdat er toen simpelweg nog geen internet was om iets vanaf te kunnen pakken. Dus alle 8- en 16-bit helden worden niet geroemd in het Metacritic-pantheon, wat natuurlijk erg kwalijk is. Zeker omdat veel games uit die tijd nog steeds de “top 50 aller tijden”-lijstjes aanvoeren. Dit geeft de site zelf ook wel aan als één van de redenen dat de cijfers nu niet meer te zien zijn.
Het is duidelijk dat een gemiddelde van iemand’s carriere niet werkt, dus ik hoop dat Metacritic dat begrepen heeft (waar het wel op lijkt) en de normering van game-ontwikkelaars een stille dood laat sterven, want elke andere optie is alleen maar trollenvoer dat de fatsoenlijke waardering, die de ontwikkelaars van de games die we samen zo graag spelen verdienen, alleen maar lastiger maakt. En daar wil ik ook best een rapportcijfer opplakken: een 1.
Bron: Metacritic, Twitter
