Sommaire
Partie 1 : Metascore et Userscore des jeux PC
- Les jeux sont-ils vraiment notés de 0 à 100 ?
- La presse et les utilisateurs notent-ils de la même façon ?
- La qualité des jeux baisse-t-elle d'année en année ?
- À quel moment de l'année faut-il regarder les nouvelles sorties ?
Partie 2 : Metascore et Userscore des jeux console
- Sur quelle consoles les jeux sont-ils les meilleurs ?
- Utilisateurs et presse notent-ils de la même façon sur console que sur PC ?
- Comment les utilisateurs évaluent-ils les jeux console par rapport aux journalistes ?
En lisant un post de Kimuji sur le topic d'à côté qui pointait la différence entre Metascore et Userscore sur Fallout 4, j'ai eu envie de faire quelques stats sur les notes Metacritic des jeux. Un peu de traitement des ~3000 entrées de jeux PC sur Metacritic ayant au moins 7 reviews presse plus tard, voici quelques résultats intéressants.
Les jeux sont-ils vraiment notés de 0 à 100 ?
La rumeur veut que les sites de jeux vidéos aient tendance à surnoter, autrement dit, à ne pas utiliser tout "l'espace" de notation - aboutissant à considérer un jeu à 6/10 (ou 12/20) comme vraiment pas terrible par exemple. Rien de mieux pour avoir les idées claires que de bonnes vieilles statistiques - idéalement, une "bonne" distribution de notes devrait être une gaussienne centrée sur la moyenne - bon, allez, si on admet un peu de surnotage, une gaussienne centrée un peu au-dessus de la moyenne.
Alors, pour commencer, quelle est la tranche metascore où l'on retrouve le plus de jeux, hmm ? Autour de 50 ? 60 ?...
(vous excuserez les graphes en anglais, une habitude au cas où j'aurais besoin de les utiliser ailleurs ; ça devrait rester très compréhensible...)
Eh oui, le pic est quelque part entre 70 et 80 (pour être exact, le metascore moyen est de 71)... et la distribution a quand même une tête de gaussienne bien déformée, avec une traînée assez longue côté gauche et, étrangement, une chute abrupte côté droit - rares sont les jeux à faire une unanimité au-dessus de 90%.
Bouh, bouh, journalistes, tous des corrompus vendus aux marketeux des grands éditeurs qui surnotent à fond, heureusement que les utilisateurs sont là pour noter plus sérieusement ! Alors, faisons la même chose avec les userscores (qui sont eux évalués entre 0 et 10, pour une raison que j'ignore)...
Mouais, on a beau dire, ça aussi une sale tête avec un pic encore plus prononcé autour de 8 - de façon amusante, le userscore moyen s'élève à 7,1, soit... pareil que le metascore moyen. Alors que les notes moyennes autour de 8 abondent, dépasser les 8,5 et surtout 9 est là encore plus improbable que dans les reviews presse.
Finalement, quand on voit ces distributions, que ce soit en metascore ou userscore, on n'est pas loin de la vérité en considérant que les gens notent en réalité entre 5 et 10 : un jeu noté 6/10 est en réalité dans les 20% des jeux les plus mal notés, que ce soit selon le metascore ou le userscore...
La presse et les utilisateurs notent-ils de la même façon ?
Bon, la réponse est évidemment non, ou plutôt, ça dépend des jeux, mais dans quelles proportions exactement ?
Regardons d'abord la répartition des jeux en fonction de la différence entre leur metascore et leur userscore (ou plus précisément, entre leur metascore et 10 fois leur userscore)
Eh, c'est pas si mal finalement, hein ? D'ailleurs, quelle est la différence la plus fréquente (le pic au milieu) ? Je vous le donne entre mille... c'est 0 ! Autrement dit, il est plus fréquent pour un jeu d'avoir un metascore et un userscore identiques que n'importe quel écart dans un sens ou dans l'autre - et lorsqu'il y a un écart, il est généralement faible finalement...
Par curiosité, intéressons-nous aux extrêmes : quels sont les jeux les mieux évalués par la presse par rapport aux utilisateurs (ceux tout à droite du graphe plus haut) ?
Marrant comme on retrouve pas mal de FPS (dont 3 Call of Duty) ; dans les autres jeux présents, on peut remarquer la présence du SimCity de sinistre mémoire, de Payday 2 sûrement plombé par la récente shitstorm autour de la vente de costumes, de Batman: Arkham Knight et son portage PC horrible, de deux extensions pour RollerCoaster Tycoon 3 dont les utilisateurs les plus critiques n'ont étrangement pas fait part des raisons de leur déception et de deux mégahits de Blizzard, Diablo III et Hearthstone.
Et côté jeux les moins bien évalués par la presse par rapport aux utilisateurs ?
Là j'avoue que la plupart des jeux me sont inconnus ou presque, à part Victoria, un jeu Paradox dont je peux imaginer que la complexité ait rebuté les critiques presse tout en étant un hit chez les fans du genre...
Bon, c'est bien beau de regarder la distribution des écarts, mais en plottant l'un contre l'autre (du verbe plotter, anglicisme de plot, pas peloter, bande de pervers) le metascore et le userscore :
Alors, comme on l'avait vu un peu plus haut, les écarts ne sont pas siiii délirants, la grosse masse de points ne s'écarte pas trop d'une droite userscore = metascore/10 (et s'accumule autour des notes à 70-80 comme vu encore plus haut). Mais ce qui est difficile à discerner dans ce nuage de point, c'est la position relative de tous ces points par rapport à cette fameuse droite userscore = metascore/10 - en d'autres termes, est-ce qu'en général les utilisateurs notent mieux que la presse ou l'inverse ?
La régression linéaire (et son équation) apportent quelques renseignements. L'ordonnée à l'origine (2,3671) indique que les utilisateurs ont tendance à nettement mieux noter les très mauvais jeux, par contre, la pente de la régression (0,0666) est inférieure à 0,1, ce qui veut dire qu'au fur et à mesure que le metascore (et le userscore) augmente, cet excès de générosité s'amenuise. La régression linéaire coupe la droite y = 0,1x à peu près point d'abscisse 71 - autrement dit, en-dessous de 71 de metascore, les utilisateurs ont tendance à mieux noter les jeux que la presse, et au-dessus la presse a tendance à mieux noter que les utilisateurs. Bref, meilleur est le jeu, plus il est difficile d'avoir une unanimité des joueurs plutôt que des critiques (ce qui n'est pas si surprenant en y réfléchissant, c'est sans doute un effet lié à la masse, avec bien plus de notes utilisateurs que de notes presse, les avis utilisateurs ont tendance à être moins "accordés").
De façon amusante, on peut remarquer qu'on retrouve le même 71 qui est à la fois le metascore moyen et le userscore moyen - autrement dit, les utilisateurs sont plus cléments envers les jeux moins bons que la moyenne et plus sévères envers les jeux meilleurs que la moyenne.
La qualité des jeux baisse-t-elle d'année en année ?
OK, il y a certain effort mental à faire pour assimiler note metacritic et qualité d'un jeu (surtout d'une année à l'autre), mais faisons comme si.
Qu'est-ce que ça donne si on regarde l'évolution des metascore et userscore moyen par année ? (attention, dans le graphe ci-dessous, pour mieux mettre en évidence l'évolution, l'échelle metascore/10*userscore est ramenée entre 60 et 90)
Première chose à remarquer, il y a une nette baisse en 2000 qui va de pair avec une nette hausse des jeux évalués : c'est très probablement un artefact lié à la mise en place de metacritic (en 1999), qui doit s'appuyer sur un panel incomplet de jeux (les plus populaires sans doute) avant sa création. On va donc laisser de côté ces années.
À partir de 2000, ce qui est frappant c'est de voir que les userscores ont tendance à baisser, passant d'environ 7,8 de moyenne en 2000/2001 à 6,8 en 2015, soit 1 point entier de moins, alors que les metascores restent finalement relativement stables dans le temps. Alors, les jeux sont-ils de plus en plus mauvais, ou les utilisateurs sont-ils de plus en plus exigeants ?... Ne voyant pas particulièrement de raison au premier, j'ai tendance à penser le second...
En tout cas, tout ça est de nature à altérer un peu les commentaires plus haut sur l'écart de notation utilisateurs/presse - si les utilisateurs étaient nettement plus généreux il y a 15 ans qu'aujourd'hui, la différence d'opinion avec la presse n'est peut-être pas qu'une histoire de caractéristiques intrinsèques des jeux... mais j'avoue avoir un peu la flemme de faire des régressions linéaires ou multilinéaires sur les écarts utilisateurs/presse année par année pour en avoir le coeur net.
Intéressant de voir aussi la hausse du nombre de jeux évalués à partir de 2011 - tout en gardant en mémoire que ce ne sont pas les sorties de jeux, mais ceux ayant été testés par au moins 7 magazines publiés par Metacritic. Peut-être qu'il y a plus de sorties de jeu (l'explosion des ventes indés ces dernières années évoquée dans le dossier Indiecalypse de CPC n'apparaît pas pourtant), ou plus probablement la presse teste davantage de jeux (ou que Metacritic intègre davantage de publications).
À quel moment de l'année faut-il regarder les nouvelles sorties ?
Tous les mois sont-ils égaux en termes de nouveautés vidéoludiques ? N'importe quel département marketing d'éditeur de jeux vidéos vous dira évidemment que non : l'automne est LA période de toutes les attentions, avec Noël qui approche, c'est le moment de sortir tout ce qu'on peut ! Mais est-ce que qualité rime avec quantité ?
Regardons les metascore et userscore en fonction du mois de sortie :
Sans surprise, septembre, octobre et novembre sont encombrés de sorties, pratiquement le double d'un mois ordinaire ; décembre et janvier sont nettement plus calmes, sans doute à cause de toutes ces sorties rushées pour les fêtes, de même que juillet et août (ce sont les vacances pour les joueurs, mais aussi surtout pour les éditeurs...).
Côté notes les choses sont différentes en revanche. Les évaluations moyennes varient assez peu autour de 70, à deux exceptions près : une nette baisse en juillet (mais pas en août), pour une raison que je ne saurais expliquer, et au contraire de meilleurs scores de septembre à décembre - peut-être un effet des "hits" pour lesquels un gros succès est escompté et que les éditeurs vont tenter de placer à ce moment-là. Ou alors la mélancolie des automnes pluvieux font davantage apprécier le fait de trouver des jeux vidéos pour s'occuper, j'en sais rien.
Dans l'ensemble, il y a peu de différence entre userscores et metascores, sauf vers août-septembre où les testeurs semblent plus enthousiastes - je n'y vois pas d'explication particulière mis à part un aléa des statistiques.
Bref, amis gamers, surveillez les sorties en septembre, ne vous laissez pas subjuguer par la comm' autour des sorties d'octobre-novembre et partez en vacances l'esprit tranquille en juillet ! (en gardant en tête qu'on parle tout de même de différences de l'ordre de quelques points en moyenne...)