Si incontestablement, le point fort des super-panels repose sur la taille de la population étudiée, ils soulèvent encore quelques problèmes méthodologiques, voire pour certains des problèmes éthiques.
Les points forts des super-panels
Le grand apport des super-panels est incontestablement la taille de la population étudiée. En ayant une taille de population étudiée de 20 à 50 fois plus élevée que celle des panels traditionnels, les super-panels permettent de disposer d’indicateurs d’audience pour des sites ne pouvant être pris en compte dans les panels traditionnels et de mesurer des actions jusque là trop rares pour être prises en compte.
Même un grand panel traditionnel dépassant les 50 000 panélistes ne peut donner des données d’audience fiables au delà des quelques centaines de sites les plus fréquentés. Le fait de dépasser le million de panélistes permet mécaniquement d’obtenir des données utilisables pour plusieurs milliers, voire dizaines de milliers de sites.
L’augmentation de la taille et l’utilisation d’une technologie de tracking adéquate permet également d’affiner l’analyse au niveau des achats réalisés sur les sites. Un panel comme par exemple celui de Comscore se singularise par sa capacité à donner des statistiques sur les transactions enregistrées sur les sites marchands.
Quelques faiblesses ou questions à se poser sur les super-panels
La déontologie du recrutement
Un problème déontologique peut se poser dans la façon dont le panel prévient les utilisateurs du service servant de "cheval de Troie" qu’ils intègrent par la même occasion un panel de mesure d’audience. Si pour les acteurs les plus en vues l’annonce est désormais très claire, il peut arriver pour certains "super-panelistes" que le message soit nettement moins clair afin d’augmenter le taux d’adhésion et de réduire le coût de recrutement.
Le biais de sélection des destinataires d’une offre de recrutement
Pour la plupart des panels off line et pour les panels traditionnels Internet, la sélection des destinataires des offres de recrutement se fait par téléphone et de manière purement aléatoire pour assurer une représentativité des panélistes.
Le recrutements des panélistes dans le cadre d’un super-panel se fait généralement par le biais de campagnes d’e-mailing ou par bandeaux publicitaires et ne procède donc pas d’une sélection aléatoire.
Le biais d’auto-sélection
Le fait d’accepter de faire partie du panel peut induire des biais d’auto-selection. Si il y a une prime, cela peut conduire à une sur-représentation de profils de chasseurs de primes ou alors, le fait que le service soit un accélérateur de connexion ou une barre de navigation peut donner une sur-représentation d’utilisateurs intensifs ou suffisamment initiés pour télécharger ce type d’application.
Bien sur, les spécialistes des super-panels sont conscients de ces biais et prennent des mesures correctrices pour assurer la représentativité de leurs panels. La population prise en compte est ainsi redressée sur des données de profils et de comportement d’usages, mais ceci est plus difficile à faire sur des aspects plus psychologiques.
Les comportements multi-utilisateurs
Un super-panel mesure les comportements de navigation et d’achats constatés pour une machine et non ceux d’un utilisateur. Contrairement à ce qui se fait généralement pour des panels traditionnels, il n’y a pas de boîte de dialogue destinée à identifier l’utilisateur avant chaque session de navigation.
Une qualification parfois moins fine des panélistes
La démarche de recrutement étant différente et liée à la dynamique d’obtention d’un autre service, sous peine de rebuter trop de prospects panélistes, les questionnaires de qualification sont généralement moins complets que ceux des panels traditionnels.
Comme pour les panels traditionnels, les super-panels peuvent donc soulever quelques questions relatives à la méthodologie employée. Il est cependant intéressant de signaler que l’Advertising Research Foundation (ARF) s’est penchée sur les méthodes employées par Comscore et que tout en signalant quelques axes de progrès, le jugement porté a plutôt été favorable.
