La mesure d’audience site centric par l’usage de panels soulève quelques problèmes ou limites méthodologiues.

Un éclatement de l’offre et des données parfois peu représentatives
Sur le web, l’offre constituée par les sites est pléthorique car elle dépasse le million de sites. Même en prenant en compte les chaînes du cable et du satellite, l’offre de sites Internet est sans commune mesure avec l’offre des chaînes TV.

Les données d’un panel enregistrent les visites pour plusieurs milliers ou dizaines de milliers de sites qui ont été préalablement répertoriés et classés par catégories.

Les sites d’audience de moyenne importance, qui peuvent être des sites de grandes marques, ont une part d’audience qui se trouve la plupart du temps largement sous les 1%.

Dans ce cas, la part d’audience calculée peut être relativement fiable (et encore !) mais les données qualitatives de profil d’audience ne le sont plus.

En effet, 0,5 % de part d’audience sur un panel de 7 000 individus ne correspond qu’à 35 visiteurs issus du panel, ce qui est évidemment très insuffisant pour obtenir un profil de visiteurs fiables. Le CESP a ainsi critiqué le fait qu’un paneliste puisse donner des profils d’audience basés sur des échantillons de 40 individus.

Cet inconvénient est cependant gommé en partie par le fait que l’usage du web est très concentré sur quelques dizaines ou centaines de sites et que de toute façon les sites aux audiences les plus modestes n’ont pas les moyens de s’offrir les résultats d’un panel.
Cette limite peut cependant fausser en partie des données de mediaplanning.

Le caractère national des panels
Pour un site ayant une audience de internationale, les chiffres d’audience ne sont pas les mêmes lorsqu’ils sont obtenus à partir d’un panel ou d’une analyse des fichiers log.
En effet, le panel ne peut pas prendre en compte le trafic provenant des pays étrangers, car la population étudiée est nationale.

Le web étant par nature un media sans frontières géographique, la sous estimation peut être importante pour des sites comptant une bonne part de visiteurs étrangers.

A terme, l’internationalisation des sociétés de mesure ou des accords entre les différents acteurs nationaux pourront peut être un jour fournir des données consolidées sur plusieurs pays.

L’absence ou l’insuffisance de mesure sur le lieu de travail
Le principal reproche fait aux panels est l’insuffisance de la prise en compte du trafic provenant du lieu de travail ou des autres mode d’accès collectifs (universités, lycées).

Les sites à vocation professionnelle peuvent ainsi voir leur audience divisée par deux ou trois sur les données de panel.

Cette faiblesse est due aux difficultés de recrutement au sein des entreprises, car les responsables informatiques et la direction voient généralement d’un mauvais œil l’intrusion de boîtiers espions sur leurs machines.

Dans le cadre d’une initiative vers les usages professionnels datant de quelques années, sur 170 panélistes potentiels, Nielsen s’est heurté à un refus des employeurs dans plus de 90 % des cas et s’est finalement retrouvé avec 3 entrepreneurs indépendants.

Même si Médiamétrie a développé un panel de quelques centaines d’utilisateurs en contexte professionnel , on peut s’interroger sur la représentativité de ces données, dans la mesure ou on peut soupçonner une forte sous-représentation des grandes entreprises.

Les panels se heurtent aux mêmes difficultés pour la population étudiante ou lycéenne se connectant à partir d’établissements d’enseignement.

Des difficultés pour la mesure d’audience publicitaire
La mesure de l’audience d’une campagne par un panel se heurte à quelques difficultées techniques et pratiques.
Sur le plan pratique, la société de panel doit pouvoir identifier tous les bandeaux utilisés lors d’une campagne pour pouvoir les "retrouver" dans la masse de données traitées.

D’autre part, les données sont parfois gonlées par la prise en compte d’affichages localisés sur le site mêmes de l’annonceur ou part les bandeaux affichées dans le cadre de programmes d’affiliation.

On peut par exemple s’interroger sur la présence continue d’Amazon dans le palmarès des anonceurs et se demander si son énorme réseau d’affiliés ne fausse pas les résultats.

Les données de panels forment donc un outil de gestion commerciale très puissant qui comprend cependant quelques faiblesses. Pour cette raison, un panel constitue d’avantage une source de données complémentaires qui permet notamment d’effectuer un benchmark face à la concurrence, qu’une alternative aux solutions classiques de mesure d’audience site centric.