Assurance-qualité

Écho Sondage met en oeuvre un programme vigoureux d'assurance-qualité. Dans de nombreux cas, il est impossible de vérifier que les données recueillies dans nos enquêtes sont conformes à la réalité puisqu'il n'existe pas de balise externe fournissant cette assurance. Assi, nous avons développé un ensemble de procédures qui font en sorte que le processus de production des données est à la fois rigoureux et transparent.

Contrôles des entrevues assurées par notre système CATI

Échantillonnage contrôlé par ordinateur

Notre serveur central permet de contrôler l'ensemble de l'échantillon et de distribuer à chaque poste de travail les numéros de téléphone selon différents critères. Il peut s'agir d'un numéro de dossier ou d'un numéro de strate ou de tout autre critère important pour le protocole de l'enquête.

Entrevues réalisées avec le système CATI

Notre système informatisé permet de contrôler le déroulement de l'enquête dans son ensemble. La validation des choix de réponse se fait automatiquement de même que les sauts conditionnels (questions filtres) et/ou les affichages sélectifs.

Pour les questions fermées, notre système rend impossible l'introduction d'un mauvais choix de réponse à l'intérieur ou à l'extérieur des bornes puisque l'interviewer sélectionne la réponse par les clés de déplacement en surlignant la réponse choisie, ceci rendant impossible l'introduction d'un mauvais code à l'intérieur des bornes permises. Pour les questions ouvertes de type numérique (ex. : inscrire un montant), il permet de contrôler les réponses saisies par les interviewers en délimitant les choix de réponse possibles au moyen de bornes inférieures et supérieures. Il contrôle également la rotation des questions et/ou des catégories de réponse. En outre, ce système de saisie en temps réel permet de saisir les réponses des répondants en une seule fois.

De plus, à l'intérieur du libellé d'une question, notre système permet divers affichages tels que le code numérique associé à une réponse précédente, l'étiquette associée à une réponse précédente, le contenu d'une question ouverte et l'information provenant d'une base extérieure.

Finalement, pour chaque appel, l'interviewer dispose d'un champ où il peut inscrire un commentaire qui sera affiché à l'écran lorsque le numéro sera rappelé. On utilise ce champ pour y inscrire la raison d'un refus ou toute autre information pertinente pour la prochaine fois que ce numéro sera rappelé (« refus catégorique de ne pas rappeler », « Attention répondeur », « Ne parle ni anglais ni français », etc.).

Notre logiciel CATI dispose d'un module intelligent qui calcule sur une base continue la probabilité d'un numéro de téléphone à générer une entrevue complétée à partir de l'historique de tous les appels effectués à ce numéro. Les interviewers ont ainsi toujours une base qui maximise la probabilité de compléter une entrevue. Ce module a comme effet secondaire d'uniformiser le nombre de rappels effectués à chaque numéro. Contrairement au séquenceur d'appel ce module assure qu'il y a toujours un interviewer disponible pour réaliser l'entrevue.

La gestion des appels est basée sur un numéro de dossier plutôt qu'un numéro de téléphone permettant ainsi des protocoles de recherche où deux personnes demeurant au même numéro soient incluses comme des unités d'analyses différentes.

Lorsque nécessaire, la sélection aléatoire à l'intérieur du ménage se fait automatiquement par un générateur de nombres aléatoires.

Central unique favorisant l'uniformisation des procédures

Tous les appels sont réalisés à partir de nos bureaux à Montréal. Notre central téléphonique se trouve dans nos bureaux et toutes les opérations y sont réalisées. Cela permet une intervention rapide de nos professionnels en cas de besoin. De plus, cela évite d'avoir à colliger des dossiers issus de plusieurs sources, diminuant du même coup les risques d'erreur. Cela permet en outre une plus grande uniformisation des procédures de gestion.

Contrôles assurés par notre équipe de professionnels

Réalisation d'un pré-test permettant de choisir le meilleur libellé et de vérifier la formulation, la compréhension et l'ordre des questions

En plus de collaborer avec le client pour la finalisation du questionnaire, nous réalisons dans tous les cas un pré-test auprès des répondants afin d'obtenir la meilleure formulation possible, une compréhension adéquate et uniformisée des questions ainsi qu'un ordre qui permet de maximiser notre intervention auprès des répondants.

Ce pré-test est conduit dans les deux langues (français et anglais) dans le but de s'assurer de la parfaite conformité de la traduction.

Séance de formation auprès de chaque interviewer (buts de l'étude, clientèle rejointe et consignes spécifiques)

Au début de chaque projet, nous tenons une séance de formation avec tous les interviewers impliqués dans le projet. Le client est toujours invité à participer à cette formation.

Cette formation porte sur les objectifs de l'enquête, sur le type de clientèle qu'il faut rejoindre et sur les consignes spécifiques rattachées à cette enquête.

Bien que l'équipe d'interviewers dont nous disposons est déjà formée à cet effet étant donné le grand nombre de projets auxquels chacun d'eux a déjà participés, nous élaborons tout de même un cahier de formation spécifique pour chaque projet.

En plus de cette formation, nous réalisons les étapes suivantes pour éviter à la source quelque problème que ce soit.

Familiarisation des interviewers au questionnaire par simulation

Au cours des formations, chaque interviewer est appelé à réaliser quelques questionnaires avec un confrère dans le but de s'assurer que tous comprennent bien le questionnaire et qu'ils en maîtrisent le déroulement.

Débreffage après la première journée d'entrevues afin de s'assurer que les questions sont bien comprises et que les sauts logiques se font bien

Après la première journée d'entrevues, tous les interviewers sont réunis à nouveau afin de nous faire part de leurs commentaires et pour répondre à leurs questions le cas échéant. Les imprécisions ou les irritants éventuels sont examinés au cours de cette réunion par la directrice du terrain et par ses assistants (les superviseurs) ainsi que par le chargé de projet. De plus, tous les sauts logiques sont passés en revue afin d'éliminer à la source les éventuelles erreurs.

Suivi quotidien de la qualité des données

Après la première journée d'entrevues, les cinq premiers questionnaires de chacun des interviewers sont entièrement vérifiés et par la suite, une distribution de fréquences est produite et examinée à la fin de chaque journée d'entrevues par le chargé de projet.

Écoute sur une base continue des entrevues par le personnel de supervision

Tous les jours, les superviseurs écoutent un minimum de 10 % des entrevues en cours. Ils peuvent à tout moment intervenir auprès des interviewers pour les aider à améliorer la qualité de l'entrevue avec le répondant ou pour résoudre les problèmes éventuels en cours de terrain. Cette écoute est entièrement transparente, à la fois pour le répondant et pour l'interviewer.

Contrôles supplémentaires

Suivi quotidien des appels téléphoniques

En plus des mécanismes de contrôle mentionnés ci-dessus, nous nous assurons de la bonne marche de l'enquête en produisant un rapport journalier. Celui-ci comprend notamment le nombre d'entrevues réalisées (global et par strate le cas échéant), le taux de réponse global et par jour, la liste des rendez-vous pris pour la journée et les jours suivants.

Réalisation de vingt appels en cas de non-réponse dans le but de maximiser le taux de réponse

Dans les cas des non-réponses, nous réalisons jusqu'à vingt (20) appels répartis sur des plages horaires différentes. Cette procédure nous permet de maximiser le taux de réponse dans le but de réduire au maximum la portée du biais non mesurable.

Possibilité pour le client de faire de l'écoute à distance à partir de ses bureaux

Notre système d'écoute téléphonique permet au client d'écouter le déroulement de quelque entrevue que ce soit à partir de nos bureaux ou de ses bureaux. Il suffit de nous contacter et l'un de nos professionnels peut mettre le client en liaison avec n'importe lequel des interviewers au travail.

Supervision du travail des interviewers assurée par un des associés

Un des associés de la firme Écho Sondage est toujours sur place et s'assure de la qualité du travail des interviewers et des superviseurs. Il peut répondre à toutes les questions et intervenir dans le processus à tout moment lorsque cela est nécessaire.

Présence du client (si désirée) à chacune des étapes de l'étude (formation des interviewers, pré-test, entrevues téléphoniques)

La présence du client est possible à chaque étape de l'étude. Elle est d'ailleurs fortement souhaitable lors de la formation et du pré-test.

Codification des questions ouvertes par une équipe restreinte de professionnels (codification question par question)

La codification des questions ouvertes est réalisée par des professionnels expérimentés en la matière avec l'aide d'un module spécialisé (CODE +) pour la codification. De plus, tous les verbatims sont examinés quotidiennement afin de s'assurer de leur qualité.

Homogénéité d'interprétation

Pour assurer l'homogénéité dans l'interprétation des questions ouvertes ou toute autre codification, nous réduisons au minimum le nombre de personnes impliquées à cette étape. Si l'opération nécessite plus d'une personne, nous utilisons la méthodologie « d'accord inter juge » pour valider la procédure.