Qualité des réponses

À propos de la qualité des réponses

La qualité des réponses ExpertReview est une fonctionnalité de la plateforme Qualtrics qui vérifie la qualité globale des données que vous avez collectées avant de commencer à les analyser. Elle vous indiquera comment améliorer votre enquête afin de collecter des données de la plus haute qualité possible. Vous trouverez ci-dessous des messages d’erreur possibles que vous pouvez recevoir par l’intermédiaire d’ExpertReview et des moyens de les résoudre.

Pour obtenir des instructions sur l’utilisation d’ExpertReview dans Data &amp ; Analysis, voir Fonctionnalité de qualité des réponses.

Enquête anormalement rapide pour les répondants terminés

Les répondants qui répondent trop rapidement à votre enquête seront marqués comme accélérateurs. Cela implique qu’il a choisi des réponses au hasard pour passer rapidement à l’enquête, au lieu de vous fournir des réponses de qualité.

Les réponses sont marquées lorsqu’il y a plus de deux écarts types par rapport à la durée médiane nécessaire à vos répondants pour participer à l’enquête et que vous devez avoir recueilli au moins 100 réponses dans votre enquête. Les réponses exclues, les aperçus et les réponses test ne sont pas comptabilisés dans les 100 réponses.

Bot possible

Grâce à la technologie reCaptcha invisible de Google, nous pouvons détecter la probabilité qu’une réponse provienne d’un bot plutôt que d’un sujet humain. Lorsque la détection des bots est activée, un score est affecté à chaque répondant dans le champ de données intégrées Q_RecaptchaScore, indiquant la probabilité que la réponse provienne d’un bot. Si ce score est inférieur à 0,5, la réponse sera marquée comme bot.

Empêcher les robots

Il existe plusieurs façons de réduire la probabilité qu’un bot arrive dans votre enquête.

• Utilisez Q_RecaptchaScore dans la logique de branche pour envoyer des bots à la fin de l’enquête ou les filtrer complètement.
• Utilisez une question de vérification Captcha au début de votre enquête.
• Si vous distribuez à un panel, utilisez un authentificateur ou un mot de passe pour limiter les personnes pouvant participer à l’enquête.
• Essayez d’ajuster les options de sécurité de votre enquête.

Le répondant a répondu à l’enquête plus d’une fois

Parfois, les utilisateurs peuvent essayer de répondre à votre enquête plusieurs fois. Selon l’objectif de votre étude, les doublons peuvent diminuer la qualité de vos données en biaisant les résultats vers le feedback des récidivistes.

Selon l’option d’enquête que vous avez activée, il existe deux façons différentes de marquer une réponse comme doublon :

• RelevantID est activé : la zone Q_RelevantIDDuplicateScore est supérieure ou égale à 75.
• Empêcher les soumissions multiples est défini sur « Marquer les réponses : » Le champ Q_BallotBoxStuffing est égal à « vrai ».

Éviter les réponses en doublon

Selon la manière dont vous configurez votre enquête, vous pouvez empêcher les réponses en double avant même de commencer à collecter des données.

• Si vous connaissez vos répondants, envoyez l’enquête par e-mail aux répondants.
  Astuce Qualtrics : Pour vous assurer que personne ne peut utiliser le lien anonyme, modifiez votre accès à l’enquête sur Sur invitation uniquement.
• Si vous connaissez vos répondants ou si vous utilisez l’authentification unique (SSO) dans votre organisation, utilisez un authentificateur avec l’option pour repasser désactivée.
• Lorsque vous utilisez Empêcher plusieurs soumissions avec un lien anonyme, sélectionnez une option de fin d’enquête ou de redirection.
  Astuce Qualtrics : lorsque vous utilisez un lien anonyme, l’activation de RelevantID ne supprime pas instantanément les doublons, mais elle renforce la qualité de vos données en vous permettant de supprimer les doublons une fois la collecte des données terminée.

Taux de réponse total faible

Si un répondant ne termine pas son enquête dans les 24 heures qui suivent son lancement, il est probable qu’il ne revienne pas terminer l’enquête. Plus cela se produit, plus il est probable que la façon dont l’enquête est rédigée ou formatée éloigne les répondants.

Votre enquête ne peut être marquée comme ayant un taux de réponse médiocre qu’après avoir collecté au moins 100 réponses complètes. (Cela exclut les réponses incomplètes et les réponses en cours.) Le taux de réponses insuffisantes n’est pas non plus signalé si aucune réponse n’a été lancée au cours des dernières 24 heures. (Cela inclut les réponses complétées, les réponses incomplètes et les réponses en cours.) Cela garantit qu’il n’y aura pas de faux positif en cas de mauvaise réponse lorsque votre étude a arrêté de recueillir des réponses il y a mois.

Lorsque le taux de traitement de 24 heures est marqué

Il est déterminé qu’une enquête présente un faible taux de réponse en calculant ce qui suit :

(Nombre d’enquêtes commencées 24 heures à compter de l’heure actuelle et terminées) / (Nombre d’enquêtes commencées 24 heures après l’heure actuelle)

• Mineure : seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Moyenne : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Sévère : 21 % ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.

Modification de votre enquête

Des taux de réponse médiocres peuvent entraîner un problème avec la manière dont l’enquête a été créée. Lors de la révision de votre enquête afin d’améliorer le taux de réponse, il est important de prendre en compte ce que iQ Score ExpertReview a initialement attribué à votre enquête. Les pages suivantes contiennent des conseils sur tous les problèmes signalés par ExpertReview.

• Méthodologie d’enquête et meilleures pratiques en matière de conformité
• Erreurs d’enquête communes
• Demandes de données sensibles

Taux de réponse total faible

Plus le taux de réponse à une enquête est mauvais, plus il est probable que la façon dont l’enquête est rédigée ou formatée éloigne les répondants.

Votre enquête ne peut être marquée comme ayant un taux de réponse médiocre qu’après avoir collecté au moins 100 réponses complètes. (Cela exclut les réponses importées, les réponses incomplètes et les réponses en cours.)

Lorsque le taux de traitement global est marqué

Il est déterminé qu’une enquête présente un faible taux de réponse en calculant ce qui suit :

(Nombre total de réponses complètes à l’enquête) / (Nombre total de réponses enregistrées + Nombre total de réponses en cours)

• Mineure : seules 1 à 9 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Moyenne : 10 à 20 % des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.
• Sévère : 21 % ou plus des réponses commencées au cours des dernières 24 heures n’ont pas été complétées.

Modification de votre enquête

Des taux de réponse médiocres peuvent entraîner un problème avec la manière dont l’enquête a été créée. Lors de la révision de votre enquête afin d’améliorer le taux de réponse, il est important de prendre en compte ce que iQ Score ExpertReview a initialement attribué à votre enquête. Les pages suivantes contiennent des conseils sur tous les problèmes signalés par ExpertReview.

• Méthodologie d’enquête et meilleures pratiques en matière de conformité
• Erreurs d’enquête communes
• Demandes de données sensibles

Réponses contenant des données sensibles

Parfois, une réponse contient des informations sensibles sur un répondant. Il peut s’agir de n’importe quel numéro de téléphone ou de numéro de sécurité sociale. Chaque organisation a son propre standard de contenu qu’elle considère comme sensible, et il peut arriver que vous souhaitiez exclure ces données de votre jeu de données, car les informations fournies par les répondants sont trop sensibles pour être incluses dans votre analyse.

Selon les paramètres de votre marque, les informations sensibles peuvent également être retirées de la réponse. Dans ce cas, les informations sensibles seront remplacées par des astérisques et vous n’aurez aucun moyen de récupérer les informations sensibles. C’est à vous d’indiquer si vous incluez des réponses avec des informations expurgées dans votre analyse.

Empêcher la collecte de données sensibles

Bien que les répondants puissent fournir des informations sensibles dans une réponse ouverte sans invite, la meilleure façon d’éviter les violations de données sensibles est de s’assurer que vous ne demandez pas d’informations personnelles. Consultez Résoudre les problèmes de données sensibles pour en savoir plus sur la manière de supprimer ces types de demandes de votre enquête.

Si vous êtes un Administrateur de la Marque, envisagez d’ajouter une rédaction à votre Politique concernant les données sensibles. Cela peut vous aider à vous assurer que les créateurs de votre enquête n’ont pas accès aux informations sensibles sur leurs répondants. Vous pouvez choisir les sujets sensibles qui sont édités et ceux qui ne le sont pas.

Texte ambigu

Les répondants qui saisissent un texte ambigu dans les champs de saisie de texte seront marqués. Un texte ambigu inclut les cas où le répondant a saisi des lettres aléatoires et/ou des symboles pour répondre à une question. Un texte ambigu peut être détecté en anglais (US, UK), espagnol (ES, ES-ES), français (FR, FR-CA), allemand (DE), portugais (PT, PT-BR) et italien (IT). Les réponses fournies dans une autre langue et les réponses contenant des acronymes (par exemple, CX) ne sont pas marquées.

Empêcher les réponses ambiguës

Bien qu’il n’y ait aucun moyen d’empêcher complètement ce comportement, il existe des moyens d’encourager les répondants à donner des réponses de meilleure qualité aux questions ouvertes.

• Masquer les questions qui ne s’appliquent pas nécessairement à tous les répondants : il arrive que les répondants saisissent un texte ambigu car vous avez forcé la réponse, mais le contenu de la question ne les concerne pas. Par exemple, si vous interrogez une population en général, mais que vous commencez à poser des questions à vos répondants sur leurs enfants, il y a probablement des personnes participant à l’enquête auxquelles ces questions ne s’appliquent pas. Vous pouvez masquer des questions sur les enfants au foyer si vous commencez par une question générale (Avez-vous des enfants ?) puis utiliser la réponse du répondant pour configurer la logique de redirection, d’affichage ou de passage pour les questions suivantes.
  
• Assurez-vous que votre question n’est pas trop générale : lorsque vous fournissez aux répondants un champ de saisie de texte, ils ont souvent besoin de conseils sur le type de données que vous recherchez. Si l’invite est trop large, il se peut que les répondants ne sachent pas comment y répondre.
  Exemple : « Souhaitez-vous ajouter des commentaires supplémentaires ? » est moins précis que « Avez-vous des commentaires supplémentaires à donner sur votre expérience avec le service d’assistance ? » Ce dernier indique que vous ne recherchez pas de commentaires généraux sur le produit ou l’entreprise, mais des commentaires sur une expérience spécifique avec votre équipe d’assistance.
• Le cas échéant, demandez que les réponses répondent à un certain format : par exemple, si vous demandez une adresse e-mail, vous pouvez ajouter une validation du contenu à votre question.
  

Marquage de réponses contenant un texte ambigu

Bien qu’ExpertReview ne marque pas ces types de réponses par défaut, vous pouvez l’activer en procédant comme suit :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Qualité de la réponse.
3. Cliquez sur Suggestion.
   
4. Activez Texte ambigu.

Si vous ne voulez pas marquer les réponses en fonction de cette métrique, vous pouvez désactiver cette option en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle concerne uniquement l’enquête dans laquelle vous êtes actuellement et non toutes les enquêtes de votre compte. Vous pouvez donc personnaliser l’analyse de la qualité des réponses si nécessaire.

Identifier les questions avec des réponses ambiguës

Que la réponse ait été marquée ou non, vous pouvez obtenir des informations plus spécifiques sur l’existence ou non d’un texte ambigu dans une réponse et sur les questions spécifiques concernées. Pour afficher vos données directement dans Qualtrics :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Sélecteur de colonne.
3. Sélectionnez Données intégrées.
4. Sélectionnez les zones suivantes :
   • Q_AmbiguousTextPresent : indique s’il y a eu ou non un texte ambigu dans la réponse à l’enquête. Cela peut être en réponse à n’importe quelle question ouverte dans l’enquête. 0 indique non et 1 indique oui.
   • Q_AmbiguousTextQuestions : Les questions spécifiques qui ont reçu une réponse ambiguë. Il s’agit d’un QID interne et non du numéro de question modifiable.
     Astuce Qualtrics : pour trouver des QID, numérotez automatiquement vos questions avec la numérotation des ID internes. Vous pouvez toujours rétablir la numérotation ultérieurement ou choisir de ne pas publier ces modifications.
5. Ces colonnes apparaîtront dans vos données.
   

Aucune tendance de questions sans réponse

Les réponses seront signalées si l’enquêteur n’a pas répondu à un grand nombre de questions, même s’il les a vues. Les réponses sont signalées lorsque 30 % ou plus des questions vues ont été laissées sans réponse. De cette façon, peu d’erreurs ou la décision délibérée d’ignorer une question non pertinente n’est pas signalée.

Prévention des modèles de questions sans réponse

Si les répondants sont marqués pour avoir tendance à ignorer des questions, cela peut être dû à ce qui suit :

• Vos questions ne concernent pas le public : le choix de votre échantillon est une étape extrêmement importante dans la réalisation de recherches. Si vous distribuez votre enquête à un public très généralisé, vous risquez de poser des questions auxquelles le public n’a aucun moyen de répondre. Par exemple, si vous interrogez une population sur l’ergonomie de son espace de travail, vous ne devriez probablement pas inclure les répondants qui sont actuellement au chômage. Si vous n’avez pas le contrôle sur votre échantillon de distribution, envisagez de configurer des expulsions pour supprimer les répondants non pertinents.
• Vos questions ne sont pas claires : vous posez peut-être les bonnes questions, mais votre formulation peut être un peu déroutante pour les répondants. Essayez de réécrire ces questions pour les rendre aussi courtes et claires que possible. Veillez à utiliser la voix active à la place de la voix passive.
• Le répondant essaie délibérément de mettre fin à l’enquête le plus rapidement possible : Cela peut également être indiqué par l’utilisation d’un texte ambigu et d’une simplicité. Pour encourager les répondants à répondre à toutes les questions de l’enquête, envisagez d’ajouter une validation à vos questions. Vous pouvez forcer les répondants à répondre à chaque question ou avoir une demande de message leur demandant de revenir à des questions sans réponse lorsqu’ils terminent une page de l’enquête.
  Astuce Qualtrics : il est également important de déterminer si la fatigue du répondant est un facteur.

Marquage des réponses avec un modèle de questions sans réponse

Bien qu’ExpertReview ne marque pas ces types de réponses par défaut, vous pouvez l’activer en procédant comme suit :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Qualité de la réponse.
3. Cliquez sur Suggestion.
   
4. Activez Questions sans réponse.

Si vous ne voulez pas marquer les réponses en fonction de cette métrique, vous pouvez désactiver cette option en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle concerne uniquement l’enquête dans laquelle vous êtes actuellement et non toutes les enquêtes de votre compte, vous pouvez donc personnaliser l’analyse de la qualité des réponses si nécessaire.

Questions d’identification auxquelles les répondants n’ont pas répondu

Vous pouvez obtenir des informations plus spécifiques sur les questions qui ont été ignorées et le pourcentage de questions de l’enquête qui n’ont pas reçu de réponse, que la réponse ait été marquée ou non. Pour afficher vos données directement dans Qualtrics :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Sélecteur de colonne.
3. Sélectionnez Données intégrées.
4. Sélectionnez les zones suivantes :
   • Q_UnresponeredPercent : pourcentage de questions de l’enquête auxquelles le répondant n’a pas répondu. Seules les questions qu’ils ont vues sont prises en compte dans cette valeur. C’est présenté sous forme de ratio. Par exemple, 100 % correspond à 1 et 66,7 % à 0,667.
   • Q_UnresponeredQuestions : questions spécifiques auxquelles il n’a pas été répondu. Il s’agit d’un QID interne et non du numéro de question modifiable.
     Astuce Qualtrics : pour trouver des QID, numérotez automatiquement vos questions avec la numérotation des ID internes. Vous pouvez toujours rétablir la numérotation ultérieurement ou choisir de ne pas publier ces modifications.
5. Ces colonnes apparaîtront dans vos données.
   

Linéarité

La linéarité consiste à fournir les mêmes réponses dans une matrice pour répondre rapidement aux questions. Par exemple, un répondant peut toujours choisir la première réponse à chaque énoncé, indépendamment de son ressenti.

Les répondants peuvent être honnêtes parce qu’ils sont fatigués, en particulier s’ils ne sont pas un speeder ou un bot, et que leurs réponses au début de l’enquête étaient normales.

Marquage des réponses qui contiennent de la linéarité

Bien qu’ExpertReview ne marque pas ces types de réponses par défaut, vous pouvez l’activer en procédant comme suit :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Qualité de la réponse.
3. Cliquez sur Suggestion.
   
4. Activez la linéarité.

Si vous ne voulez pas marquer les réponses en fonction de cette métrique, vous pouvez désactiver cette option en suivant les mêmes étapes. Lorsque vous activez cette analyse, elle concerne uniquement l’enquête dans laquelle vous êtes actuellement et non toutes les enquêtes de votre compte, vous pouvez donc personnaliser l’analyse de la qualité des réponses si nécessaire.

Identifier les questions pour lesquelles les répondants sont simples

Pour être marqué comme linéaire, un répondant doit avoir les deux :

• Aligné sur au moins 3 tableaux matriciels likert (pas les énoncés, mais l’ensemble des questions)
• 80 % des tables matricielles de l’enquête sont linéarisées

Toutefois, vous pouvez évaluer le nombre de matrices linéaires et les questions qui ont été traitées si vous souhaitez effectuer une analyse plus approfondie. Pour élaguer vos données directement dans Qualtrics :

1. Assurez-vous de vous trouver dans la section Données de l’onglet Données & Analysis.
   
2. Cliquez sur Sélecteur de colonne.
3. Sélectionnez Données intégrées.
4. Sélectionnez les zones suivantes :
   • Q_StraightliningCount : Le nombre de questions matricielles directement rangées par le répondant.
   • Q_StraightliningPercent : pourcentage de tableaux matriciels dans l’enquête que le répondant a linéarisé. C’est présenté sous forme de ratio. Par exemple, 100 % correspond à 1 et 66,7 % à 0,667.
   • Q_StraightliningQuestions : Les questions spécifiques qui ont été rectifiées. Il s’agit d’un QID interne et non du numéro de question modifiable.
     Astuce Qualtrics : pour trouver des QID, numérotez automatiquement vos questions avec la numérotation des ID internes. Vous pouvez toujours rétablir la numérotation ultérieurement ou choisir de ne pas publier ces modifications.
5. Ces colonnes apparaîtront dans vos données.