Régression et importance relative

À propos de la régression et de l’importance relative

La régression montre comment la combinaison de plusieurs variables d’entrée a un impact sur une variable de sortie. Par exemple, si les entrées « Années en tant que client » et « Taille de l’entreprise » sont corrélées à la sortie « Satisfaction » et entre elles, vous pouvez utiliser la régression pour déterminer laquelle des deux entrées était la plus importante pour créer « Satisfaction ».L

‘analyse de l’importance relative est la meilleure méthode de régression sur les données d’enquête et la sortie par défaut des régressions effectuées dans Stats iQ. L’importance relative est une extension moderne de la régression qui tient compte des situations où les variables d’entrée sont corrélées entre elles, un problème très courant dans la recherche par enquête (connu sous le nom de « multicolinéarité »). L’importance relative est également connue sous le nom de pondérations relatives de Johnson, est une variation de l’analyse Shapley, et est étroitement liée à l’analyse de dominance.

Vous trouverez ci-dessous des instructions sur la configuration d’une régression dans Stats iQ. Pour plus d’informations sur la réflexion à travers les parties analytiques de l’analyse de régression, consultez les pages suivantes :

• Guide convivial de la régression linéaire
• Interprétation des points résiduels pour améliorer votre régression linéaire
• Guide convivial de la régression logistique
• La Matrice de confusion et le Compromis Précision-rappel dans la régression logistique

Astuce Qualtrics : il existe désormais des info-bulles utiles sur la plateforme Stats iQ ! Lorsque vous travaillez dans Stats iQ, vous pouvez cliquer sur les icônes i qui apparaissent sur l’ensemble de la plateforme afin d’obtenir des informations et des définitions supplémentaires.

Pour la

régression linéaire, l’importance relative dans Stats iQ suit les techniques décrites dans Lipovetsky, Stan & Conklin, Michael. (2001). Analyse de la régression dans l’approche de la théorie des jeux. Modèles stochastiques appliqués dans l’entreprise et l’industrie. 17. 319 – 330. 10.1002/asmb.446.

Sélection de variables pour les cartes de régression

La création d’une carte de régression vous permettra de comprendre comment la valeur d’une variable de votre jeu de données est impactée par les valeurs des autres.

Lors de la sélection de variables, une variable aura une clé. Pour la régression, la variable clé sera la variable de sortie. Chaque autre variable sélectionnée après la variable clé sera une variable d’entrée. En d’autres termes, nous essayons d’expliquer comment la valeur de la variable de sortie est pilotée par les variables d’entrée.

Éléments à prendre en compte lors de la sélection de variables pour la régression :

• Vous pouvez modifier la variable principale en cliquant sur l’icône en regard de n’importe quelle variable dans le volet des variables.
• Si le nombre de variables sélectionnées est supérieur au nombre de réponses que vous avez, la régression ne sera pas exécutée.
• Vous pouvez sélectionner jusqu’à 25 variables d’entrée. Cependant, vous devez essayer de sélectionner 1 à 10 variables d’entrée, sinon vos résultats pourraient s’avérer très compliqués.

Si vous souhaitez inclure un grand nombre de variables dans une analyse, prenez en compte les approches suivantes :

• Exécutez des régressions initiales et excluez les variables qui ont très peu d’importance dans le modèle.
• Combinez plusieurs variables, par exemple en les calculant en moyenne.
• Si la structure de vos données le permet, vous pouvez utiliser un processus d’importance relative en deux étapes, comme décrit ici à la page 341.

Une fois que vous avez sélectionné vos variables, cliquez sur Régression pour exécuter une régression.

Types de régression

Il existe deux principaux types d’exécution de régression dans Stats iQ. Si la variable de sortie est une variable numérique, Stats iQ exécutera une régression linéaire. Si la variable de sortie est une variable de catégorie, Stats iQ exécutera une régression logistique.

Plus précisément, les types de régression que Stats iQ exécutera sont les suivants :

Régression linéaire

L’importance relative est combinée avec les moindres carrés ordinaires (MCO). Le résultat provient d’une combinaison des deux analyses :

• Importance relative : tout ce qui se trouve dans cette section provient de l’ importance relative, à l’exception du coefficient de détermination (R²), qui provient de la régression MCO.
• Explorer le modèle en détail : tout ce qui se trouve dans cette section provient de l’ importance relative, à l’exception des distributions, qui sont tirées des données elles-mêmes.
• Analyser les diagnostics de régression MCO et les résidus pour améliorer votre modèle : tout ce qui se trouve dans cette section provient de la régression MCO.

Régression logistique

La régression logistique est une méthode de classification binaire utilisée pour comprendre les inducteurs d’un fichier binaire (par exemple : Oui ou Non) résultat donné à un ensemble de variables d’entrée. Si vous exécutez une régression sur une variable de sortie comportant plus de deux groupes, Stats iQ sélectionnera un groupe et catégorisera les autres ensemble afin d’en faire une régression binaire (vous pouvez modifier le groupe en cours d’analyse après avoir exécuté la régression).

Importance relative

Les variables d’entrée dans les données de l’enquête sont souvent très corrélées les unes aux autres ; c’est un problème appelé « Multicollinéarité ». Cela peut entraîner un résultat de régression qui augmente artificiellement l’importance d’une variable et diminue l’importance d’une autre variable corrélée. L’ importance relative est reconnue comme la méthode de meilleures pratiques pour expliquer cela.

L’importance relative (en particulier les pondérations relatives de Johnson) ne souffre pas de ce problème et équilibrera de manière adéquate l’importance des variables d’entrée, quel que soit le type de régression exécuté.  Il calcule également le poids relatif (ou l’importance relative) de chaque variable, la proportion de variation explicable dans la sortie due à cette variable. Il s’agit d’une série de pourcentages qui s’ajoutent à 100 %.

Elle renvoie des résultats similaires à l’exécution d’une série de régressions, une pour chaque variation des variables d’entrée. Par exemple, si vous aviez deux variables, cela ferait l’équivalent d’exécuter trois régressions : une avec la variable A, une avec la variable B et une avec les deux. Cela lui permet de quantifier l’importance de chaque variable et d’appliquer cette quantification au résultat de la régression.

Résultat de la régression

Lorsque vous exécutez une régression dans Stats iQ, les résultats de l’analyse contiennent les sections suivantes :

Synthèse numérique

En haut de la carte se trouve un résumé de l’analyse de régression. En examinant les variables choisies, ce résumé écrit explique quelles variables sont les inducteurs principaux et secondaires, ainsi que les inducteurs qui ont eu un faible impact cumulé. La table de données inclut la Taille de l’échantillon et la valeur R au carré.

Importance relative

1. Variables à faible impact : les variables qui ont individuellement une importance relative de 10 % ou moins seront regroupées. Lorsque cette option est sélectionnée, une section explique l’importance relative et la signification statistique de chaque variable à faible impact.
2. Variables à impact élevé : chaque variable à impact élevé sera distincte et cliquable. Une fois qu’une variable est sélectionnée, sous le graphique à barres, vous pourrez afficher la variation prise en compte et ce qui se produirait si d’autres variables étaient contrôlées pour dans le modèle.

Détails supplémentaires sur le modèle

Lorsque vous sélectionnez Explorer le modèle en détail, vos variables d’entrée et votre variable de sortie sont répertoriées. Vos variables d’entrée seront fournies avec les informations suivantes :

• Importance relative : proportion du coefficient de détermination (R²) à laquelle contribue une variable individuelle. Le coefficient de détermination (R²) est la proportion de l’écart de la variable de résultat qui peut être expliquée par les variables d’entrée dans ce modèle. Pour en savoir plus, voir Importance relative.
• Odds ratio : uniquement pertinent pour la régression logistique. Le rapport des cotes pour une variable d’entrée donnée indique le facteur de modification des cotes pour chaque augmentation de l’unité dans la variable explicative.
  Exemple : par exemple, si le rapport des cotes pour Satisfaction avec Manager est 1.1 et que les groupes de la variable de sortie sont Satisfaits et Non satisfaits, alors pour chaque instance dans laquelle Satisfaction avec Manager est 1 plus élevée, les chances de la variable de sortie d’être Satisfaite sont 1,1 plus élevées (10 % plus élevées).  Si la ligne de données est une catégorie, comme couleur[bleu], le coefficient représente la modification de la cote de la variable de réponse si la variable Catégories est cette catégorie particulière (bleu) au lieu du groupe « de base » (rouge, vert, etc.).
• Coefficient : Chaque augmentation de 1 unité dans une variable d’entrée est associée à une augmentation du coefficient dans la variable de sortie. Ces coefficients sont construits sur la base des résultats de l’analyse de l’importance relative et s’ajustent donc à la multicolinéarité et ne correspondent pas aux coefficients qui résulteraient d’une régression standard des moindres carrés ordinaires.
• Coefficient normalisé : le coefficient standardisé est le coefficient divisé par la variance de la variable d’entrée. Cela place chaque variable sur la même échelle afin que leurs coefficients puissent être comparés plus directement.
• Valeur P : la valeur de p est la mesure de la signification statistique. Les valeurs inférieures sont associées à des cotes plus faibles que la relation est une coïncidence. Pour les variables catégoriques, la valeur P indique la signification statistique de la différence entre un groupe et le groupe « de base » dans la variable.
• Transformation : voir Transformation des variables.

Analyse de la régression MCO

Pour une régression linéaire, cliquez sur Analyser les résidus et les diagnostics de régression MCO pour améliorer votre modèle sous la variable clé/de sortie afin d’afficher les graphiques Prédit/Réel et Résiduel. Pour plus d’informations, voir Interpréter les points résiduels pour améliorer votre régression.

Variable incluse

Le long de l’en-tête supérieur de la carte de régression, vous verrez les variables utilisées dans la régression.

Cliquez sur le nom d’une variable pour ouvrir une nouvelle fenêtre dans laquelle vous pouvez recoder ou regrouper les valeurs. Cliquez sur les flèches pour basculer entre les variables d’entrée et les variables de sortie dans l’analyse.

Si vous avez trop de variables impliquées à afficher dans l’en-tête, une liste déroulante de variables explicatives s’affichera dans laquelle vous pourrez choisir entre les variables que vous souhaitez recoder.

Ajout et suppression de variables

Une fois que vous avez créé une carte de régression, vous pouvez ajouter des variables supplémentaires à l’analyse en suivant les étapes ci-dessous :

1. Cliquez sur Explorer le modèle en détail.
2. Sélectionnez Ajouter des variables à votre modèle en bas de la fiche. Vous obtenez ainsi une liste des variables qui n’ont pas encore été utilisées pour la régression.
3. Sélectionnez une variable dans cette liste.
4. Cliquez sur Appliquer pour exécuter à nouveau l’analyse avec la nouvelle variable incluse.

Pour supprimer une variable de la régression, placez le curseur sur la variable souhaitée et cliquez sur le X bleu tout à droite du tableau. Après avoir choisi les variables à ajouter ou à supprimer, assurez-vous de sélectionner “Appliquer” pour exécuter le nouveau modèle.

Imputer des variables

La régression ne prendra en compte que les lignes dans lesquelles toutes les variables d’entrée contiennent des données. Cependant, il manque souvent des données avec la collecte des données d’enquête, ce qui peut avoir un impact négatif sur votre analyse de régression et votre modèle. Si vous incluez uniquement des lignes sans données manquantes dans votre régression, vos résultats d’analyse peuvent être biaisés car votre échantillon n’est pas représentatif de l’ensemble de votre jeu de données.

Avec l’imputation, Stats iQ renseignera automatiquement les données manquantes avec les valeurs estimées. Lorsque des données manquantes sont renseignées, vous pouvez inclure plus de vos données d’origine dans l’analyse de régression, ce qui se traduit par un modèle de régression avec moins de biais qui peut mieux expliquer la variation dans la variable de résultat souhaitée.

L’imputation est automatique. Par conséquent, lorsque vous exécutez une analyse de régression sur un jeu de données avec des valeurs manquantes, votre jeu de données sera imputé avant tout calcul.

Cliquez ici pour afficher un exemple de jeu de données avant et après l’imputation des variables.

Avant l’imputation :
pour cette régression, “Utilisation des données” est la variable de résultat et “Âge”, “Service Internet” et “Minutes du temps de l’écran” sont les variables d’entrée.

ID de ligne	Utilisation des données	Âge	Service Internet	Heure de l’écran (minutes)
1	75	39	Satellite	503
2	19	41	Fibre optique	52
3	87			434
4	54	23	Satellite
5	14			101
6	75		Satellite
7	81	57	DSL	329

Attention : si vous avez exécuté une régression sans renseigner les valeurs manquantes, seules les lignes 1, 2 et 7 seront incluses.

Après imputation :

ID de ligne	Utilisation des données	Âge	Service Internet	Heure de l’écran (minutes)
1	75	39	Satellite	503
2	19	41	Fibre optique	52
3	87	50,9	MANQUANT	434
4	54	23	Satellite	359.0
5	14	50,9	MANQUANT	101
6	75	50,9	Satellite	359.0
7	81	57	DSL	329

Astuce Qualtrics : « Service Internet » est une variable catégorique et non numérique. La valeur manquante est donc renseignée comme « MANQUANT ».

Méthodes d’imputation

Stats iQ utilise actuellement les méthodes d’imputation suivantes :

• Catégorie par défaut : Stats iQ créera une nouvelle valeur de catégorie « MANQUANT » pour renseigner les données manquantes. Cette méthode est utilisée pour les variables catégoriques.
• Moyenne : Si Stats iQ ne détecte aucune valeur aberrante dans la distribution de la variable numérique, les données manquantes pour la variable sont renseignées avec la valeur moyenne. Cette méthode est utilisée pour les variables numériques.
• Médiane : Si Stats iQ détecte des valeurs aberrantes dans la distribution de la variable numérique, les données manquantes pour la variable sont renseignées avec la valeur médiane. Cette méthode est utilisée pour les variables numériques.

Indicateurs d’imputation

Lorsque vous effectuez une analyse de régression sur l’ensemble de données, un indicateur d’imputation apparaît en haut de la carte de régression.

Pour plus d’informations sur l’imputation, cliquez sur le symbole d’information ( i ) à côté de Méthode d’imputation.

Imputation des désactivations

Stats iQ applique automatiquement l’imputation à toutes les cartes de régression. Pour désactiver l’imputation automatique, cliquez sur Imputer automatiquement les données manquantes pour votre échantillon en haut de la carte de régression.

Avertissements d’imputation

• Si trop de données sont imputées, votre modèle de régression deviendra biaisé et peu fiable. Lorsque plus de 50 % de votre ensemble de données a été renseigné, Stats iQ vous avertira de tirer des conclusions de vos résultats de régression.
  
• Lorsque des valeurs aberrantes sont détectées dans l’une des variables d’entrée numériques, Stats iQ impute les variables à l’aide de la valeur médiane au lieu de la moyenne. Dans ce scénario, Stats iQ vous avertira lorsque vous explorerez le modèle en détail.
  

Transformer des variables

Lorsque vous exécutez une analyse de régression dans Stats iQ, il se peut que vous deviez améliorer votre modèle. La façon la plus courante d’améliorer un modèle est de transformer une ou plusieurs variables, généralement à l’aide d’un « journal » ou d’une autre transformation fonctionnelle.

La transformation d’une variable modifie la forme de sa distribution. En général, les modèles de régression fonctionnent mieux avec des distributions plus symétriques en forme de cloche. Essayez différents types de transformations jusqu’à ce que vous en trouviez une qui vous donne ce type de distribution.

Pour transformer une variable :

1. Sous l’option Explorer le modèle en détail, faites défiler jusqu’à la colonne Transformer.
2. Cliquez sur le bouton de fonction (f(x)) pour la variable que vous souhaitez transformer.
3. Dans la liste, sélectionnez la fonction que vous souhaitez appliquer et Stats iQ va recalculer la carte à l’aide de la nouvelle variable transformée.

Les transformations suivantes sont disponibles dans Stats iQ :

De loin, la transformation la plus courante est log(x). Elle transforme une distribution de « puissance » (comme la taille de la population de la ville) qui a beaucoup de valeurs plus petites et un petit nombre de valeurs plus grandes en une « distribution normale » en forme de cloche (comme la hauteur) où la plupart des valeurs sont regroupées vers le milieu.

Utilisez log(x+1) si la variable transformée a des valeurs nulles, car log(x) ne peut pas être calculé lorsque x est zéro.

Pour en savoir plus sur le moment où transformer vos variables, voir Interprétation des tracés résiduels pour améliorer votre régression linéaire.

Autres techniques de régression linéaire disponibles dans Stats iQ

L’ importance relative combinée avec les moindres carrés ordinaires est la sortie par défaut pour une régression linéaire. Cependant, d’autres options sont disponibles.

Pour accéder à M-estimation, Ordinary Least Squares et Ridge Regression, cliquez sur les paramètres engrenage dans le coin supérieur droit de votre carte de régression. Un clic sur le nom de la technique de régression sous Méthodes de régression vous permettra de modifier la technique de régression utilisée pour la carte de régression. Cette opération n’est possible que pour la régression linéaire.

• Estimation M : Conçu pour mieux gérer les valeurs aberrantes dans la variable de sortie que les moindres carrés ordinaires (MCO).
• Ordinary Least Squares: Ordinary Least Squares (OLS) est la technique de régression classique. Il est sensible aux valeurs aberrantes et autres violations dans ses hypothèses, nous recommandons donc des méthodes plus robustes comme l’estimation M. Étant donné que MCO est utilisé dans la sortie par défaut Importance relative, vous ne devez sélectionner cette option que si vous êtes intéressé par les fonctionnalités qui n’ont pas encore été adaptées dans la sortie d’importance relative : prévision des résultats et ajout de termes d’interaction.
• Régression de Ridge : La régression de Ridge est une technique similaire à la régression standard OLS, mais avec un paramètre de réglage alpha. Ce paramètre alpha permet de traiter la variance élevée et les données qui souffrent de la multicolinéarité. Lorsqu’elle est correctement réglée, la régression des crêtes donne généralement de meilleures prédictions que les MCO en raison d’un meilleur compromis entre le biais et la variance. Dans Stats iQ, vous pourrez choisir le paramètre alpha lors de l’utilisation de la régression des crêtes.

Une fois que vous avez sélectionné Estimation M, Moins carrés ordinaires ou Régression de crête, vous pourrez voir la sortie. Le résultat apparaîtra sous la section Méthodes de régression.

1. Résumé numérique : en haut de la carte se trouve un résumé de l’analyse de régression. Cela inclut la taille de l’échantillon, les cas manquants, la méthode, la valeur au carré de R, l’erreur standard, le coefficient de variation et l’adaptation de modèle.
2. Détails du coefficient : Les résultats primaires de la régression, l’équation mathématique, se trouvent sous le résumé. La variable de sortie/principale se trouve à gauche de l’équation. Les variables d’entrée se trouvent à droite. Le passage de la souris sur une variable affiche une info-bulle qui explique en termes simples comment cette variable contribue à la variable de sortie. Ici, vous pouvez également saisir des valeurs dans l’équation mathématique pour estimer les valeurs de votre variable de sortie. Pour en savoir plus, voir la section ci-dessous sur l’estimation des valeurs de variables de sortie.
3. Diagnostics et Résidus : Stats iQ fournit des diagnostics pour vous aider à évaluer la précision et la validité de votre modèle. Pour en savoir plus, voir Interprétation des points résiduels pour améliorer votre régression linéaire ou la matrice de confusion et le Négociation de rappel préalable dans la régression logistique.

Estimation des valeurs de variable de sortie

Une fois que vous avez exécuté une régression, vous pouvez utiliser l’équation mathématique dans la section Détails du coefficient pour estimer les valeurs des variables de sortie en fonction des valeurs d’entrée que vous sélectionnez. À droite de l’équation, vous verrez vos variables d’entrée. Vous pouvez définir des valeurs pour chacune de vos variables d’entrée. Sur le côté gauche de l’équation se trouve votre variable de sortie. Après avoir saisi des valeurs pour vos variables d’entrée, l’équation calculera une estimation pour la variable de sortie en fonction du modèle de régression.

1. Cette variable d’entrée est une variable de type catégorie. Pour saisir une valeur pour les variables de catégorie, cliquez sur la valeur souhaitée dans la liste des options.
2. Ces variables d’entrée sont des variables de type numérique. Pour saisir une valeur pour les variables numériques, cliquez sur Saisir une valeur et saisissez un nombre.
3. Cette variable est la variable de sortie de votre équation de régression. Après avoir sélectionné des valeurs pour vos variables d’entrée, une valeur estimée pour votre variable de sortie apparaîtra à côté de Estimation.

Exemple : dans l’exemple ci-dessous, nous essayons de prévoir le NPS des clients en fonction de quelques variables d’entrée. Après avoir sélectionné des valeurs pour les variables d’entrée, nous pouvons voir un score NPS estimé à 4,98.

Prévision des résultats

En règle générale, vous utiliserez l’analyse de régression dans Stats iQ pour comprendre la relation entre les variables d’entrée et les variables de sortie. Cependant, une fois qu’un modèle de régression est créé, il peut également être utilisé pour prévoir la valeur de sortie pour les lignes de données dans lesquelles vous avez des valeurs pour les entrées.

Conditions d’interaction et autres préoccupations avancées

Ajout de termes d’interaction

Lorsque vous cherchez à améliorer votre modèle de régression, vous pouvez ajouter des termes d’interaction en plus des variables d’entrée existantes. Un terme d’interaction serait ajouté si vous suspectez que la valeur de l’une des variables d’entrée modifie la manière dont une variable d’entrée différente affecte la variable de sortie.

Par exemple, pour les personnes ayant des enfants présents lors d’un séjour à l’hôtel, les plus jeunes sont plus satisfaits que les personnes âgées, mais pour les personnes sans enfants présents, les plus jeunes sont moins satisfaits. Cela signifierait qu’il existe une interaction entre « Enfants présents » et « Age ».

La sélection de deux variables sous Ajouter une interaction entre en bas de la liste des variables d’entrée sur la carte ajoutera un terme d’interaction à la régression. Cette fonctionnalité n’est disponible que dans l’estimation M, la régression des moindres carrés ordinaires et la régression de dorsale.

Vous pouvez obtenir le même effet pour les variables catégoriques dans une analyse d’ importance relative en créant une nouvelle variable qui combine les deux. Par exemple, vous pouvez combiner la variable Couleur (avec les groupes rouge et vert) avec Taille (avec les grands et petits groupes) pour créer une variable appelée ColorSize (avec les groupes BigRed, BigGreen, SmallRed et SmallGreen).

Multicolinéarité

La multilinéarité se produit dans un contexte de régression lorsque deux ou plusieurs variables d’entrée sont fortement corrélées l’une à l’autre.

Lorsque deux variables sont fortement corrélées, les mathématiques de la régression placent généralement autant de valeur que possible dans une variable et non dans l’autre. Ceci se manifeste par un coefficient plus important pour cette variable. Mais si le modèle est modifié même d’un petit montant (en ajoutant un filtre, par exemple), la variable dans laquelle la plus grande partie de la valeur a été placée peut changer. Cela signifie que même un petit changement peut avoir un effet drastique sur le modèle de régression.

L’analyse de l’ importance relative traite ce problème afin que vous n’ayez pas à vous en soucier. Si vous préférez utiliser l’une des autres méthodes et que votre modèle a ce problème, la présence de multicolinéarité (mesurée par “Facteur d’inflation de la variance”) déclenchera un avertissement et vous suggérera de supprimer une variable ou de combiner des variables en les calculant en moyenne, par exemple.

Messages d’avertissement

Stats iQ vous avertira en cas de problèmes potentiels avec vos résultats de régression. Il s’agit notamment des situations suivantes :

• Les variables d’entrée dans votre régression ne sont pas statistiquement significatives.
• Votre transformation a supprimé des données de la régression.
• Deux variables ou plus sont fortement corrélées l’une à l’autre et rendent vos résultats instables, c’est-à-dire la multicolinéarité.
• Les résidus ont un schéma qui suggère que le modèle pourrait être amélioré.
• Une variable avec une seule valeur a été automatiquement supprimée.
• La taille de l’échantillon est trop faible par rapport au nombre de variables d’entrée dans la régression.
• Une variable de catégorie contenant trop d’options de réponse a été ajoutée.

FAQ