Passer au contenu principal
Loading...
Skip to article
  • Qualtrics Platform
    Qualtrics Platform
  • Customer Journey Optimizer
    Customer Journey Optimizer
  • XM Discover
    XM Discover
  • Qualtrics Social Connect
    Qualtrics Social Connect

Le compromis Matrice de confusion et rappel de précision


Was this helpful?


This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

The feedback you submit here is used only to help improve this page.

That’s great! Thank you for your feedback!

Thank you for your feedback!


La matrice de confusion et le graphique de rappel précis vous aident à évaluer la précision de votre modèle.

Matrice de confusion

Imaginons que vous envisagiez de donner un cube de sucre supplémentaire aux clients susceptibles de revenir. Mais vous voulez bien sûr éviter de donner inutilement des cubes de sucre, vous ne les donnez donc qu’aux clients que le modèle dit avoir au moins 30% de chances de retour.

Si vous aviez de nouveaux clients avant…

ID client Âge Sexe
324 54 Femme
325 23 Femme
326 62 Homme
327 15 Femme

 

…vous pouvez utiliser notre modèle de régression pour prédire leur probabilité de retour…

ID client Âge Sexe Probabilité de retour estimée par le modèle
324 54 Femme 34 %
325 23 Femme 24 %
326 62 Homme 65 %
327 15 Femme 7 %

 

…et décider de classer les clients avec une probabilité d’au moins 30 % comme “reviendra” et de leur donner des cubes de sucre :

ID client Âge Sexe Probabilité de retour estimée par le modèle Prévision du modèle
(seuil de 30 %)
324 54 Femme 34 % Renverra
325 23 Femme 24 % Gagnée
326 62 Homme 65 % Renverra
327 15 Femme 7 % Gagnée

 

Pour mieux comprendre la précision de notre modèle, vous pouvez appliquer le modèle aux points de données que vous avez déjà, où vous savez déjà si ce client est finalement retourné…

ID client Âge Sexe Probabilité de retour estimée par le modèle Prévision du modèle
(seuil de 30 %)
Retourné
1 21 Homme 44 % Renverra Retourné
2 34 Femme 4 % Gagnée Retourné
3 13 Femme 65 % Renverra Je ne l’ai pas fait
4 25 Femme 27 % Gagnée Je ne l’ai pas fait

 

…et évaluez la précision des données…

ID client Âge Sexe Probabilité de retour estimée par le modèle Prévision du modèle
(seuil de 30 %)
Retourné Précision des prévisions
1 21 Homme 44 % Renverra Retourné Tout à fait
2 34 Femme 4 % Gagnée Retourné Erroné
3 13 Femme 65 % Renverra Je ne l’ai pas fait Erroné
4 25 Femme 27 % Gagnée Je ne l’ai pas fait Tout à fait

 

…et ventiler ensuite dans les catégories suivantes :

  • Vrai positif : classé par le modèle comme “Will return” et avait en fait “Returned” dans la réalité.
  • Faux positif : classé par le modèle comme “Renouvellera” mais en fait “N’est pas retourné” dans la réalité.
  • Vrai négatif : classé par le modèle comme “Ne reviendra pas” et en fait “N’est pas revenu” dans la réalité.
  • Faux Négatif : Classé par le modèle comme “Won’t return” mais avait en réalité “Returned” dans la réalité.
ID client Âge Sexe Probabilité de retour estimée par le modèle Prévision du modèle
(seuil de 30 %)
Retourné Précision des prévisions Type d’exactitude
1 21 Homme .44 Renverra Retourné Tout à fait Vrai positif
2 34 Femme 04 Gagnée Retourné Erroné Faux négatif
3 13 Femme .65 Renverra Je ne l’ai pas fait Erroné Faux positif
4 25 Femme .27 Gagnée Je ne l’ai pas fait Tout à fait Vrai négatif

 

Enfin, vous pouvez résumer tout ce travail en précision et rappel.

Précision:

  • Parmi ceux classés comme “Renouvelleront-ils”, quelle proportion a réellement fait ?
  • Vrai positif / (Vrai positif + Faux positif)

Rappel :

  • Rappel : De ceux qui en fait “restitués”, quelle proportion ont été classifiés ainsi ?
  • Vrai positif / (Vrai positif + Faux négatif)

De meilleurs modèles ont des valeurs plus élevées pour la précision et le rappel.

  • Vous pouvez imaginer un modèle avec 94% de précision (presque tous identifiés comme “Will return” le font en fait) et 97% rappel (presque tous ceux qui “Retourné” ont été identifiés comme tels).
  • Un modèle plus faible peut avoir une précision de 95 % mais 50 % de rappel (lorsqu’il identifie quelqu’un comme « Renouvellera », il est en grande partie correct, mais il est mal étiqueté comme « Ne retourne pas » la moitié de ceux qui ont fait en fait plus tard « Retour »).
  • Ou peut-être que le modèle a une précision de 60 % et un rappel de 60 %.

Ces chiffres doivent vous donner un bon sens de la précision de votre modèle, même si vous ne voulez jamais faire de prédictions.

Précision vs. Courbe de rappel

Dans n’importe quel modèle, vous pouvez également décider de mettre l’accent sur la précision ou le rappel. Vous êtes peut-être très court sur les cubes à sucre et ne voulez les donner qu’à des personnes dont vous êtes très confiant reviendra, vous décidez donc de ne les donner qu’à des clients qui sont 60 % susceptibles de revenir (au lieu de 30 %).

Notre précision va monter car vous ne remettrez des cubes de sucre que lorsque vous aurez vraiment confiance en quelqu’un « reviendra ». Notre rappel va s’enfoncer car il y aura beaucoup de gens qui finiront par “Retour” à qui vous n’étiez pas assez confiant pour donner un cube de sucre.

Précision:   62%   —>   80%
Rappel:        60%   —>   30%

Ou, si vous vous sentez riche en cubes de sucre, vous pourriez les donner à toute personne ayant au moins 10% de chance d’être un rapatrieur.

Précision:   62%   —>   40%
Rappel:        60%   —>   90%

Vous pouvez tracer ce compromis entre précision et rappel avec ce graphique :

Graphique de compromis entre le rappel et la précision

Il peut être utile de choisir un point sur le graphique qui représente un bon mélange de précision et de rappel, puis d’avoir une idée de la précision du modèle à ce stade.

FAQ

De nombreuses pages de ce site ont été traduites de l'anglais en traduction automatique. Chez Qualtrics, nous avons accompli notre devoir de diligence pour trouver les meilleures traductions automatiques possibles. Toutefois, le résultat ne peut pas être constamment parfait. Le texte original en anglais est considéré comme la version officielle, et toute discordance entre l'original et les traductions automatiques ne pourra être considérée comme juridiquement contraignante.