Le compromis Matrice de confusion et rappel de précision

Matrice de confusion

Imaginons que vous envisagiez de donner un cube de sucre supplémentaire aux clients susceptibles de revenir. Mais vous voulez bien sûr éviter de donner inutilement des cubes de sucre, vous ne les donnez donc qu’aux clients que le modèle dit avoir au moins 30% de chances de retour.

Si vous aviez de nouveaux clients avant…

…vous pouvez utiliser notre modèle de régression pour prédire leur probabilité de retour…

…et décider de classer les clients avec une probabilité d’au moins 30 % comme “reviendra” et de leur donner des cubes de sucre :

Pour mieux comprendre la précision de notre modèle, vous pouvez appliquer le modèle aux points de données que vous avez déjà, où vous savez déjà si ce client est finalement retourné…

…et évaluez la précision des données…

…et ventiler ensuite dans les catégories suivantes :

• Vrai positif : classé par le modèle comme “Will return” et avait en fait “Returned” dans la réalité.
• Faux positif : classé par le modèle comme “Renouvellera” mais en fait “N’est pas retourné” dans la réalité.
• Vrai négatif : classé par le modèle comme “Ne reviendra pas” et en fait “N’est pas revenu” dans la réalité.
• Faux Négatif : Classé par le modèle comme “Won’t return” mais avait en réalité “Returned” dans la réalité.

Enfin, vous pouvez résumer tout ce travail en précision et rappel.

Précision:

• Parmi ceux classés comme “Renouvelleront-ils”, quelle proportion a réellement fait ?
• Vrai positif / (Vrai positif + Faux positif)

Rappel :

• Rappel : De ceux qui en fait “restitués”, quelle proportion ont été classifiés ainsi ?
• Vrai positif / (Vrai positif + Faux négatif)

De meilleurs modèles ont des valeurs plus élevées pour la précision et le rappel.

• Vous pouvez imaginer un modèle avec 94% de précision (presque tous identifiés comme “Will return” le font en fait) et 97% rappel (presque tous ceux qui “Retourné” ont été identifiés comme tels).
• Un modèle plus faible peut avoir une précision de 95 % mais 50 % de rappel (lorsqu’il identifie quelqu’un comme « Renouvellera », il est en grande partie correct, mais il est mal étiqueté comme « Ne retourne pas » la moitié de ceux qui ont fait en fait plus tard « Retour »).
• Ou peut-être que le modèle a une précision de 60 % et un rappel de 60 %.

Ces chiffres doivent vous donner un bon sens de la précision de votre modèle, même si vous ne voulez jamais faire de prédictions.

Précision vs. Courbe de rappel

Dans n’importe quel modèle, vous pouvez également décider de mettre l’accent sur la précision ou le rappel. Vous êtes peut-être très court sur les cubes à sucre et ne voulez les donner qu’à des personnes dont vous êtes très confiant reviendra, vous décidez donc de ne les donner qu’à des clients qui sont 60 % susceptibles de revenir (au lieu de 30 %).

Notre précision va monter car vous ne remettrez des cubes de sucre que lorsque vous aurez vraiment confiance en quelqu’un « reviendra ». Notre rappel va s’enfoncer car il y aura beaucoup de gens qui finiront par “Retour” à qui vous n’étiez pas assez confiant pour donner un cube de sucre.

Précision:   62%   —>   80%
Rappel:        60%   —>   30%

Ou, si vous vous sentez riche en cubes de sucre, vous pourriez les donner à toute personne ayant au moins 10% de chance d’être un rapatrieur.

Précision:   62%   —>   40%
Rappel:        60%   —>   90%

Vous pouvez tracer ce compromis entre précision et rappel avec ce graphique :

Il peut être utile de choisir un point sur le graphique qui représente un bon mélange de précision et de rappel, puis d’avoir une idée de la précision du modèle à ce stade.

FAQ