-
Qualtrics Platform -
Customer Journey Optimizer -
XM Discover -
Qualtrics Social Connect
Predict iQ
Predict iQについて
お客様が会社を辞めると、不機嫌になることがよくあります。もしも、この顧客がリスクにさらされていることを知っていたら、彼らが私たちに対する信頼を完全に失う前に、彼らに連絡を取ることができたかもしれません。顧客が離れる（退職する）可能性を予測する方法しかなかったら、
Predict iQは、回答者が最終的に離反するかどうかを予測するために、回答者のアンケート回答と埋め込みデータから学習します。次に、新しいアンケートの回答が入ると、Predict iQはそのアンケート回答者が今後離反する可能性を予測できます。Predict iQは、顧客が離反するかどうかを予測するために、Neural Networks（ディープラーニングと呼ばれるサブセット）とRegression（回帰）を使用して候補モデルを構築します。データセットごとにこれらの異なるモデルのバリエーションが試みられ、データに最も適合するモデルが選択されます。
データの準備
チャーン予測モデルを作成する前に、データの準備が完了していることを確認する必要があります。
予測iQは、離反した回答者が500人以上いる場合に最適に機能します。ただし、離反した回答者が5,000人以上いると最適な結果が得られます。
離反変数の設定
- 離反を予測するアンケートで、［アンケート］フローに移動します。
- ［こちらに新しい要素を追加］をクリックします。
- ［埋め込みデータ］を選択します。
- 項目名を入力するように求められます。任意の項目名を入力することができます。ここでは、単純明快なチャーンを選択しました。
- ［適用］をクリックします。
- また、取り込む必要がある他のデータ、特に離反の予測に役立つ可能性のあるオペレーショナルデータ（在職期間や購入数など）についても、同じプロセスを繰り返すことができます。
データの記録
離反変数があれば、離反したかどうかを「はい」または「いいえ」に指定するチャーンの列を含む履歴データをアンケートにインポートできます。
離反予測モデルの作成
離反変数が設定され、十分なデータが得られたら、Predict iQを開くことができます。
- アンケート内で［データと分析］をクリックします。
- Predict iQを選択します。
- 離反予測モデルの作成をクリックします。
- 前のセクションで作成した変数を選択します。この例では、チャーンと呼ばれます。
ヒント：Predict iQは、［はい］／［いいえ］や［True/False］など、2つの選択肢がある結果のみを予測します。数値の結果（例：1～7のスケール）や、2つ以上の値を持つカテゴリー別結果（「はい」/「かもしれない」「いいえ」など）は予測されません。 - 離反した顧客を示す値を選択します。
例: この例では、変数名は Churn であるため、Churn が Yes と等しい人物は離反しました。ただし、たとえば、代わりに変数として Staying with our company という名前を付けたとします。「いいえ」は、その人が会社に滞在しておらず、離反したことを示します。
- モデルから除外するか、モデルに含める変数を選択します。[exclude/include (除外/包含)] をクリックして、2.
- 除外: たとえば、履歴データに “離反の理由” という変数測定がある場合は、予測の実行時に新しい回答者が使用できなくなるため、その測定値を分析から除外することができます。
ヒント：複数の変数を除外できます。変数の横にある X をクリックして、除外された変数の一覧から削除します。
- 包含: モデルに含める変数を選択します。他の変数はすべて無視されます。
- 除外: たとえば、履歴データに “離反の理由” という変数測定がある場合は、予測の実行時に新しい回答者が使用できなくなるため、その測定値を分析から除外することができます。
- 作成をクリックします。
予測モデルが完成すると、Predict iQページは、作成した離反予測モデルに関する情報に置き換えられます。
モデルトレーニングではどのようにデータセットが分割されますか。
モデルのトレーニングプロセスでは、データセットがトレーニング、検証、およびテストデータに分割されます。データの 80% がトレーニングに使用されます。データの 10% がチェックに使用され、データの 10% がテストに使用されます。
変数情報
予測モデルの結果と設定セクションには、チャーン埋め込みデータ変数の名前と、顧客が離反する可能性があることを示す値が表示されます。このセクションには、除外された変数も一覧表示されます。
予測ドライバ
予測ドライバは、予測モデルを作成するために分析された変数であり、離反の予測における重要性によって順序付けられます。これには、分析から除外されなかった変数が含まれます。以下の例では、NPS スコアと信頼性評価によって離反予測が推進されます。
一覧を展開するには [他のドライバを表示] をクリックしてください。
ヒント：このチャートを作成するには、各変数は離反変数に対する単純なロジスティック回帰で実行されます。R二乗の最大値は1に設定され、他の変数の値はそれに応じてスケーリングされます。たとえば、R二乗の最高値が 0.5 の場合、各変数の棒の長さは R二乗 * 2 になり、棒の長さは 1 になります。
したがって、チャートは、チャーンを予測する際の変数の相対的な強度の指標であり、性質上は多変量ではありません。ディープラーニングアルゴリズムに基づくモデルの成果に対する各変数の影響の評価は、現在受け入れられているベストプラクティスがない積極的な学術研究の領域である。
予測指標
予測iQは、モデルを作成する前にデータの「ホールドアウト」（留保）を10%にします。モデルの登録後、その 10% の予測が登録されます。次に、その予測を、実際に何が起こったのか、つまり顧客が本当に離反しているかどうかと比較します。これらの結果は、以下の精度メトリクスの動力として使用されます。これは、モデルの精度を見積もるための効果的なベストプラクティス方法ですが、モデルの将来の正確性を保証するものではないことに注意してください。
- 精度: モデルの予測の精度に対する比率。
- 精度：離反すると予測された顧客のうち、実際に離反する顧客の割合。
- リコール：事前に予測したモデルがそうなると実際に離反した人の割合。
Predict iQは、F1スコアを最大化して最適なしきい値を計算します。モデルはデフォルトで最適なしきい値に設定されますが、これを調整することができます。以下のしきい値の設定を参照してください。
コンフュージョンマトリクステーブルと高度な予測メトリクステーブルを表示するには、予測メトリクステーブルの下にある詳細出力をクリックします。
正確さと再現率
精度とリコールは、最も重要な予測メトリクスです。顧客には逆の関係があるため、どの顧客が離反するかを正確に把握することと、離反する可能性の高い顧客のすべてまたは大部分を特定したことのトレードオフについて考えなければならないことがよくあります。
しきい値の設定
設定しきい値をクリックして、顧客をチャーンの可能性としてラベル付けするしきい値を設定します。このしきい値率は、個別チャーン可能性です。
グラフ上のドットをクリックしてドラッグし、しきい値を調整するか、しきい値 % を入力してグラフがどのように変化するかを確認します。終了したら、しきい値の設定をクリックして変更を保存します。右下のキャンセルまたは右上にある X をクリックして、変更をキャンセルすることもできます。
しきい値を調整すると、Y 軸に沿って精度が調整され、X 軸に沿ってリコールが調整されます。これらのメトリクスには逆の関係があります。計測精度が高いほど、リコールは低くなり、その逆も同様です。
混同行列
Predict iQが予測モデルを構築すると、データの10%が「ホールドアウト」（または整理）されます。生成されたモデルの精度をチェックするために、新規モデルのデータが 10% ホールドアウトに対して実行されます。これは、予測される内容と「実際に起こったこと」の比較として機能します。
このチャートの
“はい” は、設定のステップ 5 で指定した目標値に置き換えられます。
- 実績否定 / 予測なしはい: モデルによって離反しないと予測された顧客のうち、実際には離反しなかった顧客の割合 (%)。
- 実際はい / 予測なしあり: モデルによって離反しない、逆に離反した顧客の割合 (%)。
- 実績否定 / 予測はい: モデルが離反すると予測された顧客のうち、逆に離反しなかった顧客の割合 (%)。
- 実際はい / 予測はい: モデルが離反すると予測された顧客のうち、実際に離反した顧客の割合 (%)。
数値は、正しい推測を反映するため、できるだけ大きい数値にする必要があることを示す緑色です。数値は、誤った推測を表すため、数値を低くしたいことを示すために赤色で表示されます。
マトリクスを調整して、［パーセント］または［件数］のいずれかを表示できます。この数には、データセット全体ではなく、保持されている 10% のデータが含まれます。
高度な予測指標
このテーブルには、追加の予測メトリックが表示されます。
- 精度：離反すると予測された顧客のうち、実際に離反する顧客の割合。
- リコール：事前に予測したモデルがそうなると実際に離反した人の割合。
- 精度: モデルの予測の精度に対する比率。
- F1 スコア: F1 スコアは、リコールと精度のバランスを取るしきい値を選択するために使用されます。通常、F1 スコアが高いほうが適切ですが、しきい値を設定する正しい場所はビジネス目標によって決定されます。
- 精度 – リコール曲線下の面積: 精度 – リコール曲線は、しきい値設定をクリックしたときにグラフ上で観測する曲線です。曲線下の合計面積は、(しきい値を設定した場所に関係なく) モデルの全体的な精度の指標です。曲線下の 50% の領域はランダムな確率と等しく、100% は完全に正確です。
予測を作成
ロット予測 (CSV)
アンケートで収集した回答を分析するだけでなく、Predict iQで評価する特定のデータファイルをアップロードすることもできます。
ファイルのテンプレートを取得するには、このモデルのバッチ予測テンプレートをクリックします。
Excelでのファイルの編集が終了し、再アップロードの準備ができたら、［ファイルを選択］をクリックしてファイルを選択します。次に、予測を作成をクリックして分析を開始します。
予測ストリーミング
データがアンケートに入力されると、ストリーム予測が更新されます。このセクションでは、これらの予測更新が実行されるタイミングを決定することができます。
新しい回答者がこのアンケートに回答するたびに予測を作成します：この設定では、リアルタイムの予測が可能になります。データにはさらに 2 つの列 (“離反確率”、10 進数形式の “チャーン確率”、および “離反予測” (はい/いいえ)) があります。離反予測は、設定されたしきい値に基づきます。
モデルの管理
ページの左側にメニューが表示され、過去に登録した予測モデルをスクロールして選択することができます。
- モデル名で検索します。
- モデルの一覧をソートします。ドロップダウンをクリックして並べ替え基準を選択し、ドロップダウンの横にある矢印を使用して、並べ替え基準を降順または昇順のどちらにするかを調整します。
- 表示するモデルを選択します。
- 新しい予測モデルを作成します。
- 左側からモデルを選択したら、ページ上部のモデル名をクリックして名前を編集できます。
チャーンデータ
［データと分析］タブの［データ］セクションでは、データを便利なスプレッドシートとしてエクスポートできます。予測モデルがロードされると、このページにチャーンデータの追加の列が表示されます。
- チャーン確率: 10 進数形式のチャーン確率。ストリーム予測が有効化されており、しきい値セットに基づいている場合に表示されます。列チャーン確率が表示されない場合は、”[選択したチャーンフィールド]_PROBABILITY_PREDICT_IQ” という名前のデータ列も検索できます。
- 離反予測：設定されたしきい値に基づいて離反を確認または拒否する Yes/No 変数。ストリーム予測が有効化されている場合に表示されます。列離反予測が表示されない場合は、”[選択したチャーンフィールド]_CLASS_PREDICT_IQ” という名前のデータ列も検索できます。
列名には、MMDDYYYY 形式でモデルがトレーニングされた日付も含まれます。たとえば、2022 年 1 月 14 日は列名には 01142022 と表示されます。
チャーン確率および予測は、新しいサーベイ結果にのみ適用されることに注意してください。これまでは、既存の回答にチャーン確率や注意事項が追加されていませんでした。
自動データクリーニング
Predict iQは、モデルの学習時に、他の変数を自動的に変換しながら、予測に役立たない特定のタイプの変数を自動的に無視します。
高カーディナリティ変数
変数に一意の値が 50 を超える場合、または記録された値の 20% 以上が一意である場合、その変数はモデルのトレーニング時に無視されます。一意の値が多すぎる変数は、予測で適切な機能列ではありません。
数値列の値がありません
モデルに含まれる数値変数の場合、欠損値は常に 0 (ゼロ) になります。
カテゴリの 1 ホットエンコーディング
カテゴリ変数は、変数が識別されないか、変数にカテゴリの序数関係がない場合、1ホットエンコードされます。
ヒント：Predict iQには、Stats iQと同じ変数設定が引き継がれます。
不変変数
記録された値に差異がない変数は、モデルトレーニングで無視されます。つまり、一意の値が 1 つのみである変数がある場合、その変数はモデルの一部になりません。予測に役立つ変数は、一意の値が少なすぎることと、一意の値が多すぎるという点で良好なバランスを取ります。上記の “高カーディナリティ変数” を参照してください。
データ・クリーニング中に不変変数が除外された場合、それらは予測モデルの結果と構成セクションにリストされる。
Predict iQを使用できるプロジェクト
Predict iQはすべてのライセンスに含まれているわけではありません。ただし、この機能がある場合は、いくつかの異なる種類のプロジェクトでアクセスできます。
Predict iQはエンゲージメントおよびライフサイクルプロジェクトにも表示できますが、通常、これらのプロジェクトタイプで収集されるデータの性質に基づいて、データセットは必ずしもPredict iQに最適なものではありません。
Predict iQはコンジョイントとMaxDiffに表示されますが、一緒に使用することはお勧めしません。コンジョイントとMaxDiff固有のコンテンツはPredict iQに対応していないため、分析できるのはデモグラフィックデータのみです。
その他のプロジェクトの種類はサポートされていません。