記事テンプレート

ダッシュボード・ウィジェットにおける有意性検定について

ダッシュボードは、時系列またはグループ間で見られる違いが統計的に有意であり、したがって重要なビジネス上の意思決定を推進する価値があるかどうかを理解するのに役立ちます。例えば、次のような疑問を抱いたことがあるかもしれない：

• 今月は本当にNpsが上がったのか、それともデータのノイズに過ぎない小さな変化なのか？
• 実際、中西部グループの満足度は西部グループよりも高いのだろうか？
• 私の5つの細分化されたセグメントのうち、このスコアリングが一般的なものよりも高いもの、低いものはどれか？

有意性検定では、どのデータの変更が最も重要かを発見することができます。

利用可能なウィジェットおよび指標

有意性検定は、現在、以下のウィジェットで、以下のパラメータで利用できる。これらについては、次のセクションで詳しく説明する。

ウィジェット

• 水平線
• 縦線
• 棒
• 表

指標

• 平均
• NPS
• トップ/ボトムボックス
• サブセット率
  Qtip: 有意性検定を行うには、分子は分母に選んだ値の部分集合でなければならない。さらに、その比率は1以下でなければならない。
• カスタム指標

Qtip:有意性検定に使用できるのは、単一のフィールドを除数とする比例カスタム・メトリクスだけです。比例カスタム・メトリクスは、（A + B） / C という一般的な形式に従っており、A、B、C はそれぞれ異なるデータフィールドです。A / Bも、被除数が1つのフィールドだけなので、うまくいく。この目的のためにカスタム・メトリクスを作成する場合は、以下のようにカウント数のみを使用できます。例えば、(A + 5) / Bのように、方程式の中に静的な数を入れることはできない。

線グラフと棒グラフの設定

1. ライン、横棒、縦棒のウィジェットを追加します。
2. Metricsの次へ、Addをクリックします。
   
3. 対象となる指標を1つ選んでください。
4. メトリックのフィールドを選択します。
5. X-Axisの次へ、Addをクリックします。
   
6. 選択肢のフィールドを追加します。
   Qtip:2つの期間を比較したい場合は、日付フィールドを選択してください。2つの値を比較したい場合は、日付以外のフィールドを選択してください。
7. 指標をクリックしてください。
   
8. 有意性検定を有効にする。

これらの各オプションの詳細については、有意性検定の設定を参照のこと。

テーブルセッティング

1. テーブルウィジェットを追加します。
2. Metricsの次へ、Addをクリックします。
   
3. 対象となる指標を1つ選んでください。
4. 行」の次へ、「追加」をクリックする。
5. 選択肢のフィールドを追加します。
   
   Qtip:2つの期間を比較したい場合は、日付フィールドを選択してください。2つの値を比較したい場合は、日付以外のフィールドを選択してください。
6. 指標をクリックしてください。
7. 有意性検定を有効にする。

これらの各オプションの詳細については、有意性検定の設定を参照のこと。

有意性検定の設定

線グラフ、棒グラフ、表を設定し、有意性検定をオンにすると、いくつかのオプションから選択できるようになる。

1. 重要性をどのように決定するかを決める。
   • 現在の期間を以前の期間と比較する：変化の重要性を判断する際、各期間を過去の各期間と比較する。このオプションを使用するには、X 軸ディメンジョンまたは行が日付フィールドである必要があります。
     例今月の総合スコアは先月より高いか？今月のスコアは昨年の今頃より高いのか？
   • 特に高い値や低い値を特定する：時間や日付を伴わないデータで最も一般的な選択。
     例ブラジルのスコアは他の南米諸国に比べて高いか？
   • 現在の値を別の値と比較する：変更の重要性を判断する際に、各値を他の値と比較する。このオプションを使用するには、X 軸ディメンジョンが日付以外のフィールドである必要があります。
     例ブラジルのスコアはベネズエラのスコアより高いか？ブラジルのスコアはコロンビアより高いのか？ベネズエラはコロンビアより高いのか？
2. 現在の期間と以前の期間を比較する」を選択した場合は、オフセットを選択します。このオプションは、有意性を判断するためにどの期間を使用するかに影響する。利用可能なオプションは以下の通り：
   • 前の期間：各期間を前の期間と比較する。
   • 1年：各期間を1年前の期間と比較する。
   例このウィジェットは、1年のオフセットで、四半期ごとにグループ化された平均CSATを表示します。矢印は、2019年第1四半期から2020年第1四半期への値の増加が統計的に有意であることを示している。
   
3. 信頼レベル を選択します。信頼区間についての詳細は、Understanding Significance Testingを参照してください。

多次元にわたる有意性の比較

メトリック、X軸、データ系列を追加することで、複数の次元にわたって有意性を比較することができます。これが機能するためには、次のことを確認する必要がある：

• X軸フィールドは日付フィールドである。
• データシリーズフィールドは非日付フィールドである。

例このウィジェットは、毎年異なる部門の平均CSATを表示します。指標は平均 CSAT、X 軸は日付、データ系列は部門である。

現在の期間と以前の期間を比較する]を選択すると、各部門の期間における重要度が比較される。

現在の値を別の値と比較する」を選択すると、各期間内で部門間の有意性を比較することもできる。

有意性検定の理解

信頼区間 は、分析によって生成された結果が一般母集団と一致することの信頼度を示します。信頼レベルが高いと、しきい値が上がり、差が統計的に有意であると見なされます。つまり、最も明確な差のみが統計的に有意であるとマークされます。

有意性テストを有効にすると、ウィジェットに上向きと下向きの矢印が表示されます。これらの矢印は統計的に有意な値を示す。

矢印の上にカーソルを置くと、その値が有意とみなされる理由と、その検定の信頼区間を知ることができる。

有意性検定に関するテクニカル・ノート

チャートの種類や比較のタイプ（経時的なものなど）にかかわらず、あるNPSスコアと別のNPSスコアを比較する場合は、以下のプロセスを使用する：

1. 以下の方法でNPSスコアを再コード化する新しいデータ列を作成する：
   • 推奨者 = 100
   • ニュートラル = 0
   • 批判者 = -100
2. 両側Welchの独立サンプルT検定を行う。

チャートの種類や比較の種類（経年比較など）にかかわらず、あるトップボックスのスコアを別のトップボックスのスコアと比較する場合、以下のプロセスを用いる：

1. 未加工スコアがトップボックスの基準を満たしているかどうかによって、TRUEまたはFALSEに再コード化する新しい列のデータを作成する。
2. 2つの割合の差について両側z検定を行う。