-
Qualtrics Platform -
Customer Journey Optimizer -
XM Discover -
Qualtrics Social Connect
記事テンプレート
回答品質について
ExpertReview回答品質は、クアルトリクス・プラットフォームの機能で、分析を始める前に収集したデータの全体的な品質をチェックします。可能な限り最高の品質のデータを回収するため、アンケートの改善方法について最善の提案をします。以下に、回答を分析する際に表示される可能性のあるエラーメッセージと、それぞれのエラーメッセージを解決する方法を示します。
データと分析におけるExpertReviewの使用方法については、「回答品質機能」をご覧ください。
アンケート調査の終了時間が異常に早い
あまりにも早くアンケート調査を完了した回答者は、スピード違反者としてフラグが立てられます。これは、質の高い回答を提供する代わりに、アンケートを早く終わらせるためにランダム化機能で回答を選んでいることを意味します。
回答者がアンケートに回答する時間の中央値から標準偏差が 2 以上離れている場合、回答にはフラグが付けられ、少なくとも 100 件の回答を収集する必要があります。除外回答、プレビュー回答、テスト回答は100回答にはカウントされません。
ボットの可能性
Googleの不可視のreCaptchaテクノロジーを使用することで、回答が人間ではなくボットからのものである可能性を検出することができます。ボット検出を有効にすると、埋め込みデータフィールド Q_RecaptchaScore で各回答者にスコアが割り当てられ、ボットからの回答の可能性が示されます。このスコアが0.5未満の場合、回答はボットとしてフラグが立てられます。
ボット対策
ボットがアンケートを通過する可能性を減らす方法はいくつかあります。
- 分岐ロジックでQ_RecaptchaScore を使用して、ボットをアンケートの最後に送ったり、完全に除外したりします。
- アンケートの最初にCAPTCHA認証の質問を使用します。
- パネルに配信する場合は、認証機能またはパスワードを使用して、アンケートに参加できる人を制限してください。
- アンケートのセキュリティオプションを調整してみてください。
複数回アンケート調査を受けたことがある。
Qtip:重複の可能性がある回答は、アンケートのオプションで次のうち少なくとも 1 つを選択している場合にのみフラグを立てることができます：
ユーザーが複数回アンケートに回答しようとすることがあります。調査の目的にもよりますが、複製があると、結果が再犯者のフィードバックにバイアスされ、データの質が低下する可能性があります。
どのアンケートオプションを有効にするかによって、回答が複製としてフラグ付けされる可能性のある方法が 2 つあります：
- RelevantID が有効である：Q_RelevantIDDuplicateScoreフィールドが75以上である。
- 複数回答の防止] は “回答のフラグ:” に設定されています。Q_BallotBoxStuffing フィールドは “true” に設定されています。
繰り返しの回答を禁止する
アンケートの設定方法によっては、データ収集を開始する前に回答の複製を防ぐことができます。
- 回答者を知っている場合は、回答者にメールアンケートを送信する。
Qtip:匿名リンクを誰にも使わせないようにするには、以下のように変更してください。 アンケート調査へのアクセス招待者のみ。
- 回答者を知っている場合、または組織でシングルサインオン（SSO）を使用している場合は、再受信オプションが無効になっている認証機能を使用してください。
- 匿名リンクで複数回答の防止を使用する場合は、アンケート調査終了またはリダイレクトオプションを選択します。
Qtip:匿名リンクを使用する場合、RelevantIDを有効にしても複製が即座に削除されるわけではありませんが、データ収集終了後に複製を削除できるようになり、データの質が強化されます。
低い合計完了率
アンケートを開始してから24時間以内に回答者がアンケートを終了しない場合、アンケートを終了するために再度アンケートに来ることはない可能性があります。このようなことが多ければ多いほど、アンケートの書き方や形式が回答者を遠ざけている可能性が高くなります。
アンケートの回答率が低いと判定されるのは、完全な回答が 100 件以上集まってからです。(不完全な回答や進行中の回答は除外されます）また、過去 24 時間以内に回答が開始されていない場合も、完全な回答率が低いというフラグは立てられません。(これには、完全な回答、不完全な回答、進行中の回答が含まれます）。これにより、数カ月前に回答の収集が中止されたにもかかわらず、完全な回答が得られていないと誤認されることがなくなります。
24時間完走率にフラグが立った場合
（現在時刻から 24 時間後に開始され、完了したアンケートの数）/（現在時刻から 24 時間後に開始されたアンケートの数）を計算することにより、アンケートの完了率が悪いと判断されます。
- マイナー：過去 24 時間以内に開始した回答のうち、完全な回答が得られていないのはわずか 1 ～ 9%。
- 中程度：24時間以内に開始した回答の10～20%が完了していない。
- 深刻：過去24時間以内に開始した回答の21％以上が完了していない。
アンケート調査の修正
回答率が悪いということは、アンケート調査の作成方法に問題がある可能性があります。完了率を向上させるためにアンケートを修正する際には、ExpertReview が最初にアンケートに割り当てた iQ スコアを考慮することが重要です。以下のページでは、EXPERTREVIEWがフラグを立てたすべての問題についてのアドバイスを掲載しています。
低い合計完了率
アンケートの完了率が悪ければ悪いほど、アンケートの書き方やフォーマットに関する何かが回答者を遠ざけている可能性が高くなります。
アンケートの完了率が低いと判定されるのは、完全な回答率が 100 件以上集まってからです。(インポート回答、不完全な回答、進行中の回答は除きます）。
総合完走率にフラグが立った場合
(完全な回答数) / (記録された総回答数 +進行中の総回答数) を計算することで、アンケートの完了率が低いと判断できます。
- マイナー：過去 24 時間以内に開始した回答のうち、完全な回答が得られていないのはわずか 1 ～ 9%。
- 中程度：24時間以内に開始した回答の10～20%が完了していない。
- 深刻：過去24時間以内に開始した回答の21％以上が完了していない。
アンケート調査の修正
回答率が悪いということは、アンケート調査の作成方法に問題がある可能性があります。完了率を向上させるためにアンケートを修正する際には、ExpertReview が最初にアンケートに割り当てた iQ スコアを考慮することが重要です。以下のページでは、EXPERTREVIEWがフラグを立てたすべての問題についてのアドバイスを掲載しています。
機密情報を含む回答
回答には、回答者に関する機密情報が含まれていることがあります。これは電話番号から社会保障番号まで何でもあり得る。回答者が提供した情報は機密性が高く、分析に含めることができないため、データセットからこのデータを除外したい場合があります。
ブランドの設定によっては、回答から機密情報が削除される場合もあります。この場合、機密情報はアスタリスクに置き換えられ、何が機密情報であったかを取り出すことはできない。情報を修正した回答を分析に含めるかどうかは、あなた次第です。
機密データの収集防止
回答者は、自由形式の回答で機密情報を無回答で提供することがありますが、機密情報漏洩を防ぐ最善の方法は、個人情報を尋ねないようにすることです。アンケート調査からこの種のリクエストを削除する方法については、「センシティブデータの問題を解決する」を参照してください。
ブランド管理者の場合は、機密データポリシーに再編集を追加することを検討してください。これにより、アンケート作成者が回答者の機密情報にアクセスできないようにすることができます。あなたは、どのデリケートなトピックを編集し、どのトピックを編集しないかを選択することができます。
あいまいなテキスト
自由回答欄にあいまいなテキストを入力した回答者には、フラグが立てられます。質問文のランダム化機能には、「ちんぷんかんぷん」、または回答者が質問に答えるためにランダムな文字や記号を入力した場合も含まれます。曖昧テキストは、英語（US、UK）、スペイン語（ES、ES-ES）、フランス語（FR、FR-CA）、ドイツ語（DE）、ポルトガル語（PT、PT-BR）、イタリア語（IT）で検出できます。他の言語で書かれた回答や、頭字語（Cxなど）を含む回答にはフラグはつきません。
曖昧な回答の防止
このような質問の動作を完全に防ぐ方法はありませんが、回答者が自由形式の質問により質の高い回答をするように促す方法はあります。
- すべての回答者に適用されない可能性のある質問は非表示にします：回答を強制したために、回答者があいまいな文章を入力することがありますが、質問の内容は回答者には関係ありません。例えば、一般人口をアンケート調査しているにもかかわらず、回答者に子供に関する質問を始めた場合、おそらくこれらの質問が適用されない人がアンケートに参加していることでしょう。一般的な質問 (お子さんはいますか?) で開始し、回答者の回答を使用して次の質問の分岐、表示、またはスキップロジックを設定する場合、家庭内の子供に関する質問を非表示にすることができます。
- 質問が一般的すぎないようにしましょう：回答者に自由回答フィールドを提供する場合、どのようなデータを求めているのかガイダンスが必要になることがよくあります。プロンプトの範囲が広すぎると、回答者はどう答えたらいいかわからなくなるかもしれません。
例“Are there there additional comments you’d like to provide?” は、”Is there you’d like additional feedback on your experience with support?” ほど具体的ではありません。後者は、一般的なプロダクトや会社に関するフィードバックではなく、サポートチームとの特定のエクスペリエンスに関するフィードバックを求めていることを指定します。
- 該当する場合は、回答の要件が特定の形式に適合するようにします：たとえば、Eメールアドレスを入力するよう求める場合、質問にコンテンツの検証を追加することができます。
不明瞭なテキストを含む回答のフラグ付け
ExpertReviewはデフォルトではこのような回答にフラグを立てませんが、以下の手順でフラグを立てることができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 回答品質]をクリックします。
- クリックを勧める。
- あいまいなテキストを有効にする。
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、アカウント内のすべてのアンケートではなく、現在参加しているアンケートのみが対象となるため、必要に応じて回答品質分析をカスタマイズすることができます。
回答があいまいな質問の特定
回答にフラグが付けられたかどうかにかかわらず、回答に曖昧な文があったかどうか、影響を受けた特定の質問について、より具体的な情報を得ることができます。クアルトリクス内でデータを閲覧することができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 列選択をクリックする。
- 埋め込みデータを選択。
- 以下のフィールドを選択する：
- Q_AmbiguousTextPresent：アンケートの回答にあいまいなテキストがあったかどうか。これは、アンケート調査の自由形式の質問に対する回答でも構いません。0は「いいえ」、1は「はい」を示す。
- Q_AmbiguousTextQuestions：曖昧な回答を受け取った特定の質問。これは編集可能な質問番号ではなく、内部のQIDとして与えられます。
Qtip:QIDを見つけるには、Internal ID Numberingで質問に自動番号をつけてください。ナンバリングは後でいつでも元に戻せるし、変更を公開しないこともできる。
- これらの列がデータに表示されます。
未回答の質問のパターンはありません
アンケートを見たにもかかわらず、多くの質問に回答しなかった場合、回答にはフラグが付けられます。回答は、見た質問の30％以上が未回答のままだった場合にフラグが立てられます。そうすることで、ちょっとしたミスや、意図的に無関係な質問を1つ飛ばした場合でも、フラグが立つことはありません。
答えのない質問のパターンを防ぐ
回答者が質問をスキップする傾向があると判定された場合、それは次のような原因が考えられます：
- 質問が聴衆に関連していない：サンプルを選ぶことは、調査を行う上で非常に重要なステップです。ごく一般的な対象者にアンケート調査を配信した場合、対象者が答えようのない質問をしてしまう可能性があります。例えば、ワークスペースの人間工学をアンケート調査する場合、現在失業中の回答者を含めるべきではないでしょう。配信サンプルを管理できない場合は、無関係な回答者を除外するために除外を設定することを検討してください。
- 質問が明確でない：質問は正しいかもしれませんが、回答者を少し混乱させるような表現になっているかもしれません。これらの質問をできるだけ短く、明確になるように書き直してみてください。受動態ではなく能動態を使うようにしましょう。
- 回答者は意図的にできるだけ早くアンケートの調査を終了しようとしています：これは、あいまいな文章や直線を使用することによっても示すことができる。アンケートのすべての質問に回答してもらうために、質問に検証を加えることを検討してください。回答者に各質問に回答するよう強制したり、アンケートのページを終了するときに未回答の質問に戻るようメッセージを表示させたりすることができます。
Qtip：回答者の疲労が要因であるかどうかを考慮することも重要です。
フラグ 未回答のパターンがある回答
ExpertReviewはデフォルトではこのような回答にフラグを立てませんが、以下の手順でフラグを立てることができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 回答品質]をクリックします。
- クリックを勧める。
- 答えのない質問を可能にする
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、アカウント内のすべてのアンケートではなく、現在参加しているアンケートのみが対象となるため、必要に応じて回答品質分析をカスタマイズすることができます。
回答者が答えなかった質問を特定する
回答フラグの有無にかかわらず、どの質問がスキップされたか、アンケートの質問の何パーセントが未回答であったかなど、より具体的な情報を得ることができます。クアルトリクス内でデータを閲覧することができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 列選択をクリックする。
- 埋め込みデータを選択。
- 以下のフィールドを選択する：
- Q_UnansweredPercentage：アンケート調査で回答者が回答しなかった質問の割合。彼らが見た質問のみがこの値にカウントされる。これは比率で示されている。例えば、100%は1であり、66.7%は0.667である。
- Q_UnansweredQuestions：回答が得られなかった具体的な質問。これは編集可能な質問番号ではなく、内部のQIDとして与えられます。
Qtip:QIDを見つけるには、Internal ID Numberingで質問に自動番号をつけてください。ナンバリングは後でいつでも元に戻せるし、変更を公開しないこともできる。
- これらの列がデータに表示されます。
直線回答
ストレートライニングとは、問題を素早く解くために、同じ答えをマトリックス表に書き出すことである。例えば、ある回答者は、自分がどう感じているかに関係なく、すべての文に対して常に最初の答えを選ぶかもしれない。
回答者は、特にスピード違反やボットでなく、アンケート調査開始時の回答が正常であった場合、疲労のために直進する可能性がある。
フラグ 直線を含む回答
ExpertReviewはデフォルトではこのような回答にフラグを立てませんが、以下の手順でフラグを立てることができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 回答品質]をクリックします。
- クリックを勧める。
- ストレートラインを有効にする。
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、アカウント内のすべてのアンケートではなく、現在参加しているアンケートのみが対象となるため、必要に応じて回答品質分析をカスタマイズすることができます。
回答者が直行した質問の特定
ストレート・ライニングと判定されるには、回答者はその両方を持っていなければならない：
- 少なくとも3つのリッカート・マトリックス表（ステートメントではなく、質問全体）を通して直線化する。
- アンケート調査のマトリックス表の80%に斜線を引いた。
しかし、より深く分析したい場合は、直行マトリックスの数とどの質問が直行されたかを評価することができます。クアルトリクス内でデータを読み取ることができます：
- ［データと分析］タブの［データ］セクションが表示されていることを確認します。
- 列選択をクリックする。
- 埋め込みデータを選択。
- 以下のフィールドを選択する：
- Q_StraightliningCount：回答者が直行したマトリックスの質問数。
- Q_StraightliningPercentage：アンケート調査において、回答者が直線を引いたマトリックスの割合。これは比率で示されている。例えば、100%は1であり、66.7%は0.667である。
- Q_StraightliningQuestions：直線を引いた具体的な質問。これは編集可能な質問番号ではなく、内部のQIDとして与えられます。
Qtip:QIDを見つけるには、Internal ID Numberingで質問に自動番号をつけてください。ナンバリングは後でいつでも元に戻せるし、変更を公開しないこともできる。
- これらの列がデータに表示されます。
