アンケート設問設計の
基本的な考え方

はじめに

お客様の声を集めるときに、どのように聞けばいいのか迷うことはありませんか? アンケートを開始する際に、まず最初に行うことになるアクションが設問設計です。しかし、いざやってみるとなると、「本当にこの設問でいいのか」 等、不安を感じられる方もいらっしゃることと思います。

また、「回答データの質を決めるのは、設問の質である」 という意見もあるほど、設問設計はアンケートにおける重要な要素です。今回のブログでは、アンケートに重要である 「設問設計」 について記述してみたいと思います。

なお、ここでいう、「回答データの質」とは、「回答者が設問を正しく理解し、自分の意見を正しく回答できること」とお考えいただければと思います。

「アンケートに回答する」 とは

一般的に、回答に 10 分以上かかる調査は、回答者が疲労するため、質の低い回答データが多く発生する傾向があります。通常は、回答者は (平均的な設問に対して) 約 30 件の回答を 10 分で提出することが可能ですが、回答者によって大きなばらつきが出ることも考慮し、どの程度の時間がかかるか、事前に複数名で検証することも多くあります。

それでは、回答者にとって、アンケートに回答することとはどういうことなのでしょうか。人がアンケートに回答する際には、以下の 4 ステップを踏むことが知られています。

(1) 設問の理解
↓
(2) 記憶の検索
↓
(3) 選択肢(もしくは記入内容)の判断
↓
(4) 回答の記入

そのため、これらのステップにかかる時間を短縮することで、回答者への負担を減らし、回答データの質を向上させることのできる可能性が高まります。

それでは、これらのステップに時間を要する原因としては、どのようなものが考えられるでしょうか。まず、「(1) 設問の理解」 に関して、以下の設問をみてみましょう。

A) レジャーのための最も望ましい車を考えるとき、購入を決定するために、あなたが利用とすると考える最も重要な属性は何ですか?
B) レジャー目的で車を購入する際、最も重要な機能は何ですか?

A) には、設問文に不必要な単語やアイディア、複雑な言い回し、複数の定義を持つ単語が含まれており、「(1) 設問の理解」 にかかる時間が増える可能性があります。

「(2) 記憶の検索」 については、過去に関する設問である場合、遡る時間が長ければ長いほど、検索するという作業に時間がかかるのが一般的です。特定のやり取り等について回答データを収集する場合、そのやり取りの直後の方が、回答にかかる時間も短くなる傾向があります。

「(3) 選択肢 (もしくは記入内容) の判断」 については、例えば、満足度に関する多肢選択式の設問の場合、選択肢が 5 段階評価であれば、その基準を統一することで、回答者が選択肢の意味を考える時間を削減することができます。

回答データの質

回答者が回答にかける時間を短縮することだけでは、回答データの質の向上には限界があります。ある意味では、回答データの質をあげるには、回答者にも一定の労力を割いてもらう必要があります。

このような回答者へのアプローチとして、利用される手法としては、以下の 2 つのポイントがあります。

このアンケート、及び回答の重要性 (顧客へのメリット) を理解してもらう。
これには、アンケートの案内や、アンケートの冒頭のメッセージで伝える形式が一般的です。海外では、アンケートの最初の設問に、本メッセージと共に、「率直な回答をしていただけますか？」 という Yes/No 形式の設問を設けるケースもありますが、日本で採用されているケースは少ないかと思います。

インセンティブ・感謝のメッセージを加える。
感謝のメッセージは、基本的なアンケートに含まれることが多いです。一方、インセンティブについては、様々意見があるものの、回答者の時間をもらっているという考えから、そのような時間を割いてもらったことに対する御礼の一環としてインセンティブを採用しているケースもあります。

別の視点として、回答者が労力を回避できてしまう回答タイプもあります。1 つのページに複数の設問が表示される、マトリックス形式と呼ばれる設問タイプを利用しています。

また、1問1問に対して、設問を読み込む必要があるので、1 ページを回答するのにかかる時間という意味では、通常の 1 問 1 ページの設問よりも時間がかかるため、回答者の負担は大きいと考えられます。この場合、回答者は回答を効率化するため、ステップ (1) 〜 (3) を実施せず、ただクリックすることで回答する可能性があります。この回答方法は、ストレートライン回答と呼ばれています。

ただ、注意していただきたいのは、マトリックス形式を利用すること自体が問題なのではなく、設問によっては、マトリックス形式の方が回答の負担が少なく、回答の品質も上がる場合もあります。

設問タイプ

ここでは、一般的によく利用される設問タイプについて記載します。

スケール設問
多肢選択式タイプを利用して、満足度、重要性などの評価を問う設問です。

この設問形式のメリットとしては、回答者にとって、ステップ (3) 〜 (4) を実施することが、他のタイプと比較して容易であることが挙げられます。このため、回答にかかる時間も比較的短くなります。また、アンケートを分析する担当者んとって、スケール設問の設問のデータは他の設問タイプのデータよりも簡単であり、分析しやすくなります。

それでは、選択肢の中に指定するスケールポイントの数はどのように決めればよいのでしょうか。

より多くのスケールポイントにすることで、より多くの回答を区別することができるようになりますが、より少ないスケールポイントは、より高い回答の信頼性につながることがあります。

このスケールポイントに関する調査方法論研究の結果では、最適な評価点の数は 5 から 9 の範囲であると言われています。私が確認している範囲ですと、5 ポイント、もしくは、7 ポイントを利用している方が多いという印象がありますが、モバイルからの回答が見込まれる場合には、画面サイズの観点から、5 ポイントを設定しているという傾向があります。

5 ポイント、7 ポイント共に奇数ですが、これは中間点が存在することを意味します。実証研究の結果からも、信頼性が最も高いのは中間点が提供されている場合のようで、回答者にどちらかの側につかせると、データが不正確になる可能性があるとのことです。

自由回答設問
設問に対するオープンエンドの回答は、ステップ (3)(4) で多くの時間・労力を要するため、一般的に回答者からはあまり好まれませんが、アンケートで収集された最も信頼性が高く、有効かつ情報量の多いデータの 1 つです。

効果的にこの設問形式を利用するには、ステップ (1)(2) を、設問自体を具体的かつ答えやすいものとするように工夫することが必要となります。

設問内容の重要性

何十年も前の研究で判明していますが、設問の内容・言い回しは非常に重要で、これをわずかに変更するだけで、回答データに大きな違いが生じる可能性があります。

これは、回答者の設問の解釈にばらつきや、誤解が発生するためであると考えられます。具体的にどういうことか、見ていきましょう。

1 つの設問で、複数の内容を聞く

例えば、「当社の提供する商品ラインナップと品質にどの程度満足されましたか？」というスケール設問があるとしましょう。

ここには、”商品ラインナップ”と”品質”という 2 つの主題が存在しています。この場合、「商品ラインナップ」 には非常に満足しているけれども、「品質」 には不満を持っている人はどういう回答をするかわかりませんね。

また、加えて、このような設問ですと、低い評価結果となった場合、”商品ラインナップ” と “品質” のどちらに改善ポイントがあるかすら分からず、せっかく回答をしてもらったフィードバックを活用することもできません。

回答者によって解釈が違う

業界用語・専門用語・社内用語などは通常、回答者には解釈しずらいことから、設問の解釈に時間がかかる可能性があるだけでなく、人によって違う解釈をしてしまう可能性もあります。

また、少し極端な例ですが、満足度評価で 「積極的な担当者からのご提案」 という項目があるとします。この場合、“積極的”が “担当者”にかかっているのか、”ご提案” にかかっているのか判断がつきにくいですね。また、複数名の担当者を経由している場合、「担当者」 という言葉では、どの担当者に対する評価をすれば良いのかわかりません。このような曖昧さも、回答データの質を左右する要因となります。

明確化しようとした結果、却って混乱を招く
冒頭で記載した　「レジャーのための最も望ましい車を考えるとき、購入を決定するために、あなたが利用とすると考える最も重要な属性は何ですか?」 を考えてみましょう。

長い文章は、ステップ (1) にかかる時間を増やすだけでなく、回答者への文章理解に対する混乱も招く可能性があります。

おわりに

いかがでしたでしょうか。これからアンケートを作成する方への一助となれば幸いです。

クアルトリクスの CX ソリューション ストラテジーのディレクターがコンパクトにまとめた設問設計の基本事項もありますので、是非ご参考にしていただければと思います。