質問の順番は重要なのか
質問の順番は、アンケートの内容を大きく左右します。設問の組み立てや作成以外にも、質問の順番は回答者の回答に大きな影響を与えます。過去数十年にわたる研究により、顧客調査から従業員の意見まで、あらゆる調査において質問の順番が回答に影響を与えることが実証されています。
アンケートの質問順によって生じるデータの歪みは、回答バイアスの一種であり、アンケートの設計方法から生じるものです。
成功事例:: 最も効果的な従業員参加型調査の設計方法についてはこちら
プライミングとアンカリング
アンケートの質問の順番の大きな落とし穴のひとつは、誤って回答者にアンカリングやプライミングの影響を与えてしまうことです。
アンカリングとは、初期の情報で「方向性を決める」ことを意味し、参加者のその後の回答すべてに制限や影響を与えます。例えば、配偶者の価値に関する質問の回答欄にドル記号やその他の通貨記号を追加することが挙げられます。これにより、参加者は、この質問だけでなく他の質問についても、個人の観点ではなく金銭的な価値で回答するように誘導されます。
アンケートでは、先行する質問の性質や文言、あるいはアンケート導入部によって誤ってアンカリングが成立し、アンケートの後半でバイアスがかかる可能性があります。
プライミングは、偶然に行われやすく、誰かが質問に答える前に紹介されたアイデア(おそらく無関係のもの)に影響されるときに起こります。例えば、フランス料理が好きかどうかという質問をしたすぐ後に、好きな休暇先3つを尋ねる質問を設定したとすると、フランスは、夢の休暇先リストに入る可能性が高くなるでしょうか?プライミング理論によれば、そうなると言われています。
アンケート調査において、プライミングを避けることは非常に困難です。アンケートは順番に回答する必要があり、初期の項目は、後の質問に回答する心理状態にほぼ影響を与えるからです。後ほど、プライミング効果を最小化するためのテクニックをご紹介します。
プライマシーとリセンシー
プライマシーバイアスとリセンシーバイアス理論(別名:系列位置効果)では、最初と最後の項目が個人から最も注目されると判断されています。最初の項目(プライマシー)は、最も注意深くタスクを理解しようとしているため、印象に残ると言われています。最後の項目(リセンシー)は、アンケートを完了するときに最後に見るものなので、記憶に残ります。
つまり、この理論によると、アンケートの最初と最後の質問が最も影響を与え、最も注目される一方で、アンケートの中盤にある質問は、急かされたり、読み飛ばす可能性が高いと言えます。
プライマシーとリセンシーは、多肢選択問題などの回答選択にも影響を与えることがあります。
同化と対比
人は一貫性を好みます。同化対比理論では、人が何かを判断するときに、一種のアンカーとして働き、その後の判断に影響を与えるとしています。一度判断したことは、自分の視点を維持することになり、他の中立的な情報を偏った形で「同化」し、自分の考えを支持しているように見えるようになると言われています。
もし、見たり読んだりしたものが、自分の固定した考えに反するものであれば、それに対してバイアスがかかります。これを「対比」といいます。
では、これがアンケートの質問順にとってどういう意味を持つのでしょうか。アンケートの早い段階で、何かに賛成か反対かを尋ねると、後の回答はこの判断に左右されてしまいます。アンケートの最中に、気持ちが変化していくことを考えると、最終的に偏った回答になってしまう可能性があります。
同様の効果は、加算式および減算式の質問順序のバイアスとして表現されています。(Moore, Gallup 2002)
疲労と低下
回答者が疲れているときや、気が散っているときなどに、アンケートに参加するのは難しいことです。アンケート調査のようなタスクを行う際は、通常、集中力が最初にピークに達した後に、低下していくと予想されています。
場合によっては、アンケートが終わる前に飽きてしまったり、気が散ってしまったりして、アンケートから完全に離れてしまい、最後まで回答できないことがあります。これは、質問の順番と関係しており、最後に来る質問は、見落とされたり無視されたりする可能性が最も高いからです。
調査フローの設計におけるバイアスを抑える方法
1. ストレートで無難な質問から始める
アンケート開始時の注目度を最大化したいところですが、あまりに早く慣れ慣れしい質問を投げかけるのはよくありません。初めの質問は、新しい回答者との関係の始まりでもあるので、簡単で楽しく、答えやすい質問から始めるとよいでしょう。
回答者が答えやすい、一般的に関心のある幅広い質問から始めましょう。これらの質問から始めることで、回答者を答えやすい環境へ導き、アンケートに参加してもらいやすくなります。簡単で積極的な質問から始めることで、回答者が後々より複雑で敏感な質問にも答えてくれるようになるための基礎を築くことが重要です。
2. 質問順の偏りを減らすためにランダム化する
質問をランダム化して、参加者のグループごとに質問の順番を変えることで、プライミングの効果をある程度軽減することができます。
参加者を混乱させる可能性があるため、アンケート全体をランダムにすることはお勧めできませんが、関連する質問のグループをランダムにすることで、論理的な順序を保つことができます。
3. デリケートな質問は最後にする
一部の専門家は、不快感を与えたり、押し付けがましく感じたりする可能性のある質問は、最後まで残すのが最善と判断しています。そうすることで、それまでの回答に偏りが生じたり、参加者がアンケートを放棄しなくなります。これは、一貫性と同化の観点からも理にかなっており、自分が質問に徹底的に、そして親切に答えているのを観察した人は、質問を拒否したり、アンケートを中止したりすることに抵抗がなくなるからです。
しかし、回答者に悪印象を残さないよう、議論を起こすような質問は最後の方に配置する方がよいかもしれません。
4. アンケートは短くまとめる
長時間のアンケートを好む人はなかなかいません。長いアンケートを最後までやり遂げようとする人は、そのトピックに非常に興味を持っているか、社員であるか、時間に対する報酬をもらっているかのいずれかであるはずです。つまり、ある一定の長さのアンケートを超えると、アンケート回答者から質問についての関心を受けることはないのです。
では、どのくらいが長すぎるのでしょうか?一般的には、アンケートは短くて、通常5分未満に抑えるのが良いとされています。これは、約15の簡単な質問(1つの質問で多くの回答が必要な行列式な質問ではなく)に換算されます。
平均的な回答者は、1分間に約3問の多肢選択式質問をこなすことができると言われています。自由形式のテキスト回答の質問は、もちろん質問の難易度にもよりますが、多肢選択式の質問で約3件カウントされます。あくまでも経験則ですが、この計算式はアンケートの限界を正確に予測することができます。
5. わかりやすい言葉で書く
アンケートを短くし、要領よくまとめるだけでなく、できるだけわかりやすい言葉を使うことで、疲労やの無回答のリスクを軽減することができます。アンケートの文章のレベルを中学生レベルに下げると、回答者がアンケートを確実に理解することができます。
6. その時に最も関心の高い質問を投げかける
アンケートには、回答者の関心や回答意欲を高めるために、「その時に世間最も注目されているホットな質問」を投げかけることがあります。これらの質問は、アンケートとはあまり関係がないことが多いですが、退屈なアンケートに変化を加えてくれます。気を付けたいのは本来のトピックからズレてしまう可能性があるという点です。このタイプの質問を選ぶ場合は、慎重に検討するようにしましょう。
クアルトリクス推奨・サーベイ設計の基礎 + 実演! 設問改良法