調査の「聞き方」「答え方」がデータに与える影響(大阪大学大学院人間科学研究科教授:三浦麻子) #その心理学ホント?
調査の「聞き方」「答え方」がデータに与える影響(大阪大学大学院人間科学研究科教授:三浦麻子) #その心理学ホント?
心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが,そのうち,調査者の問いかけに対象者が主観(自らの気持ちや考え,経験など)を答えるのが調査です.調査では,呈示した質問に対して,あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり,同じ形式で得られたデータですから,たくさんあっても集計・分析するのが容易です.心理学以外の領域でもよく用いられていて,学生の卒論から学術研究,そしてマーケティングリサーチや世論調査に至るまで,幅広い場面で活用されています.本noteでは,調査を研究の主軸のひとつとしてきた心理学者の立場から,その「聞き方」と「答え方」にまつわる問題を2つご紹介し,それにどう対峙すべきかについて実証知見をふまえて意見を述べます.
「聞き方」が「答え方」を変える
最初にご紹介する問題は,質問形式の違いが回答に及ぼす影響です.これは,調査法のテキストでは必ずといっていいほど紹介される基本中の基本事項なのですが,問いかける文言や選択肢の内容や順序の違いが,結果を大きく変えるほどの影響を与えることもあるのです.例えば稲増・三浦(2018)は,全国規模の社会調査データの再分析とWeb実験を通じて,マスメディアへの信頼の評定が選択肢に付す副詞(「非常に」「全く」などか「どちらかといえば」か)によって異なることを示しています.
具体例として,聞き方によって答え方が変わることを顕著に示した実験についてご紹介しましょう.2022年3月,前年12月から同年1月にかけて実施された内閣府の「家族法制に関する世論調査」で,選択的夫婦別姓制度の導入に賛成する回答が37.0%と,前回2017年調査の59.0%と比較して大幅に減少し過去最低となったことが話題になりました.世論調査は,様々な社会的課題に関する世間の風向きを計測するものですから,なるべく正確な計測のための工夫を凝らす必要があります.調査を依頼する対象の選び方,調査の実施方法などとともに,どのような質問の仕方をするかも重要です.その観点から見ると,この調査には大きな問題がありました.新型コロナ感染禍という事情もあり,実施方法が訪問面接から郵送に変更されただけではなく,質問形式がいくつかの点で変更されていました.図1に示したのがその主要ポイントです.
質問形式の違いが回答に及ぼす影響を教えられ,また実感もしてきた私たちは,これだけで「夫婦別姓賛成派が2017年よりも減った」と結論づけるのは性急だと考え,質問形式が違うことがどの程度結果に影響したかを査定することにしました.具体的には,新版で旧版から変更されたポイントを組み合わせて質問形式を12パターン作り,回答者にいずれか1つをランダムに割り当てて回答を求めるWeb実験を行いました.詳細はこちらの報告書(小林・三浦, 2022)をご覧下さい.
内閣府の調査と性別・年代の分布を合わせた18~69歳の男女2597名から得られた回答を分析したところ,選択的夫婦別姓制度導入賛成派は旧版と同じ聞き方だと59.0%,新版と同じ聞き方の場合で36.9%でした.同じ時期に尋ねたにもかかわらず,新版では旧版より約22%も少なかったのです.
図1をご覧いただければおわかりのとおり,旧版と新版の違いは主に2つです.1つは「選択的夫婦別姓制度導入賛成」の選択肢の位置が,旧版は3つのうち2番目,新版は3番目だったことです.日本人には「中庸な点を選びやすい」傾向が日本人には強くあることが知られています.私たちは,特に別姓問題に強い態度を持っていない人は,ある意味「どれでもいい」がゆえに,3つの選択肢の真中にあるものを「中庸な選択肢」であると仮定して選びやすかったのではないかと考えています.さらに、旧版では選択肢の文章が長くわかりにくい上に,「かまわない」という表現が用いられています.つまり「拒否の不在」を測定しているわけで,あまり積極的な賛成ではない場合でも「まあ,これでもかまわないかな」と考えて選択してしまいがちだと考えられます.両者の「合わせ技」でこのような差異が生じたのではないでしょうか.
これをもって私たちは,両調査の差異を,世論の別姓制度に対する支持の低下,すなわち世間の風向きの変化だと解釈すべきではないと結論づけました.ことほどさように,同じようなことを聞いていたとしても,同じようには聞いていない調査の結果を比較することには慎重であるべきなのです.
「答え方」を配慮した「聞き方」を工夫する
もうひとつの問題は,回答者による「Satisfice(努力の最小限化)」です.この用語はsatisfy(満足させる)とsuffice(十分である)の合成語で,人間の認知資源には限りがあることが,要求に対する努力を最小化しようとする傾向につながり,目的を達成するために必要最小限を満たす手順を決定し,追求する認知的ヒューリスティックのことを指します(Simon, 1959).調査に当てはめると,回答者が教示文や尺度項目を十分に読まずに回答する行動として典型的に出現します.
大学の講義室で教員が学生に調査票を配布して,回答状況を「監視」しながらデータを収集するのと比較して,調査会社のモニターやクラウドソーシングサービスの登録者にご協力いただくWeb調査では,いつどこで誰がどのように回答するかを調査者が制御できないので,Satisficeが発生しやすいと考えられます.調査者はWeb上の実験環境さえ準備すれば1クリックでデータ収集を開始することができ,回答者も1クリックでそれに参加し,報酬を得ることが可能です.双方にとってデータ収集コストが格段に低減されることは,これまでより多様な対象から多くのデータが得られるなど豊かなメリットをもたらす一方,Satisficeによるデータ毀損というデメリットが前景化することになりました.
私たちはこの問題に比較的早期に気づき,2015年以来いくつかの実験的調査を行ってこの問題を検討した論文を出版しました(こちらで一部をご覧いただけます).最初の論文(三浦・小林, 2015)は新聞記事「ネット調査、「手抜き」回答横行か 質問文読まずに…」(2015.9.29付・朝日新聞デジタル)になったせいもあり,学術界のみならずマーケティング業界からも予想外に大きな反響がありました.
研究を重ねるうちに強まったのは,Satisficeする回答者を疎ましく思うよりも,調査内容を含む回答環境が(つまり,調査者側に起因しかつ調査者が制御できる要因が)回答者をSatisficeへと動機づけていることを危惧すべきだという思いです.前節で述べたとおり,調査者は同じことを問うているつもりでも,どのように問いかけるかで回答は案外大幅に変動します.Satisficeについても同様に,問いかけ方に問題がある可能性に自覚的になるべきだということです.そのため,最初の論文で用いた「教示」あるいは「質問項目」を読まないSatisficeの検出(例えば図2)は,現在ではごく当たり前に行われるようになっていますが,その目的は「Satisficeした回答者の検出・排除」だけではなく(むしろ,それよりも)「Satisficeしないよう回答者に注意を促す」ことだと考えています.
実際,その後の研究(例えばMiura & Kobayashi(2016))では,いったんSatisficeしたもののそれに気づき,行動を修正した回答者によるデータを分析した結果は,最初からSatisficeしなかった回答者のデータによる,理論的予測から考えて合理的な結果に近づくことが示されました.長尺な調査票への回答を求めた挙げ句,ひとつふたつのSatisfice検出項目に「違反」した回答者のデータ(全体の数十%に及ぶこともよくある)を一律に分析対象から除外したとする論文で私たちの研究が引用されているのを目にすると,「大量の違反者を出すような調査をする方に問題があるのでは…」ととても悲しい気持ちになります.
「聞き方」「答え方」への配慮から調査のクオリティを知る
本稿で紹介した2点は,いずれも調査という研究法を採用する限り不可避の問題で,撲滅はできないでしょう.しかし,調査データやそれにもとづく結果がなるべく汚染されないよう,調査票の設計段階とデータ収集後の統計分析段階のいずれにおいても対応策を講じることは可能です.前者については,同じことを継続して尋ねるなら聞き方は極力変更すべきではなく,それが結果を操作する意図であれば論外です.後者については,回答には十分に注意を払ってほしいと依頼し,それが誠実に履行されているかどうかをデータから確認できるようにすると共に,回答者が無理なく協力できる調査設計をすべきです.
心理学にとって,人の心の働きを正確に捉えることは,学問の根幹であるとともに,研究者の不断の努力が求められる事柄です.調査をいかに実施するか,つまり「聞き方」「答え方」にどのように配慮するかはその典型です.心理学研究の成果を受け止める側の方々にも,論文等に記述されている集計結果や分析結果のみに注意を向けるのではなく,研究者がこうした努力をしているかどうかをきちんと確認していただきたいです.多くの「心ある」研究者はそれを自覚していますので,確認のための手がかりが不足している(例えば,調査票が公開されていないなど,調査の詳細がわからない)ものは,鵜呑みにしない方がよいでしょう.
引用文献
稲増 一憲・三浦 麻子(2018).マスメディアへの信頼の測定におけるワーディングの影響―大規模社会調査データとWeb調査実験を用いて― 社会心理学研究,34, 47-57. https://doi.org/10.14966/jssp.1724
小林 哲郎・三浦 麻子(2022).「夫婦別姓に関する世論調査」問題の実証的検討 Retrieved December 15, 2022, from https://docs.google.com/document/d/e/2PACX-1vTrcjaEdiqBKBjMeNrUnDHEwl0Y9Fkr4rh4WV1Ahk7wbmHG8O7_fnVuesh_B9QCVROXFCDTK5nC5LQB/pub
三浦 麻子・小林 哲郎(2015).オンライン調査モニタのSatisficeに関する実験的研究 社会心理学研究,31, 1–12. https://doi.org/10.14966/jssp.31.1_1
Miura, A., & Kobayashi, T. (2016). Survey satisficing inflates stereotypical responses in online experiment: The case of immigration study. Frontiers in Psychology, 7, 1563. https://doi.org/10.3389/fpsyg.2016.01563
内閣府(2022)家族の法制に関する世論調査 Retrieved December 15, 2022, from https://survey.gov-online.go.jp/r03/r03-kazoku/index.html
Simon, H. A. (1959). Theories of decision-making in economics and behavioral science. The American Economic Review, 49, 253–283.
執筆者プロフィール
三浦麻子(みうら・あさこ)
社会心理学者.大阪大学大学院人間科学研究科教授・同感染症総合教育研究拠点兼任教員.何か気になる社会問題があるとすぐにデータを取りたくなってしまう性分.時折,人がデータに見えることがある(D_D).https://researchmap.jp/asarin
調査の「聞き方」「答え方」がデータに与える影響(大阪大学大学院人間科学研究科教授:三浦麻子) https://t.co/0AKz9DxMJ0
2ヶ月以上前に書いたので記憶があやふやですが,調査は聞き方によって結果が変わるし回答者を配慮した聞き方をしないとろくなデータは取れないという話,のはずです.— oʞɐsɐ ɐɹnıɯ (@asarin) December 28, 2022