はじめまして！ちょっと前にオペレーション部からシステム部に異動しました、まりあと申します。
奔放な職歴を持つ私ではありますが、2009年頃リサーチャーとして働き始めた時から今日までマーケティングリサーチにどっぷり浸かっています。
GMOリサーチ入社後は5年ほど、ネットアンケートの「実査（じっさ）」と呼ばれる、アンケート作成 ～ 回答データ回収 ～ データクリーニング ～ 納品 を一連で担当するオペレーション部のフルサービスチームに所属していました。
この部署で、アンケートの元となる「調査票」と毎日にらめっこする中で見つけた「イケてるようでイケてない、気づきそうで気づかないアンケートの落とし穴」を、今回は皆さんにご紹介しようと思います。
ちなみにこの、調査票とのにらめっこの事をオペレーション部では「調査票精査」と呼んでいます。
ここでちょっとだけご説明を…。( • ̀ω•́ )ｷﾘｯ☆
調査票と調査票精査
調査設計者さんが丹精込めて作成する、調査の肝となる資料。それが調査票。
アンケートの設計図とも言える資料で、この調査票を見ながらアンケート作成を進めます。
アンケート画面作成時には、設問文や選択肢はもちろんのこと「この選択肢を選んだ人は次の設問をスキップして、その次の設問を回答するようにしてね～」といった分岐条件や、「この設問で選んだ選択肢だけ、次の設問で表示してほしいなー」といった表示条件などもアンケートの中に組み込んでいきます。 [PC]_ヾ(･･*)ｶﾀｶﾀ
もちろん調査票自体は、不備が無いよう隅々まで丁寧に作成されているのですが、いざアンケートをプログラムしようとすると
「あれ？これ回答できなくね？( ˘•ω•˘ )？」「んん？正しいデータが取れなくね？(-ω- ?)」
というような意外な考慮漏れや整合性の矛盾、正確なデータ取得が難しい設問が見つかることがあります。
これらを事前に炙り出し、クライアントさんとすり合わせを行うのが「調査票精査」という工程です。
開発の皆さんにも分かってもらえるはずです。
事前に細部まで考慮された完璧な仕様書を元に開発するのと、考慮漏れにより度重なる仕様変更に加え、すでに最新のバージョンがどれなのか分からなくなった仕様書を元にした開発。
この二つのどちらが大変なのかを…。
調査票精査で発見(・ω<)ミ☆意外な落とし穴4選
というわけで、調査票精査中に遭遇しがちな精査あるあるを4つほど独断と偏見でピックアップしました。
１）選択肢が網羅されていない
２）人によって定義の違う言葉が使われている
３）ひとつの設問に複数のテーマが含まれている
４）回答者の属性とアンマッチな設問がある
では順番に解説していきましょう。
ただ解説してもつまらないのでクイズ形式でお届けします。─=≡Σ((( つ•̀ω•́)つ
選択肢が網羅されていない
デデンッ！第1問！
以下は、「あるもの」が足りず一部の回答者が回答できない設問です。
一体なにが足りないのでしょうか？
Q1.日本にお住まいと回答した方にお聞きします。あなたの出身地をお知らせください。（単一回答）
1.北海道
2.青森県
：
46.鹿児島県
47.沖縄県
さて、シンキングターイム！(*˘^˘*).｡o
……。
では、そろそろ正解を発表します。
この設問は「出身地」を尋ねています。日本在住者へのアンケートではありますが、日本に住んでいる全員が日本で生まれ育ったわけでは無いのです。
よって「48.海外」を追加すると全員が正しく回答できるようになります。
クリプトン星出身のスーパーマンさんがもし日本にお住まいだった場合は、海外ではなく「その他地域」とすると、より回答しやすくなりますね。
人によって定義の違う言葉が使われている
第2問！
以下は、「とあるもの」のものさしが人によって違うために、設計者の認識とはズレたデータが取得されてしまいます。
さて、人によって違う「とあるもの」とは何でしょうか？
Q2.最近あなたがよく自動販売機で購入する飲料を教えてください。（複数回答）
- コーヒー
- お茶
- 水
- 炭酸飲料
- スポーツドリンク・乳酸菌飲料
- その他
- 購入していない
さて、シンキングターイム！
せっかくなので、皆さんも自販機を利用した時の状況を思い浮かべてみましょう。
……。
では正解です。
皆さん、「最近」っていつからいつまでの事を想像しました？
「よく」ってどのぐらいの頻度だと思いました？
人によって「最近」の定義は異なります。
頻繁に自動販売機を利用する人ならばここ2〜3日を指すかもしれませんし、あまり利用しない人なら1ヶ月以内を考えているかもしれません。
聴取目的が「よく購入しているものを思いつきで回答してほしい」ならば、パッと思いついた飲料を回答すれば良いので問題無いでしょう。
ですが、聴取目的が「過去1週間以内に購入した飲料の正確なデータが欲しい」ならば、目的を達成できない気がしません？
「よく」も同様です。どのぐらいの期間に何回買うのが「よく」なのかを定義しないと回答内容が変わってきます。
普段、よく適当な感じでアレしてるんで
まぁ…なんですよね。ねー。（ものさしがぐにゃぐにゃ）
ひとつの設問に複数のテーマが含まれている
どんどん行きます、第3問！
前述の「人によってものさしが違う」と少し似ていますが、以下は複数の要素が含まれているが故に、解釈によって回答が変わる設問です。
さて、どの表現が問題なのでしょうか？
Q3.あなたが購入、使用したことのある化粧品を教えてください。（複数回答）
- 化粧水・乳液
- ファンデーション
- マスカラ
- アイライナー
- 口紅
- その他
- あてはまるものはない
シンキングターイム！
すみません、化粧品に疎くて選択肢が網羅できませんでした…。
さぁ、百貨店の1階化粧品売り場に広がる良い香りを思い出しながら考えましょう。
……。
正解は「購入」と「使用」です。
このように、購入経験と使用経験を同時に聴取してしまうと、
- 購入したことはあるけど、使用したことはない→プレゼントで友達にあげたことがある、とか。
- 購入してないけど、使用している→化粧水を自作して使ってる、とか。
この2パターンに該当する化粧品があった場合に、回答に悩んでしまいます。
また、
- 私が、「購入」＆「使用」しているものだけが対象なのか
- 「私が購入」or「私が使用」のどちらかを達成していれば対象なのか
を明確にしておかないと、回答者によって解釈が変わってしまい、意図した調査結果とならないこともあるでしょう。
正確にデータを集めたいものほど、シンプルな設計にするのが吉。
二兎を追う者は一兎をも得ず。ひと狩り行こうぜ！！
回答者の属性とアンマッチな設問がある
いよいよ最後、第4問！
以下は……。
うん、おそらく見てもらったほうが早いと思います。ｳﾝ(*ﾟДﾟ)(*｡_｡)ｳﾝ
Q4.15歳～80歳と回答された方への質問です。
以下の中で1年以内にあなたが自分のお小遣いで購入したものを教えてください。（複数回答）
- サブスク加入
- 動画配信者へのスパチャ
- 推しのライブのオンライン配信チケット
- ソシャゲの課金アイテム
- その他
……。
さぁ、お気づきでしょうか？
正解です！
ツッコミポイントを一言で言うと、人によって「選択肢が何言ってるか分かんねぇ！」事態が発生する可能性がある。です。
幅広い年代への質問なのですが、この選択肢の表現だと年代が上がるにつれ、選択肢の内容を正確に理解出来る方が少なくなる恐れがあります。
（例えばうちの両親はほとんど理解できないかと）
てか、この例題の場合は年代の差より、最近のネットコンテンツに明るいか否かがキーなんですけどね。
ですので、「サブスク」や「スパチャ」など人によって「なんじゃそりゃ？」となりがちな用語を一般的な用語に置き換えたり、補足説明を入れたりして理解不足を補う必要があります。
他にも、調査対象が一般の方なのに業界的な専門用語が満載、ビジネス用語・カタカナ用語まみれ等々、表現が原因で回答者の頭にハテナマークが飛びまくる調査にもツッコミを入れます。
ただし「特定の業界の人に対して、業界の専門用語を使った調査」なら問題ありません。薬剤師さんにお薬の質問をしたら、きっと答えてくれますしね。ギャルにギャル語ベースのアンケートを配布した場合も、おそらく正確に回答してくれます。（ネタが古いけど）
おわりに⁻奥が深いよ、調査票精査
紹介した4つの着眼点以外にも様々な目線で調査票を確認しています。(`･ω･´)b
一例をあげると…
- 会社名やブランド名が正しい表記になっているか
- 分岐条件や表示条件など制御系の条件式が正しいか→例えば商品Aの購入者に「購入しない理由」を聞いていないか、とか。
- 誤字や脱字はないか
- 文章など、分かりづらい日本語になっていないか
などなど。
調査依頼者となるクライアントさんが正しい調査結果を得られるように、また、アンケートの回答者さんが正しく回答できるようにと、オペレーション部では日々調査票精査を行っているわけです。
おそらくロジックパズル好き、クイズ＆なぞなぞ系が好きな方にはたまらない工程だと思います。
大掛かりで複雑な調査票の精査後は、脳みそが疲労状態に陥って大量の甘いものが食べたくなりますが…。
達成感もまた良し！…(=ФωФ)σ ヨシ！
というわけで長々と調査票精査について説明してきましたが、いかがだったでしょうか？
ではでは、本日はここまで！
ご覧いただきありがとうございました～！
