統計的に不適切回答が含まれても問題ない割合

統計学に詳しい方、教えてください。


アンケート調査で重回帰分析をしようと思っているんですが、
ネット上での調査だとどうしても「適当に回答する人」が少なからず居ます。
しかし真面目に答えてくれる人ももちろんいます。


ダミー回答を入れたりすることで、一定数は弾けると思いますが、
ダミー回答を避けた「適当な回答」はどうしても含まれてしまいます。


統計的には、どの程度の割合が「真面目な回答」なら正しいデータが取れるのでしょうか？

なお、サンプル数に関しては1000件2000件といったそれなりの数が取れるものとします。

No.9 回答者： angkor_h 回答日時： 2017/09/06 15:51

No.8です。

貴殿のご質問内容が、ほとんど理解不能です。

まず、アンケートの回答方式は、
項目選択型、記述回答型、のどちらですか？

前者ならば、統計は機械的であるべきで、
後者ならば、排除ではなく、無効回答として集計すべきです。

> 設問を無視した回答なんだから「なぜ」と詳しく考察するまでもないでしょう。
無効と判断したのは統計者の主観以外あり得ません。
被報告者にとっては、無効判断の理由は当然必要です。

> 「選択しないでください」というのを…
> そもそも選択肢として成り立ってない項目を選んでるわけで、…
回答として選択不可の項目を用意すること自体、理解できません。

最後に、
アンケートは、回答をまとめたから終わり、ではありません。
アンケートの統計は主観無しに機械的に行うこと、
無効回答も回答に変わりはないので、分類に含むこと(排除しないこと)。
最も重要なのは統計結果ではなく、その統計結果に対する、
所見、アンケート目的に対しての導かれる結論、考察、
これを被報告者に理解できる文章で組み立てる(整理する)こと、
これが報告者の義務です。

収束しそうにもありませんので、これ以上反論は無用とさせてください。
お邪魔しました…

この回答へのお礼

項目選択型です。「バナナ」「リンゴ」「選択しないでください」と書いたからわかると思いますが・・・

＞回答として選択不可の項目を用意すること自体、理解できません。

それこそあなたの主観でしょう（笑）

アンケートの統計そのものは機械的に行っています。
その後の分析で、客観的判断にもとづいて「適当な回答＝心理が反映されていないと思われる回答が除外されるように絞り込んでいるだけです。

これを主観的判断だと言うのであれば、「好きな食べ物は？」という設問に「リンゴ」と回答した例について、「この回答者はリンゴが好きだ」という判断も主観的判断になってしまいます。
それなら人間心理をダミー変数にした統計そのものが成り立ちません。

あなたのやってきた統計はダミー変数を使わない数字だけの統計なのでしょうね。

お礼日時：2017/09/07 05:25

No.8 回答者： angkor_h 回答日時： 2017/09/06 02:42

No.6です。

> なぜ回答の正否を疑うとアンケートが成り立たないのでしょうか？
アンケート結果の統計に、統計者の主観は入れるべきではありません。

> この違いがわかりませんか？
「この選択肢は選択しないでください」とだけありました。
「該当しない方、ご質問が理解できない方は、「この選択肢は選択しないでください」」
とあれば、意味は通じます。

> 統計を取る前からアンケート結果を疑わないような馬鹿正直な調査で…
統計結果を、統計者の主観で排除したりすれば、統計値の意図的操作になります。

> それを「こういう結果が出ました」と意気揚々と論文に使うような世界なんですか？
それは、統計の仕方次第です。
そうしたければ「不正と思われる回答」として分類して統計に含むべきです。
そして、なぜ不正としたのか、なぜ不正回答を招いたのか、等を考察で述べるべきです。

回答者には、質問を理解できない場合や、項目間の不整合な回答などはよくあることです。
なぜそんな結果を招いたかを、設問の考慮不足として、考察で反省すべきです。

貴方のご質問の裏には、アンケート結果を自分の考えに誘導できる統計方法として、
気に食わない回答は排除したい、という考えが見えてなりません。
各紙の政権支持率がそうであるように(こちらは設問分類で操作していますが)。

この回答へのお礼

＞アンケート結果の統計に、統計者の主観は入れるべきではありません。

主観ではありません。
本来回答するべきではない設問無視の回答を除外するという客観的判断です。
通常のアンケートでも「有効回答数」という言葉があるように、イレギュラーな回答は除外されるものだと思いますが？

＞そうしたければ「不正と思われる回答」として分類して統計に含むべきです。

誰がどう見ても「不正と思われる回答」に分類される事例だと思いますが・・・。
設問を無視した回答なんだから「なぜ」と詳しく考察するまでもないでしょう。
botの疑いもあるし、日本語が理解出来ない人の可能性もある。

＞気に食わない回答は排除したい、という考えが見えてなりません。

どこをどう見たらそういうふうに見えるのか・・・。

「選択しないでください」というのを
「リンゴ」「ミカン」「バナナ←この選択肢は選択しないでください」
みたいにイメージしてるんですかね？

そうではなく、
「リンゴ」「ミカン」「この選択肢は選択しないでください」
で、3番目を選んだ人のことなので、自分の考えに誘導するっていう発想が意味不明すぎます。

そもそも選択肢として成り立ってない項目を選んでるわけで、誘導などしようがありません。

お礼日時：2017/09/06 03:59

No.7 回答者： rabbit_cat 回答日時： 2017/09/05 01:01

＞それでも「商品を買う人の傾向」として正しい統計結果が出るということでしょうか？

＞「適当に回答する人の割合」を調査したいわけではないのに、
＞「適当に回答する人を含めるべき」とする論理がわかりません。

あなたが、知りたいのは「この商品を買う人全ての傾向」であって、
「商品を買う人のうちで、アンケートに真面目に答える律儀な性格の人だけを取り出した集団の傾向」ではないのではないですか？

例えば、アンケートに律儀に答える人は、例えば几帳面な人が多いとすれば、
真面目に答えたアンケートだけを恣意的にとりだしたら、
「この商品を買うのは几帳面な人だ」っていう結論が得られることになりそうですけど、それは望ましい結果ですか？

この回答へのお礼

アンケートは最低限文章を読んで答えることが前提ではないのですか？

真面目という表現が良くなかったのかもしれません。
正確には、「文章を読んでない人」と「文章を読んでる人」の差です。

「なんとなく回答した人」を除外するっていう意味じゃないんですよ。
「文章をまったく読んでないような回答者」を適当な回答者と表現したのです。

几帳面とか律儀とかそんな次元の話ではないです。
ネット上だとbotのような自動回答もあるので、人間じゃない回答者も居ますから。

お礼日時：2017/09/05 05:06

No.6 回答者： angkor_h 回答日時： 2017/09/04 15:58

No.1です。

> お礼が貰えるアンケートの場合、お礼目的に適当な回答をしてしまうケースが多々あると思います。
そんな先入観(解答の正否を疑う)があれば、アンケート自体が成り立ちません。
やはり、回答は「そのまま受け入れるべきです」。
そして、「釣り」のアンケートならば、設問たるの資格は無いでしょう。

> 「この選択肢は選択しないでください」という項目を設けることで、･･
意味不明です。普通は「解らない」では？
普通は、次の設問になるはずです…
このアンケートを知ったきっかけ、
答えようと思った理由、
答えた代償を欲しいか、
直接お話を聞きたい、連絡先は？　拒否？
…

いずれにせよ、アンケート結果(回答)を疑うようなアンケート自体、辞めるべきでしょう。
回答の統計分類ができていない証拠かと思います。

この回答へのお礼

なぜ回答の正否を疑うとアンケートが成り立たないのでしょうか？

好き勝手に取捨選択するのではなく、明確なデータとしての取捨選択なので、アンケートとして成り立つと思うんですが。

「わからない」は設問に対する答えです。
「選択しないでください」を選択することは設問を無視してることを意味します。

この違いがわかりませんか？

統計を取る前からアンケート結果を疑わないような馬鹿正直な調査でまともな統計が出るとは思えませんが、統計学っていうのはその程度のものなんでしょうか？

全員が日本語もわからない外国人や、botによる回答結果だったとしても、それを「こういう結果が出ました」と意気揚々と論文に使うような世界なんですか？

お礼日時：2017/09/05 05:02

No.5 回答者： rabbit_cat 回答日時： 2017/09/04 02:50

＃２の方のいう通りです。

礼儀とかの問題ではなくて、統計的に正しい結果を得るためには母集団を歪めてはいけません。

「適当に回答する人」も、母集団のうちなわけです。
「真面目な回答のみ」を抜き出す、という処理をいれてしまったら、
その時点で、母集団が、本来の調査対象者全員ではなくて「調査対象者のうちで真面目な回答をする律儀な性格な人のみ」に制限されてしまうわけで、
偏った結果になってしまうことは明白でしょう。
とにかく、統計処理の前に、母集団を恣意的に歪めるような処理はしてはいけません。

もし、どうしても、「適当な回答」を除きたいのであれば、
最低でも、「真面目な回答」の中での、それ以外の特徴（年齢、性別、地域など）の割合が、実際の対象の分布と同じになるようにする、とかは必須だと思います。
たとえば、２０代男は、適当な回答率が高いのであれば、２０代男は他よりも数を多くするなど。

この回答へのお礼

では例えば「商品を買う人の年齢と趣味」を調査するとして、
そのうち50％の人が設問を見もせずに回答したとして、
それでも「商品を買う人の傾向」として正しい統計結果が出るということでしょうか？

「適当に回答する人の割合」を調査したいわけではないのに、
「適当に回答する人を含めるべき」とする論理がわかりません。

お礼日時：2017/09/04 04:11

No.4 回答者： moto_koukousei 回答日時： 2017/09/03 18:38

＞　お礼が貰えるアンケートの場合、選択式の設問を見もせずに適当にタップしていき送信してしまうケースが多々あると思います。

　①　そのため、「この選択肢は選択しないでください」という項目を設けることで、それを選んだ回答者を除外するという方法が取れると思いますがいかがでしょうか。　②　それとも、そういう選択肢を選択した人もサンプル数に含めて処理するべきなのでしょうか？

次のように私は回答しています。　
A　ネット上での調査でも、きちんと統計調査することが目標ならば、すべての回答を対象とすべきです。　
B　回答をえてから、自分の目的に沿って、回答を選別して処理したいのは、アンケート解析の結果の使い方を《特異な方向に限定している》からなのでしょう。　そうであれば、もはや、正しいデータという概念はないのです。　
C　市場動向、関心の方向を探りたい、人気度をみたい、困窮度を調べたいなどの目的意識があるのであれば、その調査目的をさらに検討すると、アンケートで解析すべき回答を絞り込む手法がいくつかでてきます。　まじめ/適当/機械的などの区分ではなくて、アンケートで解析すべき回答を絞り込む手法が、調査目的から出てきます。

調査する目的やネライは何でしょうか。
ネットアンケートにどのような回答が寄せられるのかを実験的に調査するのが目的ならば、回答はすべて対象にすべきですし、もしも、ネットで閲覧したが回答しなかった、回答をし始めたが最終的に完了送信の操作をしなかったといのもチェックできるシステムを使えるのなら、それらを含めるべきですし、お礼ネライや妨害目的でアカウントを変更して複数回回答するのをチェックできるのであれば、そうしたものも対象にしないと、調査目的は達しにくくなります。

扱い対象回答を限定するネライで、「この選択肢は選択しないでください」という選択肢を適当に織り交ぜて質問を構成するとか、｢この質問項目はダミーですので、どの選択肢を選んだ場合でも、正規の回答としては扱わず、お礼の対象にもいたしません｣という質問項目を設けても、何ら問題はないです。　そうした質問が１，２項目程度ならば、回答者も許容することが多いと思います。
ただ、ネットアンケートの調査目的がネットアンケートの回答実態のサンプリングのつもりならば、そうした回答を統計調査の対象から一切外してしまったら、調査の質が低下してしまいます。
[二十代女性で(学生でも定職も持っておらず)(スマホ利用が1日に3時間以上)のもの]についての《消費購買等に関する意識調査/特定商品に関する関心傾向調査》というような特殊な目的を持って調査しているのであれば、回答の中から適宜絞り込んで、絞り込んだ回答から解析をすればいいです。お礼の提供は、基本、全回答者を対象にするのが礼儀でしょう。

調査の母集団をどのように考え、どのような手法で調査するか、サンプリングについて詳しく検討せず、ネットでの回答特性にも配慮せず、とにかく集まった回答ならばそれを統計手法に適応させてしまうというのでは、（特殊な目的を持っている場合は別として）イイ調査はできないと思います。

この回答へのお礼

目的は心理学の論文です。

＞回答の中から適宜絞り込んで、絞り込んだ回答から解析をすればいいです。

ん？？
だから、「ダミー回答を選択した回答者」が弾かれるように絞り込めばいいってことですよね？
その話をずっとしてるんであって、特定の回答者にお礼をしないなんて話は誰もしてないんですが・・・。

お礼日時：2017/09/04 04:15

No.3 回答者： moto_koukousei 回答日時： 2017/09/03 00:27

書き忘れましたが、ロボット回答でも、選択式の回答で(②②③③③②②③③③)のように機械的に回答する回答でも、それを回答として扱うのが基本です。

同じ回答者が別名や別アカウントでたび重ねて回答してきたとしても、それを有効回答として扱うのが基本です。
統計処理する回答に制限を設けて、適当に(厳格にでも同じです)回答を選別して、適格回答のみを処理したいのであれば、それをアンケートに宣言しておくべきです。回答者に対しての礼儀をわきまえず、回答をえてから、自分の目的に沿って、回答を選別して処理したいのは、アンケート解析の結果の使い方を《特異な方向に限定している》からなのでしょう。　そうであれば、もはや、正しいデータという概念はないのです。　市場動向、関心の方向を探りたい、人気度をみたい、困窮度を調べたいなどの目的意識があるのであれば、その調査目的をさらに検討すると、アンケートで解析すべき回答を絞り込む手法がいくつかでてきます。　まじめ/適当/機械的などの区分ではなくて、アンケートで解析すべき回答を絞り込む手法が、調査目的から出てきます。　絞り込んだ結果の回答は、おそらく数十件もあれば十分であることが多いと思います。

No.2 回答者： moto_koukousei 回答日時： 2017/09/03 00:03

ネット上での調査でも、きちんと統計調査することが目標ならば、すべての回答を対象とすべきです。

男の回答は受け入れない、40歳以上の回答は対象にしない、外国籍の回答者は受け入れない、ロボット回答(ネット回答開始から終了までの時間が短い回答)は受け入れない、第3問に△△という回答をしたものの回答は受け入れない、アンケート実施者が回答内容の質的理解ができないと判定した回答は統計対象から排除する、22:00～6:00までの回答は受け入れないなどのことをして、統計処理したいのであれば、そのような《お断り》を調査協力依頼にあらかじめ明記すべきです。　そうした断りもなくアンケート調査して、得た回答から適時自分の判断で回答を選別して統計処理する方が大問題です。
｢ダミー回答｣ってなんのことなのかわかりませんが、アンケート設計者やアンケート調査実施者が｢ダミー回答を入れたりする｣というのがさらにわかりません。
アンケート実施者が回答内容の質的理解ができないと判定するときの工夫の方法として、設問に仕掛けを組み込むことは可能ですが、その工夫で何が得られるかは、アンケート設計者の能力や検証力の《検証》がなければ、ただの自己満足以上のものとは言えません。
そもそも、「適当な回答」とか「真面目な回答」とか、「正しいデータ」言っている時点で、社会調査というものがわかってないようにしか感じられないです。

重回帰分析などの手法だけ取り入れても、、、、

偏見かもしれませんが、ゆるふわこさんて、まじめに調べたりしたことがあるのでしょうか。

この回答へのお礼

お礼が貰えるアンケートの場合、選択式の設問を見もせずに適当にタップしていき送信してしまうケースが多々あると思います。

そのため、「この選択肢は選択しないでください」という項目を設けることで、それを選んだ回答者を除外するという方法が取れると思いますがいかがでしょうか。

それとも、そういう選択肢を選択した人もサンプル数に含めて処理するべきなのでしょうか？

お礼日時：2017/09/03 17:57

No.1 回答者： angkor_h 回答日時： 2017/09/02 17:13

アンケート統計の正確さは、回答者のいい加減さより、質問者側の設問区分の方が影響は大きいはずです。

例えば、設問1に対する回答abcの区別が不明瞭な場合は、その曖昧さに回答者が選択に悩みます。
実例として、政界支持率調査について、設問項目の内容は各紙異なります。
結果を高くしたい、低くしたい、という思惑が、結果を誘導すべく設問と曖昧回答区分とされるからです。
なお、回答は、まじめとか否かではなく、そのまま受け入れるべきです。
それを受け入れられなければ、その結果を統計する意味さえ失います。
先ずは、設問の適切さと、回答区分(分類)の明確さを目指すべきでしょう。

それでも、不真面目な回答を排除したいというのであれば、
同じ意味の質問を言葉を変えてちりばめて、その回答の矛盾度合いで排除選択をする、
と言う方法があります。
この結果をもって、貴方自身の疑問が数値化されるでしょう。

この回答へのお礼

お礼が貰えるアンケートの場合、お礼目的に適当な回答をしてしまうケースが多々あると思います。
選択式の設問を見もせずに適当にタップしていき送信してしまう。

そのため、「この選択肢は選択しないでください」という項目を設けることで、それを選んだ回答者を除外するという方法が取れると思いますがいかがでしょうか。

お礼日時：2017/09/03 17:56