以前類似した概念で質問しましたが、一部考え方が変わりましたので、再度質問させていただきます。お許しください。

N=8000ほどの母集団が存在し、50ほどのグループに分かれています。
そしてN=8000に対して30000種類ほどの特徴の有無が0, 1表記されています。
例えば、以下の具合です。

特徴1 特徴2 特徴3 ・・・・・ 特徴30000まで
00001 1 0 0
00002 0 0 0
00003 0 1 0
00004 1 0 1
00005 0 1 1
00006 1 1 1
~N=8000まで

更に00001~00203番まではグループA、00204~00303まではグループB
といった具合で、特徴1-3000にはないある決定的な要因でグループわけがされています。
人種に例えていただくとわかりやすいかと思いますが、グループAがアメリカ、Bが日本で、00001などが個人個人、特徴が身長・目の色などと考えていただくといいと思います。
特徴1と2にはまずは相関関係は全くないと想定して話を進めます。

やりたいとこととしては、
①新しい8001が入ってきたときにどのグループに配属されるかを決定すること(できれば確率も出したいです。例えばグループAの確率が30%、グループBは5%など)。
②特徴が30000種類ありますが、この中でグループ配属に関わる特徴のみを抽出したいと考えています。

どのような検定・解析方法が考えられますでしょうか?
御教示いただけると大変助かります。

このQ&Aに関連する最新のQ&A

A 回答 (3件)

私も統計学は無知なのですが・・・



こういった複数の特徴の組み合わせからカテゴリ分けする方法でキモになるのは、コーディング(特徴の表現の仕方)と評価関数の2点です。御質問の例では、コーディングはグループ内の共通の特徴の抽出方法、評価関数はその比較の仕方になると思います。20年ほど前、患者の症状や検査の値から病名を推定する、といった研究がありましたが、それに似ていますね。

例えば、コーディングにはより多くのメンバが属する特徴の抽出、評価関数に正規化したハミング距離といった方法を考えます。

まずは2に関して、各グループで全特徴の平均を求めるというところはNo.2の回答と同じです。通常は完全一致ということは珍しいため、中間の値を閾値で切り、don't careにするということをします。例えば、0.05~0.95とか0.2~0.8はどちらともいえない、という風にみなすのです。これによって各グループの特徴を定義します。

その上で、1については各グループに対してdon't careを除く各特徴だけを見たハミング距離(ただしグループごとに見る特徴の数が違うので正規化する必要あり)から、そのグループらしさを見つけ出す、といった感じだと思います。

サンプル値を増やし、かつサンプルの正解がわかっている(教師入力になりうる)のであれば、機械学習によって中間値の閾値やグループ所属確率を決定付ける関数のパラメータを調整することもできると思います。
    • good
    • 0

私も、統計は全く分からないのですが、、、



特徴はすべて0か1で表現されており、母集団にはすべてのグループが含まれている(新しいグループが発生する可能性がな)と考えるなら、各グループごとにすべての特徴についての平均を求め、それが0と1のもののみを抜き出し、すべてのグループについて比較を行えば②を行えると思います。

①の新しいサンプルについては結構難しいですね。 ②で行った特性にマッチするリストを作り上げ、複数発生した場合はその中から一つを選びださなくてはいけないことになりますが、②の特性というものの特徴番号が同じではないのでどのように確率で表現できるのかが、私には思いつきません。 まあ、30000特徴あるなら、複数発生しない可能性のほうが高いかもしれないですが、元のデータの特徴の偏り方によっては何でもありでしょうから、何とも言えません。

遺伝子系の統計分析などの手法の出版物や論文をあたると、ヒントがあるかもしれません。
    • good
    • 0

当方、統計はまったく判りません。



>50ほどのグループ
これは、前半25のグループに含まれてるか?の分類で分けるのでは?

前半25なら1、後半25なら0
さらに最初の12のグループに入るか?
最初の12なら1、次の12(13)なら0、その次の12なら1、最後の12(13)なら0

って、特徴に入れていくのでは?
    • good
    • 0

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人が検索しているワード

このQ&Aと関連する良く見られている質問

Q院試と希望する研究室配属

他大学の院試に合格しても成績がよくなければ希望する研究室に配属できないことも多いですか?

Aベストアンサー

それは微妙でしょう、だって成績の悪い奴を押し付けられるのはどの教授も嫌だ、良い方から振り分けてボトムは運次第かも。理工農薬ではあらかじめ教授と面会しないと撥ねられ、どこへ行くか分からなくなる、だから最低でもメールは送る。人気のある研修室だと集まり過ぎになりかねない。

Q文系って、東大・文1まで含めて、ヤクザみたいなもんですよね?(大学院も)

文系って、東大・文1まで含めて、ヤクザみたいなもんですよね?(大学院も)

Aベストアンサー

どんな商売もヤクザだよ。あんた他人様の金を無駄に使わせたこと無いのかい?

Q理系の私立大学大学院1回生です。 今研究続けるべきかどうか悩んでいます。 自分は今まで、部活もアルバ

理系の私立大学大学院1回生です。
今研究続けるべきかどうか悩んでいます。
自分は今まで、部活もアルバイトもせずに過ごしており、学校内などの小さいコミュニティでしか生きて来なかったため、コミュニケーション能力が低いと感じることが多々ありました。
先日、担当教授の話をした時も君は人をバカにしているなどとさんざんなことを言われました。
しかし、自分はそれには反論出来ず、自分の会話力の無さを思い知りました。そのコミュニケーション能力の無さがために上手く自分の意思を伝えることが出来ず、研究が滞っています。
このまま続けても研究も、その先の就職も上手くいかないんじゃないのかと思い今悩んでいます。
これからの選択肢として、
1、それでも頑張って研究を続ける。
2、1度立ち止まって(休学もしくは中退)、アルバイトなどで社会と触れ合ってコミュニケーション能力を付け、やり直す。
のどちらかを考えています。
もちろん前者のほうがいいという事は分かっているのですが、自分の中で、今1番すべきことはコミュニケーション能力を付けることだと考えております。
研究を続けながらコミュニケーション能力を養えばと考える方もいらっしゃると思うのですが、大学院の研究を続けながらアルバイトをするというのは今の現状出来ないと考えています。
皆様はどちらの方が良いと思いますか?
意見を頂ければうれしいです。

長文、そして拙い文章失礼しました。

理系の私立大学大学院1回生です。
今研究続けるべきかどうか悩んでいます。
自分は今まで、部活もアルバイトもせずに過ごしており、学校内などの小さいコミュニティでしか生きて来なかったため、コミュニケーション能力が低いと感じることが多々ありました。
先日、担当教授の話をした時も君は人をバカにしているなどとさんざんなことを言われました。
しかし、自分はそれには反論出来ず、自分の会話力の無さを思い知りました。そのコミュニケーション能力の無さがために上手く自分の意思を伝えることが出来ず、研...続きを読む

Aベストアンサー

当方も学生時代から現在に至るまでコミュニケーション能力は低いので同様の悩みはあります。しかしながら当方含め、同様の状況の友人たちを見ていてもさほど就職には苦労してはいません。
質問者さまの文面も分かりやすいですし、真面目に就活をやられるのでしょうから、少なくとも就活の書類選考でバンバン落とされることはないでしょう。

社会と触れ合いたいとのことですが、
確かに修士課程の学生さんで本気でアルバイトをする人はあんまりいないですしお勧めもしませんが、生活のために深夜のアルバイトをしている苦学生は世の中に一定数いる事は事実です。

また、定期的なアルバイトをしなくても、短期でのアルバイトをするとか、地域でのお祭りやボランティア活動に参加するなどコミュニケーション能力を向上させる機会は何かとあります。
学内サークルや、研究室内や研究室間でのレクリエーション、プレゼンを伴う授業、学会活動、共同研究、TAなどなどふだんはない社会や学生や教員等との接点もあります。そういう様々な機会を活かされればよいと思います。そして、言葉で話すのが苦手な場合は、説明するときの文章や図を工夫するとか、教授と話す前に要点をしっかりまとめるなど訓練を続けるのは良いかもしれません。
なかなかお忙しいと思いますので、早めに準備するのは大変ですけどね。

また、英語でのコミュニケーション能力も同様に磨いておいて損はありませんので研究室に留学生がいたり、国際的な場面での活動が可能な場合は積極的にコミュニケーションを取られることをお勧めします。

人間関係等、悩みながら研究をすることも研究の一部と思いますから、ぜひそのままご研究続けられてやり遂げられますことをお祈りします。頑張って下さい。

当方も学生時代から現在に至るまでコミュニケーション能力は低いので同様の悩みはあります。しかしながら当方含め、同様の状況の友人たちを見ていてもさほど就職には苦労してはいません。
質問者さまの文面も分かりやすいですし、真面目に就活をやられるのでしょうから、少なくとも就活の書類選考でバンバン落とされることはないでしょう。

社会と触れ合いたいとのことですが、
確かに修士課程の学生さんで本気でアルバイトをする人はあんまりいないですしお勧めもしませんが、生活のために深夜のアルバイトをし...続きを読む

Q国連職員は一般の家庭、貧乏な家庭に生まれたらなるのは難しいですか? 私は現在高1で、国連職員を目指し

国連職員は一般の家庭、貧乏な家庭に生まれたらなるのは難しいですか?
私は現在高1で、国連職員を目指しているのですが、日本人の国連職員の多くは大学院はアメリカの方を出ていて、国連職員を採用する際、出身大学は見ないとしていますが、多分見ているんだろうな〜と思うところがあります。
そこで、私も大学院は国連職員になるには英語かフランス語を話せないといけないのでアメリカの方へ大学院入学から卒業まで留学しようか考えているのですが、経済面、学費や生活費の面で心配です。私の家は裕福ではありません。
裕福ではないのに大学院のアメリカ留学は可能なのでしょうか?
それに、国連職員は一般家庭や貧乏だと余程なことがない限りなる事はできないと聞きました。
やはりそうなのでしょうか?

Aベストアンサー

親次第ですね

住まいも含めると、
カリフォルニア 大学サンディエゴ 年間1000万以上
せっかくだからと 
フライトスクール通うと
ヘリ+セスナ 自家用パイロット 500万円

趣味短期1年留学ハワイ 年間500~800万

おりこうさんで
ケンブリッジ卒業まで5000万円

参考まで


このカテゴリの人気Q&Aランキング

おすすめ情報