旅行好きのおしりトラブル対策グッズ3選

ここのカテゴリでいいかわからないのですが質問させてください。

今ある事情である文書とべつの文書が類似してるかどうか調べています。
この時オーソドックスなのがコサイン類似度を用いるのが普通だと思います。
しかし事情があり、別の方法を取りたいと考えています。
そこで他人に説明するときにコサイン類似度を用いない理由を説明する必要があるので、考えられるコサイン類似度を用いない理由 ( コサイン類似度の欠点 ) があったら教えてください。

また、他に適切なカテゴリがあったら教えてください。

よろしくお願いします。

このQ&Aに関連する最新のQ&A

A 回答 (2件)

コサイン類似度の定義が明確でないので答えられません。


常識的に考えると、二つのベクトル a, b があるとき、その類似度は
(a, b) /(||a||・||b||)
で定義されます。分子はベクトルの内積で、分母はそれぞれのノルムです。これはベクトル空間における二つのベクトルのコサインになります。
このように定義された類似度 s は
-1 ≦ s ≦ 1
になり、右側の等号が成立するのは a=Kb (K>0) のときだけです。
このような性質があるので類似度は良く用いられますが、これおを用いなければならない必然性があるわけではありません。
    • good
    • 1
この回答へのお礼

申し訳ありません、定義を書き忘れました。
tatsumi01 さんの定義を想定していました。

お礼日時:2006/02/11 15:38

No. 1 のものですが補足します。


「文書」の定義がわかりません。スキャナで取り込んだ文書画像でしょうか、それとも文字列でしょうか。
文書画像 (H×V) としますと、画素の値を並べて N=HV 次元のベクトルを作れば No. 1 での回答通りになります。ただし、画像の場合は類似度ではダメです。全く同じ画像でも、数画素ずらしても、傾けても、拡大倍率が変わっても、類似度は大きく下がります。その補正方法はいろいろ考えられています。
文字コード系列とすると、そもそも文字数が違いますから内積が定義できません。文字数が異なる場合の文字列のマッチングは DTW (Dynamic Time Warping) と呼ばれ、音声認識や文書検索で広く用いられています。
    • good
    • 0
この回答へのお礼

「文書」の定義も書き忘れていました、申し訳ありません。
文字列を考えていました。

お礼日時:2006/02/11 15:39

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人が検索しているワード

このQ&Aと関連する良く見られている質問

Q二つのデータの波形が似てるかどうかの判定方法

以前、物理学の方で質問させて頂いたのですが、教えて頂いた方法で上手くできなかった為、こちらの方で再質問させていただきます。


波形解析について初心者の為、分かりづらいかもしれませんが宜しくお願い致します。

例えば、Excel等で単位の異なる二系列の折れ線グラフを描画したとします。

この二つのデータの波形が、どれくらい似ているかを調べるにはどの様な方法があるでしょうか。

解析ツール等を使うという方法ではなく、具体的な計算方法を教えて頂きたいのです。

二つの波形間を積分して、その面積を求めれば良いのか、フーリエ解析をすれば良いのか。。。等など通常はどのように解析しているのか、考えても良く分かりません。

どうぞ宜しくお願い致します。

Aベストアンサー

二つのデータに関係性があるかどうかという指標として、統計で用いる相関係数というものがあります。
http://ja.wikipedia.org/wiki/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0

二つの波形の時間ごとのデータをそれぞれ
  A[i] = A[1],A[2],A[3],...,A[n]
  B[i] = B[1],B[2],B[3],...,B[n]
としましょう。

もしもA,Bがまったく同じデータであれば
すなわちA[i]=B[i]ならば
その相関係数Sは1になります。

 A[i]大→B[i]大 , A[i]小→B[i]小
といった関係が強いほど相関係数は1に近づき、そのような関係がないとき相関係数は0に近づくので、二つの波形の評価に使うことが出来ます。

さらにA[i+d]とB[i]の相関係数を見ると
Aの波形を時間軸にそってdだけずらした波形とBの波形の関係を見ることになります。
これが1に近ければ、波形A,Bは時間dだけずれて形が似ているということになります。

さらに余談ですが、A[i]とA[i]の相関係数は1になりますが、もしもA[i]とA[i+d]の相関係数が1に近ければ、すなわちそれはAの波形とAをdだけずらした波形は似ているということになり、Aは周期dで周期性を持つことが示せます。

二つのデータに関係性があるかどうかという指標として、統計で用いる相関係数というものがあります。
http://ja.wikipedia.org/wiki/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0

二つの波形の時間ごとのデータをそれぞれ
  A[i] = A[1],A[2],A[3],...,A[n]
  B[i] = B[1],B[2],B[3],...,B[n]
としましょう。

もしもA,Bがまったく同じデータであれば
すなわちA[i]=B[i]ならば
その相関係数Sは1になります。

 A[i]大→B[i]大 , A[i]小→B[i]小
といった関係が強いほど相関係数は1に近づき、そのような...続きを読む

Q統計学的に信頼できるサンプル数って?

統計の「と」の字も理解していない者ですが、
よく「統計学的に信頼できるサンプル数」っていいますよね。

あれって「この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる」という決まりがあるものなのでしょうか?
また、その標本数はどのように算定され、どのような評価基準をもって客観的に信頼できると判断できるのでしょうか?
たとえば、99人の専門家が信頼できると言い、1人がまだこの数では信頼できないと言った場合は信頼できるサンプル数と言えるのでしょうか?

わかりやすく教えていただけると幸いです。

Aベストアンサー

> この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる・・・
 調べたいどの集団でも、ある一定数以上なら信頼できるというような決まりはありません。
 何かサンプルを集め、それをなんかの傾向があるかどうかという仮説を検証するために統計学的検定を行って、仮設が否定されるかされないかを調べる中で、どの検定方法を使うかで、最低限必要なサンプル数というのはあります。また、集めたサンプルを何か基準とすべき別のサンプルと比べる検定して、基準のサンプルと統計上差を出すに必要なサンプル数は、比べる検定手法により計算できるものもあります。
 最低限必要なサンプル数ということでは、例えば、ある集団から、ある条件で抽出したサンプルと、条件付けをしないで抽出したサンプル(比べるための基準となるサンプル)を比較するときに、そのサンプルの分布が正規分布(正規分布解説:身長を5cmきざみでグループ分けし、低いグループから順に並べたときに、日本人男子の身長なら170cm前後のグループの人数が最も多く、それよりも高い人のグループと低い人のグループの人数は、170cmのグループから離れるほど人数が減ってくるような集団の分布様式)でない分布形態で、しかし分布の形は双方とも同じような場合「Wilcoxon符号順位検定」という検定手法で検定することができますが、この検定手法は、サンプルデータに同じ値を含まずに最低6つのサンプル数が必要になります。それ以下では、いくらデータに差があるように見えても検定で差を検出できません。
 また、統計上差を出すのに必要なサンプル数の例では、A国とB国のそれぞれの成人男子の身長サンプルがともに正規分布、または正規分布と仮定した場合に「t検定」という検定手法で検定することができますが、このときにはその分布を差がないのにあると間違える確率と、差があるのにないと間違える確率の許容値を自分で決めた上で、そのサンプルの分布の値のばらつき具合から、計算して求めることができます。ただし、その計算は、現実に集めたそれぞれのサンプル間で生じた平均値の差や分布のばらつき具合(分散値)、どのくらいの程度で判定を間違える可能性がどこまで許されるかなどの条件から、サンプル間で差があると認められるために必要なサンプル数ですから、まったく同じデータを集めた場合でない限り、計算上算出された(差を出すために)必要なサンプル数だけサンプルデータを集めれば、差があると判定されます(すなわち、サンプルを無制限に集めることができれば、だいたい差が出るという判定となる)。よって、集めるサンプルの種類により、計算上出された(差を出すために)必要なサンプル数が現実的に妥当なものか、そうでないのかを、最終的には人間が判断することになります。

 具体的に例示してみましょう。
 ある集団からランダムに集めたデータが15,12,18,12,22,13,21,12,17,15,19、もう一方のデータが22,21,25,24,24,18,18,26,21,27,25としましょう。一見すると後者のほうが値が大きく、前者と差があるように見えます。そこで、差を検定するために、t検定を行います。結果として計算上差があり、前者と後者は計算上差がないのにあると間違えて判断する可能性の許容値(有意確率)何%の確率で差があるといえます。常識的に考えても、これだけのサンプル数で差があると計算されたのだから、差があると判断しても差し支えないだろうと判断できます。
 ちなみにこの場合の差が出るための必要サンプル数は、有意確率5%、検出力0.8とした場合に5.7299、つまりそれぞれの集団で6つ以上サンプルを集めれば、差を出せるのです。一方、サンプルが、15,12,18,12,21,20,21,25,24,19の集団と、22,21125,24,24,15,12,18,12,22の集団ではどうでしょう。有意確率5%で差があるとはいえない結果になります。この場合に、このサンプルの分布様式で拾い出して差を出すために必要なサンプル数は551.33となり、552個もサンプルを抽出しないと差が出ないことになります。この計算上の必要サンプル数がこのくらい調査しないといけないものならば、必要サンプル数以上のサンプルを集めて調べなければなりませんし、これだけの数を集める必要がない、もしくは集めることが困難な場合は差があるとはいえないという判断をすることになるかと思います。

 一方、支持率調査や視聴率調査などの場合、比べるべき基準の対象がありません。その場合は、サンプル数が少ないレベルで予備調査を行い、さらにもう少しサンプル数を増やして予備調査を行いを何回か繰り返し、それぞれの調査でサンプルの分布形やその他検討するべき指数を計算し、これ以上集計をとってもデータのばらつきや変化が許容範囲(小数点何桁レベルの誤差)に納まるようなサンプル数を算出していると考えます。テレビ視聴率調査は関東では300件のサンプル数程度と聞いていますが、調査会社ではサンプルのとり方がなるべく関東在住の家庭構成と年齢層、性別などの割合が同じになるように、また、サンプルをとる地域の人口分布が同じ割合になるようにサンプル抽出条件を整えた上で、ランダムに抽出しているため、数千万人いる関東の本当の視聴率を割合反映して出しているそうです。これはすでに必要サンプル数の割り出し方がノウハウとして知られていますが、未知の調査項目では必要サンプル数を導き出すためには試行錯誤で適切と判断できる数をひたすら調査するしかないかと思います。

> どのような評価基準をもって客観的に信頼できると判断・・・
 例えば、工場で作られるネジの直径などは、まったくばらつきなくぴったり想定した直径のネジを作ることはきわめて困難です。多少の大きさのばらつきが生じてしまいます。1mm違っても規格外品となります。工場では企画外品をなるべく出さないように、統計を取って、ネジの直径のばらつき具合を調べ、製造工程をチェックして、不良品の出る確率を下げようとします。しかし、製品をすべて調べるわけにはいきません。そこで、調べるのに最低限必要なサンプル数を調査と計算を重ねてチェックしていきます。
 一方、農場で生産されたネギの直径は、1mmくらいの差ならほぼ同じロットとして扱われます。また、農産物は年や品種の違いにより生育に差が出やすく、そもそも規格はネジに比べて相当ばらつき具合の許容範囲が広くなっています。ネジに対してネギのような検査を行っていたのでは信頼性が損なわれます。
 そもそも、統計学的検定は客観的判断基準の一指針ではあっても絶対的な評価になりません。あくまでも最終的に判断するのは人間であって、それも、サンプルの質や検証する精度によって、必要サンプルは変わるのです。

 あと、お礼の欄にあった専門家:統計学者とありましたが、統計学者が指摘できるのはあくまでもそのサンプルに対して適切な検定を使って正しい計算を行ったかだけで、たとえ適切な検定手法で導き出された結果であっても、それが妥当か否か判断することは難しいと思います。そのサンプルが、何を示し、何を解き明かし、何に利用されるかで信頼度は変化するからです。
 ただ、経験則上指標的なものはあります。正規分布を示すサンプルなら、20~30のサンプル数があれば検定上差し支えない(それ以下でも問題ない場合もある)とか、正規分布でないサンプルは最低6~8のサンプル数が必要とか、厳密さを要求される調査であれば50くらいのサンプル数が必要であろうとかです。でも、あくまでも指標です。

> この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる・・・
 調べたいどの集団でも、ある一定数以上なら信頼できるというような決まりはありません。
 何かサンプルを集め、それをなんかの傾向があるかどうかという仮説を検証するために統計学的検定を行って、仮設が否定されるかされないかを調べる中で、どの検定方法を使うかで、最低限必要なサンプル数というのはあります。また、集めたサンプルを何か基準とすべき別のサンプルと比べる検定して、基準のサンプルと統計上差を出すに必要な...続きを読む

QPythonでテキストを行数指定して読み込む

Pythonの勉強を始めて4ヶ月ほどの者です。
今、コマンドライン(Winでのコマンドプロンプト、Linux系での端末など)からPythonでメールアドレスが書いてあるテキストを読み込み、そのアドレスにメールを送るプログラムを考えてます。
具体的には、address.txtというファイルに、
aaa.example@test.ne.jp
bbb.example@test.ne.jp
ccc.example@test.ne.jp
という風に記述してあるとします。(一行に一アドレスです。)
プログラムの部分(最初からではなく途中です)は、
print "Select the E-mail Address below"
a = open("Address.txt")
for i in a:
print i
to = raw_input(":")
とまできたんですが、自分としては読み込んだ「Address.txt」に書かれてるアドレスを行数ごとに指定して読み込みたいんです。つまりraw_input(":")に
1を入れたら1行目を指定→「aaa.example@test.ne.jp」
2を入れたら2行目を指定→「bbb.example@test.ne.jp」
3を入れたら3行目を指定→「ccc.example@test.ne.jp」
が選択されるようにし、変数toに代入されるようにしてSMTPモジュールのto_addrに引き渡すようにしたいのです。

ですが行数を指定してテキストを読み込むメゾットやオブジェクトが入ってるモジュールや関数はありますか?

Pythonは2.6.4と3.0.1の両方のバージョンが入ってます。できれば両方で動かしたいので3.0.1で仕様の変更があったら教えてもらえるとありがたいです。
OSはメインがWinXPSP3、サブ(テスト用、VMWare使用)にUbuntu9.04(Pythonは2.6系だったと思います。)

Pythonの勉強を始めて4ヶ月ほどの者です。
今、コマンドライン(Winでのコマンドプロンプト、Linux系での端末など)からPythonでメールアドレスが書いてあるテキストを読み込み、そのアドレスにメールを送るプログラムを考えてます。
具体的には、address.txtというファイルに、
aaa.example@test.ne.jp
bbb.example@test.ne.jp
ccc.example@test.ne.jp
という風に記述してあるとします。(一行に一アドレスです。)
プログラムの部分(最初からではなく途中です)は、
print "Select the E-mail Address below"...続きを読む

Aベストアンサー

以下、字下げを表現するのに全角空白を使っています。コピーしたら置き換えましょう。
a = open("Address.txt")
lines = []
for line in a:
 print line
 lines.append(line)
to = raw_input(":")
addr = lines[to+1]
これでaddrに指定行のアドレスが入るはずです。

Q相関係数についてくるP値とは何ですか?

相関係数についてくるP値の意味がわかりません。

r=0.90 (P<0.001)

P=0.05で相関がない

という表現は何を意味しているのでしょうか?
またMS Excelを使ってのP値の計算方法を教えてください。

よろしくお願い致します。

Aベストアンサー

pは確率(probability)のpです。全く相関のない数字を組み合わせたときにそのr値が出る確率をあらわしています。

統計・確率には100%言い切れることはまずありません。というか100%言い切れるのなら統計・確率を使う必要は有りません。
例えばサイコロを5回振って全て同じ目が出る確率は0.08%です。そんな時、そのサイコロを不良品(イカサマ?)と結論つけるとわずかに間違っている可能性が残っています。ただ、それが5%以下ならp=0.05でそのサイコロは正常ではないと結論付けます。
それが危険率です。(この場合はp=0.1%でもいいと思いますが)
相関係数においても相関の有無を結論つけるにはそのrが偶然出る確率を出すか、5%の確率ならrがどれぐらいの値が出るかを知っておく必要が有ります。

>r=0.90 (P<0.001)

相関係数は0.90と計算された。相関がないのに偶然r=0.90 となる確率は0.001以下だと言ってます。

>P=0.05で相関がない

相関がないと結論。(間違っている確率は5%以下)だと言ってます。

エクセルでの計算ですが、まず関数CORRELを使ってr値を出します。xデータがA1からA10に、yデータがB1からB10に入っているとして

r=CORREL(A1:A10,B1:B10)

次にそのr値をt値に変換します。

t=r*(n-2)^0.5/(1-r^2)^0.5

ここでnは組みデータの数です。((x1,y1),(x2,y2),・・・(xn,yn))
最後に関数TDISTで確率に変換します。両側です。

p=TDIST(t値,n-2,2)

もっと簡単な方法があるかも知れませんが、私ならこう計算します。(アドインの分析ツールを使う以外は)

pは確率(probability)のpです。全く相関のない数字を組み合わせたときにそのr値が出る確率をあらわしています。

統計・確率には100%言い切れることはまずありません。というか100%言い切れるのなら統計・確率を使う必要は有りません。
例えばサイコロを5回振って全て同じ目が出る確率は0.08%です。そんな時、そのサイコロを不良品(イカサマ?)と結論つけるとわずかに間違っている可能性が残っています。ただ、それが5%以下ならp=0.05でそのサイコロは正常ではないと結論付けます。
それが危険率です。(この場...続きを読む

Qエクセル STDEVとSTDEVPの違い

エクセルの統計関数で標準偏差を求める時、STDEVとSTDEVPがあります。両者の違いが良くわかりません。
宜しかったら、恐縮ですが、以下の具体例で、『噛み砕いて』教えて下さい。
(例)
セルA1~A13に1~13の数字を入力、平均値=7、STDEVでは3.89444、STDEVPでは3.741657となります。
また、平均値7と各数字の差を取り、それを2乗し、総和を取る(182)、これをデータの個数13で割る(14)、この平方根を取ると3.741657となります。
では、STDEVとSTDEVPの違いは何なのでしょうか?統計のことは疎く、お手数ですが、サルにもわかるようご教授頂きたく、お願い致します。

Aベストアンサー

データが母集団そのものからとったか、標本データかで違います。また母集団そのものだったとしても(例えばクラス全員というような)、その背景にさらならる母集団(例えば学年全体)を想定して比較するような時もありますので、その場合は標本となります。
で標本データの時はSTDEVを使って、母集団の時はSTDEVPをつかうことになります。
公式の違いは分母がn-1(STDEV)かn(STDEVP)かの違いしかありません。まぁ感覚的に理解するなら、分母がn-1になるということはそれだけ結果が大きくなるわけで、つまりそれだけのりしろを多くもって推測に当たるというようなことになります。
AとBの違いがあるかないかという推測をする時、通常は標本同士の検証になるわけですので、偏差を余裕をもってわざとちょっと大きめに見るということで、それだけ確証の度合いを上げるというわけです。

Q複数の文字列のいずれかが含まれていたらTRUEを返す関数について

複数の文字列のいずれかが含まれていたらTRUEを返す関数について
エクセル2003を使用しています。
B列に例えば住所が入力されていて、「東京都北区」「千代田区」「東村山市」等いくつかの文字列のいずれかが含まれていたら、A列にTRUEを返すということをしたいのですが方法がわかりません。
単純なことのような気がするのですがどうしても思いつきません。よろしくお願いいたします。

Aベストアンサー

こうかなあ。。。
A2セル
=OR(SUBSTITUTE(B2,$D$2:$D$4,"",1)<>B2)
[Ctrl]+[Shft] +[Enter] で確定、配列数式です({}で囲まれる)
下へオートフィル

D2:D4に文字列を入力しておく

Q相関の強さの表し方

2点質問があります。文系人間ですので、簡単に表現してくれると有り難いです。


1.2つの変数の相関関係の強さがどれくらいかを、説明する場合にどのような方法があるのでしょうか。

2.某サイトで相関関係の強さについて、「相関係数の絶対値の大きさが0.7~1.0だと強い相関、0.4~0.7だとやや相関あり、0.2~0.4だと弱い相関あり、0~0.2だとほとんど相関なし」というものを見つけたのですが、これは統計学的に一般的に言われていることなのでしょうか。何か確認できる書物などをご存知でしたら教えてください。
 

Aベストアンサー

こんにちは.質問順番を入れ替えて回答します.

<2.相関係数の言語的評価>
例えば『心理学のためのデータ解析テクニカルブック』などに書かれています.数値に多少変動はありますが(0.0~0.3などのように),おおよそ一般的な基準です.統計解析法の入門書には大抵書かれています.

(実際には…)
ただ,あるテストで60点をとった場合,その人の能力やテストの難易度によって,その60点に対する評価が変動するように(人によっては「高い」あるいは「低い」点と考える場合がありますね),相関係数の値も本来はそのデータ領域の特性を考えて解釈しなければなりません.この点を相関係数を実務で使う人は十分理解しているので,上記の言語的評価を目安程度に使っています.このためある領域では0.5を高い相関があると解釈することもあれば,同値をあまり関連性がなかったと解釈する場合もあります.

なお,相関係数のイメージ的理解としては,二つの変数ABの場合,変数Aが単独に作業した量と変数Bが単続に作業した量の積の中で,変数ABが一緒に働いたときの作業量の割合と考えてもらうのがいいでしょう(あまりイメージ的理解でもありませんが…).

<1.相関係数の説明>
一般的に相関係数と呼ばれるものはピアソンの積率相関係数です.この相関係数は直線的関係を示していますので,二つの変数の点をプロット図に描くと良いと思います.

== 正・負の「完全:|r|=1」相関図 ==========================

  <正の完全相関:r=1>      <負の完全相関:r=-1>

  │       *        │ *
  │      *         │  *
  │     *          │   *
  │    *           │    *
  │   *            │     *
  │  *             │      *
  │ *              │       *
  └─────────       └────────

  ・正の相関:ある変数が増加(減少)すれば他の変数も増加(減少)
  ・負の相関:ある変数が増加(減少)すれば他の変数は減少(増加)

=============================================================
※図が歪んでいるかもしれないので,上記の図をコピー&貼り付けで適当な文章ソフトに貼り付け,等幅フォント(MSゴシック)に修正して下さい.

上記のように「完全に直線状になっていれば[1]」となります.
なお傾きについては,右上がりか,左上がりかというという大雑把な解釈をする程度に留めてください(傾きの程度も重要な情報ですが,多少数学的知識を入れないと説明できないので).
実際のデータをプロット図に示し,「どの程度直線的か,傾きはどちら向きか」という観点で説明するのはどうでしょうか?

こんにちは.質問順番を入れ替えて回答します.

<2.相関係数の言語的評価>
例えば『心理学のためのデータ解析テクニカルブック』などに書かれています.数値に多少変動はありますが(0.0~0.3などのように),おおよそ一般的な基準です.統計解析法の入門書には大抵書かれています.

(実際には…)
ただ,あるテストで60点をとった場合,その人の能力やテストの難易度によって,その60点に対する評価が変動するように(人によっては「高い」あるいは「低い」点と考える場合がありますね),相関係数の値...続きを読む

Qカイ2乗検定って何??;;

タイトルのとおりですが…大学で統計の基礎な授業を一般教養で受けています。だけど知らない&説明のない言葉がいっぱぃで、全くついていけません(>_<))
「人が一番選ばなさそうな数字」を何度か投票した結果があって、その数字は無作為に選ばれてるかどうか、有意水準1%としてカイ2乗検定をして判断する、という問題があるのですが、カイ2乗検定自体、授業でちらっと言葉は使ったものの、計算の仕方、使い方の説明等はなく、まったく手がつかずにいます;;ネットでも調べてみましたが、どう使っていいのかまでは分かりませんでした。
知識の無い私でもわかるようなものがあれば教えて下さいっっ!お願いします。

Aベストアンサー

こんにちは.χ2(カイ二乗)検定を厳密に理解するには,数学的素養を持っている状態できっちりと統計学を学習する必要があるのですが,統計データを解析するための手段として統計学を「使う」のであれば,多少の原理を知っておけばよいでしょう.
以下初学者向けにかなり乱暴な説明をしています.正確な理解をしたければ,後で統計学の教科書などで独学して下さい.

χ2検定とは,χ2分布という確率分布を使ったデータ解析法と考えてもらう……のが一番なのですが,多分χ2分布って何? と思われるでしょう.χ2分布とは,二乗値に関する確率分布と考えることができるのですが,この辺もさらりと流して下さい.

例を使って説明します.今,道行く人にA,B,C,Dの四枚のカードの中から好きなもの一枚を選んでもらうとしましょう(ただし,選んでもらうだけで,あげるわけではありません.単にどのカードを選択仕方の情報を得るだけです).一人一枚だけの条件で,160人にカードを選んでもらいました.
さて,ここで考えてみて下さい.4枚のカードには大きな違いはなく,どれを選んでもかまわない.でたらめに選ぶとなれば,どのカードも1/4で,同じ確率で,選ばれるはずですよね? ならば,160人データならば,Aは何枚ほど選ばれる「はず」でしょうか? 同様に,B,C,Dは何枚選ばれる「はず」でしょうか?
……当然,A=B=C=D=40枚の「はず」ですよね? この40枚という数値はでたらめに(無作為に)選ばれたとしたらどんな数値になるかの【理論値】を意味します.

さて,上記はあくまでも理論値であり,実際のデータは異なる可能性があります.というよりはむしろ違っているのがふつうでしょう.そのような実際に観測された数値を【観測値】と呼びます.
仮に理論値と観測値が以下のようになったとします.

        A    B    C    D
(1)観測値   72   23   16   49
(2)理論値   40   40   40   40

当然のように観測値と理論値にズレが生じています.しかし現実と理論が異なるのはある意味当然なのですからぴったり一致することなどありえません.そこで,「ある程度一致しているか(ズレは許容範囲か)」を問題にすることになります.しかし,「ある程度」といわれても一体どのぐらいであれば「ある程度」と言えるのでしょうか? なかなか判断が難しいではないですか?
確かに判断が難しいです.そこで,この判断のために統計学の力を借りて判断するわけで,更に言えばこのような目的(理論値と観測値のズレが許容範囲かどうか)を検討するときに使われるデータ解析法がχ2検定なのです.

        A    B    C    D
(1)観測値   72   23   16   49
(2)理論値   40   40   40   40
(3)ズレ    +32   -17   -14   + 9
(4)ズレ二乗 1024   289   196   81
(5)(4)÷(2) 25.6  7.225  4.9  2.025

 χ2=25.6+7.225+4.9+2.025=49.25

計算過程をさらりと書いていますが,早い話が観測値と理論値のズレの大きさはいくらになるのか,を求めることになります.最終的には「49.25」というズレ値が算出されました.

さて,この「49.25」というズレ値が許容範囲かどうかの判定をするのですが,ここで,χ2分布という確率分布を使うことになります.詳細は統計学教科書を参考してもらうとして,χ2分布を使うと,○○というズレ値が(ある条件では)どのぐらい珍しいことなのか,という「珍しさの確率」を教えてくれます.
かりに「有意水準1%=1%よりも小さい確率で発生することはすごく珍しいと考える(許容範囲と考えられない)」とすれば,「珍しさ確率」が1%以内であれば「許容範囲ではない」と判断します.

以上,長々と書きました.今までの説明を読めばわかるように,χ2検定とはある理論値を想定した時,実際の観測値がその理論値とほぼ一致しているかどうかを調べるための統計解析法のことです.

χ2検定では,理論値をどのように設定するかは分析者の自由です.その設定の仕方で,χ2検定は「適合度の検定」や「独立性の検定」など異なる名称が付与されますが,本質は同じなのです.

質問者さんの場合は

> 「人が一番選ばなさそうな数字」を何度か投票した結果があって、その数字は無作為に選ばれてるかどうか、

これを理論値としてうまく設定することが鍵となるでしょう.

こんにちは.χ2(カイ二乗)検定を厳密に理解するには,数学的素養を持っている状態できっちりと統計学を学習する必要があるのですが,統計データを解析するための手段として統計学を「使う」のであれば,多少の原理を知っておけばよいでしょう.
以下初学者向けにかなり乱暴な説明をしています.正確な理解をしたければ,後で統計学の教科書などで独学して下さい.

χ2検定とは,χ2分布という確率分布を使ったデータ解析法と考えてもらう……のが一番なのですが,多分χ2分布って何? と思われるでしょう.χ2分布...続きを読む

Q「ノルム、絶対値、長さ」の違いについて

あじぽんと申します。よろしくお願いします。

ベクトルや複素数などに出てくる「ノルムと絶対値と長さ」というのは同じことを違う言葉で表現しているのでしょうか?
手元にある書籍などには全てが同じ式で求められています。
同じ式で表現されていても意味は少しづつ違っていたりするのでしょうか?

よろしくお願いします。

Aベストアンサー

どれも同じような性質を持ちますが、違いの1つとして定義される空間が違います。

「絶対値」は、実数や複素数といった「数」に対して定義されます。
定義は、一通りしかありません。
ベクトルに対して、絶対値を求めるという言い方をする場合もあるかもしれませんが、それはベクトルの長さを表す記号に絶対値の記号を利用する場合があるからであり、参考書にも文章として「ベクトルの絶対値」という言い方はあまりされていないのではないでしょうか?



「長さ」というのは、空間にある「線」に対して定義できます。
数に対しては「長さ」という言い方はあまり聞かないと思います。
例えば、「3」の長さというような言い方は耳になじまないと思います。
一方、ベクトルの場合は、「矢印」という「線」になりますので「長さ」が定義できます。



最後の「ノルム」は、線形空間に対して定義できます。(もちろん実数、複素数やベクトルも線形空間です)
ノルムの条件を満たせばノルムになるため、複数のノルムが考えられます。
そのため、「(1,1)というベクトルに対するノルムは?」
という質問に対しては、「どのノルムを使うか?」という条件が欠けているため厳密に言うと「解答はできません」。
例としてよく扱われるノルムは「ユークリッドノルム」と言われ、通常のベクトルの長さと等しくなります。

ベクトルに対するノルムでは、「最大値ノルム」というのが他の例としてよく使われます。
これは、ベクトルの各要素の最大値で定義されます。
(例:(3,1,5)というベクトルの最大値ノルムは、3つの数字の最大値である5になります)

ノルムというと、線形空間であれば定義できるため、
f(x) = 3x^2+5x
という数式に対するノルムというのも考えられます。
(数式は、定数倍したり、足し算したりできますよね)
数式に対して「絶対値」とか「長さ」と言ってもピンと来ないですよね。

しかし、まだやられていないかもしれませんが、数式に対するノルムというのは存在します。


そうすると、なんでこんなんがあるねん。って話になると思います。

ここで、ベクトルに対してある定理があったとします。

それがさっきのような数式など他の線形空間でも成り立つんだろうか?
というのを考えるときに「ノルム」の登場です。

その定理の証明で、「ベクトル」として性質を使わずに「ノルム」の性質だけを使って証明ができれば、
それは「ベクトル」に対する証明でなくて「ノルムを持つもの」に対する証明になります。
(ちょっと難しいかな?)


このようにして、定理の応用範囲を広げるために「長さ」や「絶対値」の考え方をベクトルだけでなく「線形空間」という広い考え方に適用できるようにしたのが「ノルム」になります。

どれも同じような性質を持ちますが、違いの1つとして定義される空間が違います。

「絶対値」は、実数や複素数といった「数」に対して定義されます。
定義は、一通りしかありません。
ベクトルに対して、絶対値を求めるという言い方をする場合もあるかもしれませんが、それはベクトルの長さを表す記号に絶対値の記号を利用する場合があるからであり、参考書にも文章として「ベクトルの絶対値」という言い方はあまりされていないのではないでしょうか?



「長さ」というのは、空間にある「線」に対して...続きを読む

Q行列の類似度を測る手法として適切なモノ

実験で統計処理をしようと思うのですが、なにぶん知識薄なので教えてください。サイトでも結構です。

行列{A_ij} (ただし一般にi≠j)で、
各成分は0または1である行列がA1,A2,...とあります。
# エクセルの同じ表が何シートもあるイメージ。

2つの行列、A1, A2 の互いの{0,1}のマッピングがどれだけ類似しているか、類似度を定量的に表せるような数学手法があるのでしょうか?

# 0,1の一致度を数えれば済む話ですが、。。。

Aベストアンサー

私も数学は苦手なのですが。

対応する要素同士の差を二乗して、それらの和をとったらどうでしょうか?
行列
 00   10
 11 と 01 とでは

(0-1)^2+(0-0)^2+(1-0)^2+(1-1)^2
=2

という具合に。

完全に一致していれば0になるでしょうし、全てが違うならばその行列の要素の個数と一致する値になるでしょう。


人気Q&Aランキング

おすすめ情報