グッドデザイン賞を受賞したウォーターサーバー >>

重回帰分析をプログラム作成することを考えています。
しかし、データの正規化について疑問が2つあります。

まず一つは、例えば、画像の解析をする場合にデータの正規化をすることは、
ノイズを除去したり、画像の向きを正しくすることを意味しますよね。
しかし、回帰分析においてデータの正規化をすることは何を意味しているのでしょうか?
画像のように見てイメージがわけばよいのですが、数値データなのでどういう意図があるのかよく分かりません。


2つ目の疑問です。
また、データを正規化して重回帰分析をしたとします。
↓の重回帰分析を例に挙げます。
http://homepage2.nifty.com/crop_shimane-u/multip …
この例では、入力として年平均気温、降水量、日照時間とし、出力を単収としています。
このときデータを正規化せずに解析し、次のような予測式を推定しています。
 水稲単収=713.932-17.336×年平均気温+0.010666×降水量+0.017851×日照時間 ・・・ @
この場合に、正規化していないので新しいデータとして、例えば、
 年平均気温=14.8、降水量=2431、日照時間=1721 ・・・ (*)
から単収を推定したいとき、上記@の回帰式に代入することで単収を計算して推定できます。(1)

しかし、データを正規化(平均が0、分散が1になるように)した場合、入力と出力のデータが0以上1以下の値しかとらなくなるので、
重回帰によって上記@のように予測式が得られてもその予測式の出力は0以上1以下の値しかとらないことになり、
新しいデータ(*)をそのまま予測式に代入しても正しい単収を推定できないのではないかと考えています。
この場合のように、データを正規化して得られた予測式で(1)のように正しく単収を推定するにはどうしたらよいのでしょうか?

長くなりましたが、回答よろしくお願いします。

このQ&Aに関連する最新のQ&A

A 回答 (3件)

問1


正規化をすると、単位に引きずられず偏回帰係数によってその因子の影響を比較評価できるようになります。
たとえば、mmとcmと単位を変えたとき、mmで式を作ると「降水量」が大きな偏回帰係数を持ち、「降水量」の影響が大きく見えます。正規化してみれば、各因子の係数が、「寄与率」のように比較できます。
正規化して重回帰分析を行ったときの係数を「標準偏回帰係数」といいます。多くの解析ソフトは、両方を表示します。

問2
ご質問者の誤解です。
平均を0、分散を1までは正しいです。
データはおおよそー3から3くらい(ー3σから+3σ)になっているはずです。なぜ、正値しか考えないのですか? 負値もとります。
正規化(基準化,標準化ともいいます)した場合の予測値は、しない場合と同じ値を与えないと間違いです。

問3
もし、手持ちのルーチンが正値しか扱えないのなら、学力試験の偏差値のように(50,10)(偏差値といいます)にしても良いかもしれません。

この回答への補足

問1については理解しました。

問2、3がちょっとまだ分からないので、もうちょっと教えてください。
重回帰分析のプログラムをC++で作成しました。
解析したデータはこちらのものにしました。
http://gucchi24.hp.infoseek.co.jp/MRAEX1.htm
X =
8  4  8
7  7  7
5  8  9
4  3  3
6  8  8
2  5  3
3  6  6
9  9  7
Y =[18  12  14  6  12  8  10  16]

解析結果は以下のようになりました。
[正規化なし]
Y=2.504 + 0.8161X1 - 0.2749X2 + 1.055X3 ・・・ (a)

[正規化あり]
Y=9.72832e-18 + 0.499768X1 - 0.145797X2 + 0.597074X3 ・・・ (b)

正規化の仕方
 Xi = Σ( Xij-mean(Xi) ) / std(Xi)  j = 1・・・N
 Y = Σ( Yj-mean(Y) ) / std(Y)  j = 1・・・N
 Nはデータ数、mean(・)は平均、std(・)は標準偏差

[正規化したデータ]
X =
1.02062 -1.06066 0.717805
0.612372 0.353553 0.276079
-0.204124 0.824958 1.15953
-0.612372 -1.53206 -1.49083
0.204124 0.824958  0.717805
-1.42887  -0.589256  -1.49083
-1.02062  -0.117851  -0.165647
1.42887  1.29636  0.276079
Y = [1.5  0  0.5  -1.5  0  -1  -0.5  1]

このとき、
 X1=6、X2=4、X3=8 ・・・ (c)
として回帰式(a)、(b)で予測したところ
 (a)=Predict_Y = 7.19201
 (b)=Predict_Y = 14.741
となり予測値が一致しません。
これは単純にプログラムが間違っているということなのでしょうか?
それとも、テストデータ(c)をそのまま予測式に入れたのではダメなのでしょうか?
回答お願いします。

補足日時:2008/10/13 16:55
    • good
    • 0

> データはおおよそー3から3くらい(ー3σから+3σ)になっているはずです。

と回答に書かれているのですが、-3から3という範囲はどのようにして求めているのですか?

正規分布の場合は、±3σの範囲内の分布密度は全体の99.7%で、ほぼ全データが入ります。ですからよくグラフを書くときに±3σの線を入れたりします。工程能力も±3σが安定の目安になっています。
すなわち、今、分布がN(0,1)ですから、±3の範囲に殆ど全てのデータが入ってくるだろうと考えて書きました。それを越えるものは異常値の疑いがあるわけです。

> 正規化なしの場合の回帰式の係数と、正規化ありの場合の回帰式の係数は異なっているわけですが、この係数を一致させることは可能なのでしょうか?

偏回帰係数と標準偏回帰係数は通常は一致しません。偏回帰係数と標準偏回帰係数が一致するのは、説明変数の分散と目的変数の分散が一致しているときだけです。
ただし、互いに変換は可能です。リンク先の式(2-6)をご覧下さい。

> そうできれば、テストデータを正規化する必要もなくなるので・・・。

リンク先にも書いてありますように、一般の統計ソフトではまず先に、桁落ち桁あふれの心配のない標準偏回帰係数を求めておき、それから偏回帰係数に変換するのが誤差の少ないやり方です。
まずは、正規化をやられてはいかがでしょうか。

参考URL:http://staff.aist.go.jp/kudoh.yuki/ja/research/f …
    • good
    • 0
この回答へのお礼

詳細な回答ありがとうございました。
重回帰と正規化についてとてもよく理解できました。

お礼日時:2008/10/14 19:39

#1です。


回答が遅くなりすみません。

説明変数(x)を正規化したデータで重回帰式を作ったときは、予測用代入値(x')もxを正規化した変換式で変換されたものでなくてはなりませんね。

それから、私は前の回答で少しはしょって書いてしまいましたが、説明変数(x)を正規化したときは、目的変数(y)も同様に正規化するケースが多く、そのような場合は予測値も正規分布N(0,1)に従います。よって逆変換しないと元の値と一致しません。
しかし、あくまで大小関係はしっかり保存されています。

この回答への補足

回答ありがとうございました。
おかげさまで、正規化なしの回帰式での予測値と正規化ありの回帰式の予測値が
一致しました。

前回の補足に書き忘れたのですが、
>データはおおよそー3から3くらい(ー3σから+3σ)になっているはずです。
と御回答にかかれているのですが、-3から3という範囲はどのようにして求めているのですか?


また、最後にできるのかお聞きしたいのですが、正規化なしの場合の回帰式の係数と
正規化ありの場合の回帰式の係数は、異なっているわけですが、この係数を
一致させることは可能なのでしょうか?
そうできれば、テストデータを正規化する必要もなくなるので・・・。

補足よろしくおねがいします。

補足日時:2008/10/14 12:59
    • good
    • 0

このQ&Aに関連する人気のQ&A

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人はこんなQ&Aも見ています

このQ&Aを見た人が検索しているワード

このQ&Aと関連する良く見られている質問

Q相関係数についてくるP値とは何ですか?

相関係数についてくるP値の意味がわかりません。

r=0.90 (P<0.001)

P=0.05で相関がない

という表現は何を意味しているのでしょうか?
またMS Excelを使ってのP値の計算方法を教えてください。

よろしくお願い致します。

Aベストアンサー

pは確率(probability)のpです。全く相関のない数字を組み合わせたときにそのr値が出る確率をあらわしています。

統計・確率には100%言い切れることはまずありません。というか100%言い切れるのなら統計・確率を使う必要は有りません。
例えばサイコロを5回振って全て同じ目が出る確率は0.08%です。そんな時、そのサイコロを不良品(イカサマ?)と結論つけるとわずかに間違っている可能性が残っています。ただ、それが5%以下ならp=0.05でそのサイコロは正常ではないと結論付けます。
それが危険率です。(この場合はp=0.1%でもいいと思いますが)
相関係数においても相関の有無を結論つけるにはそのrが偶然出る確率を出すか、5%の確率ならrがどれぐらいの値が出るかを知っておく必要が有ります。

>r=0.90 (P<0.001)

相関係数は0.90と計算された。相関がないのに偶然r=0.90 となる確率は0.001以下だと言ってます。

>P=0.05で相関がない

相関がないと結論。(間違っている確率は5%以下)だと言ってます。

エクセルでの計算ですが、まず関数CORRELを使ってr値を出します。xデータがA1からA10に、yデータがB1からB10に入っているとして

r=CORREL(A1:A10,B1:B10)

次にそのr値をt値に変換します。

t=r*(n-2)^0.5/(1-r^2)^0.5

ここでnは組みデータの数です。((x1,y1),(x2,y2),・・・(xn,yn))
最後に関数TDISTで確率に変換します。両側です。

p=TDIST(t値,n-2,2)

もっと簡単な方法があるかも知れませんが、私ならこう計算します。(アドインの分析ツールを使う以外は)

pは確率(probability)のpです。全く相関のない数字を組み合わせたときにそのr値が出る確率をあらわしています。

統計・確率には100%言い切れることはまずありません。というか100%言い切れるのなら統計・確率を使う必要は有りません。
例えばサイコロを5回振って全て同じ目が出る確率は0.08%です。そんな時、そのサイコロを不良品(イカサマ?)と結論つけるとわずかに間違っている可能性が残っています。ただ、それが5%以下ならp=0.05でそのサイコロは正常ではないと結論付けます。
それが危険率です。(この場...続きを読む

Qエクセルで計算すると2.43E-19などと表示される。Eとは何ですか?

よろしくお願いします。
エクセルの回帰分析をすると有意水準で2.43E-19などと表示されますが
Eとは何でしょうか?

また、回帰分析の数字の意味が良く分からないのですが、
皆さんは独学されましたか?それとも講座などをうけたのでしょうか?

回帰分析でR2(決定係数)しかみていないのですが
どうすれば回帰分析が分かるようになるのでしょうか?
本を読んだのですがいまいち難しくて分かりません。
教えてください。
よろしくお願いします。

Aベストアンサー

★回答
・最初に『回帰分析』をここで説明するのは少し大変なので『E』のみ説明します。
・回答者 No.1 ~ No.3 さんと同じく『指数表記』の『Exponent』ですよ。
・『指数』って分かりますか?
・10→1.0E+1(1.0×10の1乗)→×10倍
・100→1.0E+2(1.0×10の2乗)→×100倍
・1000→1.0E+3(1.0×10の3乗)→×1000倍
・0.1→1.0E-1(1.0×1/10の1乗)→×1/10倍→÷10
・0.01→1.0E-2(1.0×1/10の2乗)→×1/100倍→÷100
・0.001→1.0E-3(1.0×1/10の3乗)→×1/1000倍→÷1000
・になります。ようするに 10 を n 乗すると元の数字になるための指数表記のことですよ。
・よって、『2.43E-19』とは?
 2.43×1/(10の19乗)で、
 2.43×1/10000000000000000000となり、
 2.43×0.0000000000000000001だから、
 0.000000000000000000243という数値を意味します。

補足:
・E+数値は 10、100、1000 という大きい数を表します。
・E-数値は 0.1、0.01、0.001 という小さい数を表します。
・数学では『2.43×10』の次に、小さい数字で上に『19』と表示します。→http://ja.wikipedia.org/wiki/%E6%8C%87%E6%95%B0%E8%A1%A8%E8%A8%98
・最後に『回帰分析』とは何?下の『参考URL』をどうぞ。→『数学』カテゴリで質問してみては?

参考URL:http://ja.wikipedia.org/wiki/%E5%9B%9E%E5%B8%B0%E5%88%86%E6%9E%90

★回答
・最初に『回帰分析』をここで説明するのは少し大変なので『E』のみ説明します。
・回答者 No.1 ~ No.3 さんと同じく『指数表記』の『Exponent』ですよ。
・『指数』って分かりますか?
・10→1.0E+1(1.0×10の1乗)→×10倍
・100→1.0E+2(1.0×10の2乗)→×100倍
・1000→1.0E+3(1.0×10の3乗)→×1000倍
・0.1→1.0E-1(1.0×1/10の1乗)→×1/10倍→÷10
・0.01→1.0E-2(1.0×1/10の2乗)→×1/100倍→÷100
・0.001→1.0E-3(1.0×1/10の3乗)→×1/1000倍→÷1000
・になります。ようするに 10 を n 乗すると元の数字になるた...続きを読む

Qエクセル STDEVとSTDEVPの違い

エクセルの統計関数で標準偏差を求める時、STDEVとSTDEVPがあります。両者の違いが良くわかりません。
宜しかったら、恐縮ですが、以下の具体例で、『噛み砕いて』教えて下さい。
(例)
セルA1~A13に1~13の数字を入力、平均値=7、STDEVでは3.89444、STDEVPでは3.741657となります。
また、平均値7と各数字の差を取り、それを2乗し、総和を取る(182)、これをデータの個数13で割る(14)、この平方根を取ると3.741657となります。
では、STDEVとSTDEVPの違いは何なのでしょうか?統計のことは疎く、お手数ですが、サルにもわかるようご教授頂きたく、お願い致します。

Aベストアンサー

データが母集団そのものからとったか、標本データかで違います。また母集団そのものだったとしても(例えばクラス全員というような)、その背景にさらならる母集団(例えば学年全体)を想定して比較するような時もありますので、その場合は標本となります。
で標本データの時はSTDEVを使って、母集団の時はSTDEVPをつかうことになります。
公式の違いは分母がn-1(STDEV)かn(STDEVP)かの違いしかありません。まぁ感覚的に理解するなら、分母がn-1になるということはそれだけ結果が大きくなるわけで、つまりそれだけのりしろを多くもって推測に当たるというようなことになります。
AとBの違いがあるかないかという推測をする時、通常は標本同士の検証になるわけですので、偏差を余裕をもってわざとちょっと大きめに見るということで、それだけ確証の度合いを上げるというわけです。

Q相関分析の相関係数と重回帰分析の偏回帰係数の違いの説明

実は会社での説明に苦慮しています。
例えば、携帯電話の(1)メーカー/(2)デザイン/(3)機能の(4)購入意向、に対する影響度を見たい、という時に、重回帰分析における偏回帰係数で(1)(2)(3)の(4)に対する影響度を測ろうとしているのですが、「(4)と(1)(2)(3)それぞれの相関の高さで見るのと何が違うのか?」と聞かれてしまい、回答に窮しています。あまり統計に詳しくない人(私もそうですが)に対し、うまく説明する方法はないでしょうか。
どなたかお知恵をいただきたく、よろしくお願いします。

Aベストアンサー

相関分析と重回帰分析の違いは、説明変数を一つとするか複数にするかの違いです。
 目的とするもの(従属変数、数式ではy)に影響するものが、説明変数(数式ではx)です。

 プロ野球を例に取ると、野球はピッチャーだ、といわれます。そこで、過去数年間について、ピッチャーのチーム防御率だけをXとし(説明変数が単数)、その年の順位をyとして、分析するのが単回帰分析です。
 しかし、いくらピッチャーが良くても、打てなければ勝てません。そこで、バッターの打率も考える必要があります。すなわち、チームの防御率をX1、チームの打率をx2、すなわち、説明変数を複数(2つ以上)採り、順位yの推定を行うのが、重回帰分析です。
 このように、単回帰分析よりも、重回帰分析の方が、必ず相関係数が高くなります。すなわち、結果の推定の確実性が増すわけです。相関係数が、1.0になれば、説明変数の事柄だけで、従属変数の事柄が決定できます。すなわち、100%的中します。

 単回帰では、防御率、打率とも、相互の影響は考慮されていません。従って、防御率と打率のどちらが影響力が強いのかは、相関係数から予測はできるものの、決定できません。選手をとる場合、同じ年俸を払うのに、ピッチャーとバッターのどちらを補強したら効果的かは、判断が困難です。
 このとき、どちらの影響が強いかを推定できるのが、重回帰分析です。そのために利用するのが、偏回帰係数ですが、変数の単位に左右されるので、注意を要するところです。

 「単回帰では、(1)(2)(3)のどれが最も効果的かは、判断できません」が答えでしょうか。
 釈迦に説法の点は、ご容赦を。
  

相関分析と重回帰分析の違いは、説明変数を一つとするか複数にするかの違いです。
 目的とするもの(従属変数、数式ではy)に影響するものが、説明変数(数式ではx)です。

 プロ野球を例に取ると、野球はピッチャーだ、といわれます。そこで、過去数年間について、ピッチャーのチーム防御率だけをXとし(説明変数が単数)、その年の順位をyとして、分析するのが単回帰分析です。
 しかし、いくらピッチャーが良くても、打てなければ勝てません。そこで、バッターの打率も考える必要があります。すなわち、チー...続きを読む

Q統計学的に信頼できるサンプル数って?

統計の「と」の字も理解していない者ですが、
よく「統計学的に信頼できるサンプル数」っていいますよね。

あれって「この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる」という決まりがあるものなのでしょうか?
また、その標本数はどのように算定され、どのような評価基準をもって客観的に信頼できると判断できるのでしょうか?
たとえば、99人の専門家が信頼できると言い、1人がまだこの数では信頼できないと言った場合は信頼できるサンプル数と言えるのでしょうか?

わかりやすく教えていただけると幸いです。

Aベストアンサー

> この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる・・・
 調べたいどの集団でも、ある一定数以上なら信頼できるというような決まりはありません。
 何かサンプルを集め、それをなんかの傾向があるかどうかという仮説を検証するために統計学的検定を行って、仮設が否定されるかされないかを調べる中で、どの検定方法を使うかで、最低限必要なサンプル数というのはあります。また、集めたサンプルを何か基準とすべき別のサンプルと比べる検定して、基準のサンプルと統計上差を出すに必要なサンプル数は、比べる検定手法により計算できるものもあります。
 最低限必要なサンプル数ということでは、例えば、ある集団から、ある条件で抽出したサンプルと、条件付けをしないで抽出したサンプル(比べるための基準となるサンプル)を比較するときに、そのサンプルの分布が正規分布(正規分布解説:身長を5cmきざみでグループ分けし、低いグループから順に並べたときに、日本人男子の身長なら170cm前後のグループの人数が最も多く、それよりも高い人のグループと低い人のグループの人数は、170cmのグループから離れるほど人数が減ってくるような集団の分布様式)でない分布形態で、しかし分布の形は双方とも同じような場合「Wilcoxon符号順位検定」という検定手法で検定することができますが、この検定手法は、サンプルデータに同じ値を含まずに最低6つのサンプル数が必要になります。それ以下では、いくらデータに差があるように見えても検定で差を検出できません。
 また、統計上差を出すのに必要なサンプル数の例では、A国とB国のそれぞれの成人男子の身長サンプルがともに正規分布、または正規分布と仮定した場合に「t検定」という検定手法で検定することができますが、このときにはその分布を差がないのにあると間違える確率と、差があるのにないと間違える確率の許容値を自分で決めた上で、そのサンプルの分布の値のばらつき具合から、計算して求めることができます。ただし、その計算は、現実に集めたそれぞれのサンプル間で生じた平均値の差や分布のばらつき具合(分散値)、どのくらいの程度で判定を間違える可能性がどこまで許されるかなどの条件から、サンプル間で差があると認められるために必要なサンプル数ですから、まったく同じデータを集めた場合でない限り、計算上算出された(差を出すために)必要なサンプル数だけサンプルデータを集めれば、差があると判定されます(すなわち、サンプルを無制限に集めることができれば、だいたい差が出るという判定となる)。よって、集めるサンプルの種類により、計算上出された(差を出すために)必要なサンプル数が現実的に妥当なものか、そうでないのかを、最終的には人間が判断することになります。

 具体的に例示してみましょう。
 ある集団からランダムに集めたデータが15,12,18,12,22,13,21,12,17,15,19、もう一方のデータが22,21,25,24,24,18,18,26,21,27,25としましょう。一見すると後者のほうが値が大きく、前者と差があるように見えます。そこで、差を検定するために、t検定を行います。結果として計算上差があり、前者と後者は計算上差がないのにあると間違えて判断する可能性の許容値(有意確率)何%の確率で差があるといえます。常識的に考えても、これだけのサンプル数で差があると計算されたのだから、差があると判断しても差し支えないだろうと判断できます。
 ちなみにこの場合の差が出るための必要サンプル数は、有意確率5%、検出力0.8とした場合に5.7299、つまりそれぞれの集団で6つ以上サンプルを集めれば、差を出せるのです。一方、サンプルが、15,12,18,12,21,20,21,25,24,19の集団と、22,21125,24,24,15,12,18,12,22の集団ではどうでしょう。有意確率5%で差があるとはいえない結果になります。この場合に、このサンプルの分布様式で拾い出して差を出すために必要なサンプル数は551.33となり、552個もサンプルを抽出しないと差が出ないことになります。この計算上の必要サンプル数がこのくらい調査しないといけないものならば、必要サンプル数以上のサンプルを集めて調べなければなりませんし、これだけの数を集める必要がない、もしくは集めることが困難な場合は差があるとはいえないという判断をすることになるかと思います。

 一方、支持率調査や視聴率調査などの場合、比べるべき基準の対象がありません。その場合は、サンプル数が少ないレベルで予備調査を行い、さらにもう少しサンプル数を増やして予備調査を行いを何回か繰り返し、それぞれの調査でサンプルの分布形やその他検討するべき指数を計算し、これ以上集計をとってもデータのばらつきや変化が許容範囲(小数点何桁レベルの誤差)に納まるようなサンプル数を算出していると考えます。テレビ視聴率調査は関東では300件のサンプル数程度と聞いていますが、調査会社ではサンプルのとり方がなるべく関東在住の家庭構成と年齢層、性別などの割合が同じになるように、また、サンプルをとる地域の人口分布が同じ割合になるようにサンプル抽出条件を整えた上で、ランダムに抽出しているため、数千万人いる関東の本当の視聴率を割合反映して出しているそうです。これはすでに必要サンプル数の割り出し方がノウハウとして知られていますが、未知の調査項目では必要サンプル数を導き出すためには試行錯誤で適切と判断できる数をひたすら調査するしかないかと思います。

> どのような評価基準をもって客観的に信頼できると判断・・・
 例えば、工場で作られるネジの直径などは、まったくばらつきなくぴったり想定した直径のネジを作ることはきわめて困難です。多少の大きさのばらつきが生じてしまいます。1mm違っても規格外品となります。工場では企画外品をなるべく出さないように、統計を取って、ネジの直径のばらつき具合を調べ、製造工程をチェックして、不良品の出る確率を下げようとします。しかし、製品をすべて調べるわけにはいきません。そこで、調べるのに最低限必要なサンプル数を調査と計算を重ねてチェックしていきます。
 一方、農場で生産されたネギの直径は、1mmくらいの差ならほぼ同じロットとして扱われます。また、農産物は年や品種の違いにより生育に差が出やすく、そもそも規格はネジに比べて相当ばらつき具合の許容範囲が広くなっています。ネジに対してネギのような検査を行っていたのでは信頼性が損なわれます。
 そもそも、統計学的検定は客観的判断基準の一指針ではあっても絶対的な評価になりません。あくまでも最終的に判断するのは人間であって、それも、サンプルの質や検証する精度によって、必要サンプルは変わるのです。

 あと、お礼の欄にあった専門家:統計学者とありましたが、統計学者が指摘できるのはあくまでもそのサンプルに対して適切な検定を使って正しい計算を行ったかだけで、たとえ適切な検定手法で導き出された結果であっても、それが妥当か否か判断することは難しいと思います。そのサンプルが、何を示し、何を解き明かし、何に利用されるかで信頼度は変化するからです。
 ただ、経験則上指標的なものはあります。正規分布を示すサンプルなら、20~30のサンプル数があれば検定上差し支えない(それ以下でも問題ない場合もある)とか、正規分布でないサンプルは最低6~8のサンプル数が必要とか、厳密さを要求される調査であれば50くらいのサンプル数が必要であろうとかです。でも、あくまでも指標です。

> この統計を調べたいときはこれぐらいのサンプル数があれば信頼できる・・・
 調べたいどの集団でも、ある一定数以上なら信頼できるというような決まりはありません。
 何かサンプルを集め、それをなんかの傾向があるかどうかという仮説を検証するために統計学的検定を行って、仮設が否定されるかされないかを調べる中で、どの検定方法を使うかで、最低限必要なサンプル数というのはあります。また、集めたサンプルを何か基準とすべき別のサンプルと比べる検定して、基準のサンプルと統計上差を出すに必要な...続きを読む

Q数値データの正規化

ほぼ素人なのですが若い社員に教える必要があるので四苦八苦してます。どうぞ判りやすくお教えください。数値データを統計的に処理する場合標準偏差を求めますね。そして場合によっては、更に深く解析を進めるためにはそれを正規化し比較する作業がありますね。例えばこの正規化された数値は偏差値の計算にも使われます。偏差値=10u+50(uは正規化された数値) ここまでは間違ってないですね!
ここからが未だスッキリしない疑問です。正規化された数値はは平均値が0で、標準偏差・分散が1にあり-1~+1の範囲にある。と理解してましたが、どうも違う気がしてきてます。というのは正規化された数値が-1~+1の範囲の値しか取らないのであれば偏差値も40~60の値しか示さないことになります。「東大合格へは偏差値70あれば良い!」が説明できなくなります。多分、どこかで見た、あるいは教えていただいた「正規化された数値は-1~+1の範囲にある」が抜けきらないからスッキリしないと思うのですが、私は何処でどのように誤った理解をしたのかが気になって仕方ありません。「-1~+1の範囲」は誤りなので、割り切って頭の中を切り替えれば済むようですが・・・・・何方か私が誤った理解をするに至った経緯を推論していただけないでしょうか?気分をスッキリさせるだけの我が儘な質問ですがご親切な方、よろしくお願いします。

ほぼ素人なのですが若い社員に教える必要があるので四苦八苦してます。どうぞ判りやすくお教えください。数値データを統計的に処理する場合標準偏差を求めますね。そして場合によっては、更に深く解析を進めるためにはそれを正規化し比較する作業がありますね。例えばこの正規化された数値は偏差値の計算にも使われます。偏差値=10u+50(uは正規化された数値) ここまでは間違ってないですね!
ここからが未だスッキリしない疑問です。正規化された数値はは平均値が0で、標準偏差・分散が1にあり-1~...続きを読む

Aベストアンサー

> 私が誤った理解をするに至った経緯を推論していただけないでしょうか?

正規化というのにはただ一つのやり方しかないと思い込んだのが間違いのもとです。
正規化とはデータを使いやすい数値に変換するということであってそのやり方にはいくつかあります。
平均値を引いて標準偏差で割るのも一つの方法ですが,
最小値を引いて(最大値-最小値)で割ったり,
中央値を引いて(最大値-最小値)で割ることも考えられるでしょう。
最後のやり方をすれば「正規化された数値は-1~+1の範囲にある」と言えます。

QPythonの指数表記について

Pythonであるサイトにxhrした時に6.2E-7というように指数で値が取れます。
これを0.00000062として扱いたいのですが、どのようにすればよいでしょうか。

Aベストアンサー

float関数では、指数表現の文字列でも正しく数値に変換してくれます
a='6.2E-7'
b=float(a) #-> b=6.2e-07

既に数値になっているのでしたら、 6.2E-7は何もしなくても 0.00000062 として扱われます。
'0.00000062' という文字列にしたいのなら、 書式 % 値 で変換をしてください。
c= "%.10f" % b # c='0.0000006200'

Q対数変換する意味?

私は数学が苦手な文系大学生です。最近「地域分析」という本を読んでいるのですが、たびたび数式を「対数変換すると・・・」と言う風に話が進みます。対数変換をすることの意味がわからないので内容が理解できません。

まず、対数変換とは何なのか?対数変換を行なうと何がどのように変わるのでしょうか?
また、一般的に対数変換とはどのような目的で行なわれるのでしょうか?

ということを文系の学生にわかりやすく教えていただけないでしょうか。
対数変換の内容を理解していないため、質問が的を得ていないかもしれませんが、よろしくお願いします。(また、ここで説明できるような内容でなければ、その旨をお伝えください。)

Aベストアンサー

まず、ここで論じられている「対数」が「常用対数」を意味する
ことを前提として話を進めましょう。

対数に変換するということは、ある数値を
任意の底の値の指数値で表すことを意味します。
具体的に言うと(ここでは常用対数に限定することにしたので)、
ある数値が10(これが常用対数の底の値)の何乗であるのか
ということです。

たとえば、100という数値の常用対数を取ると、
100は10の2乗ですから、「2」となります。
同様に1000は「3」、10000は「4」です。

このように表現すると、正の数値で1以下の小数から
万や億などの非常に大きい値に散らばる数値サンプルを
整理したり表現するのに非常に便利です。

また、対数にしてグラフを作ると、上記のように非常に
大きな数(または0.00000・・・・のように非常に小さい数)
を限られた紙面上でプロットする事ができます。
もしそのプロットした結果が直線になった場合、
その直線の傾きでサンプルの近似式を導き出すこともできます。

具体的例を挙げると、身近なものではpH値。
これはある液体の単位量あたりどのくらい水素イオンが
含まれるかを対数表現したものです。
(厳密には、モル濃度で表した水素イオン濃度の逆数の常用対数)

まとめると、対数は小数から数万・億などの広範囲に散らばる
数値を整理するために使われる道具とお考えになられたら
良いと思います。

まず、ここで論じられている「対数」が「常用対数」を意味する
ことを前提として話を進めましょう。

対数に変換するということは、ある数値を
任意の底の値の指数値で表すことを意味します。
具体的に言うと(ここでは常用対数に限定することにしたので)、
ある数値が10(これが常用対数の底の値)の何乗であるのか
ということです。

たとえば、100という数値の常用対数を取ると、
100は10の2乗ですから、「2」となります。
同様に1000は「3」、10000は「4」です。

この...続きを読む

Q質的データと量的データの相関について

例えば性別のような質的なデータとテストの点数などの連続変数からなる量的データの間の相関をみるということは出来るのでしょうか??統計の本には相関の結果が書いてあるのですが、結果の読み取り方と計算の仕方がわかりません。基本的な質問ですみませんが、どなたか教えていただけませんか??
宜しくお願いいたします。

Aベストアンサー

で・き・ま・す!!!
こんなこと、なかなか学校ではカリキュラムの中でなんか教えてくれないですよね。私も決して専門家ではないんですが、我流で考えました。(まー結果的には我流でなくて正統流だと自負しているんですが)

さて、本題。
ご質問の文中「質的なデータ」とおっしゃってますが、要は、これも不連続ではあるんですが、数に見立ててしまえばいいんですよ。

<例1>
2者(男と女)での性質の違いを調べたいとき
→数はなんでもよいんですが、例えば、男を1、女を2とすればよいです。

<例2>
3者のものを比べたいとき(男、女、オ○マの3種類とか)
→次の3通りについて、全部相関を調べればよいです。
・A群を1、B・C群を2
   →これで相関が出ればAに属するか否かによって性質が違うということが言えます。
・B群を1、A・C群を2 → 以下同文
・C群を1、A・B群を2 →  〃

Excelとかだと、「相関係数」が容易に関数として求めることができるので、ちょー簡単に分析できますよ。
相関係数というものは-1から+1までの値をとります。絶対値が1に近いほど相関あり、0に近いほど相関なしです。相関係数の絶対値だけが問題なので、男を1、女を2としても、その逆にしてもよいわけです。

私、日ごろ、当たり前のように、応用してますよ。

<実用例>
パンを焼く機械が3台ある工場で、製造不良数と使用機械との間に相関がないかどうか調べる。
この結果、特定の機械でつくったパンだけに不良が多い傾向が認められれば、その機械に対して対策を打つ・あるいは使用禁止にして、残り2台のみ稼動とする など。

以下、補足です。
このような3者以上の時って、結果的に相関係数が最大になるように、それぞれに対する「数値」を微妙に調整していくと理想的ですね。(←試行錯誤的な繰り返しになると思いますが)
例えば、3つの中でナンバー1がどれでワースト1がどれと決まり、さらには、両者の中間のは、どちらかというと他の2つのどちらに近いか、といったことまで判ります。だけど、ここまで分析するのは複雑だし時間がかかるので、私は実用的にはやっていません。前記のように3種類を2種類ずつ3通りに分けるだけで十分と思います。

で・き・ま・す!!!
こんなこと、なかなか学校ではカリキュラムの中でなんか教えてくれないですよね。私も決して専門家ではないんですが、我流で考えました。(まー結果的には我流でなくて正統流だと自負しているんですが)

さて、本題。
ご質問の文中「質的なデータ」とおっしゃってますが、要は、これも不連続ではあるんですが、数に見立ててしまえばいいんですよ。

<例1>
2者(男と女)での性質の違いを調べたいとき
→数はなんでもよいんですが、例えば、男を1、女を2とすればよいです。

...続きを読む

Q加重平均と平均の違い

加重平均と平均の違いってなんですか?
値が同じになることが多いような気がするんですけど・・・
わかりやす~い例で教えてください。

Aベストアンサー

例えば,テストをやって,A組の平均点80点,B組70点,C組60点だったとします.
全体の平均は70点!・・・これが単純な平均ですね.
クラスごとの人数が全く同じなら問題ないし,
わずかに違う程度なら誤差も少ないです.

ところが,A組100人,B組50人,C組10人だったら?
これで「平均70点」と言われたら,A組の生徒は文句を言いますよね.
そこで,クラスごとに重みをつけ,
(80×100+70×50+60×10)÷(100+50+10)=75.6
とやって求めるのが「加重平均」です.


このQ&Aを見た人がよく見るQ&A

人気Q&Aランキング