https://oshiete.goo.ne.jp/qa/9622886.html
↑のページで質問していた内容について
例えば
x1=2,x2=3,x3=1, w1=0.5,w2=0.5,w3=1, b=2 だとすると、z=5.5
重みとバイアスの値を少し変えて、
w1=0.3,w2=0.7,w3=1.1, b=2.2 とするとz=6
ということは、Δoutputの値は6-5.5=0.5になればいいということでしょうか?
また、その計算過程の部分で、dσ/dw1,dσ/dw2dσ/dw3,dσ/dbの値の出し方について教えて頂けないでしょうか。お願いいたします。
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.2
- 回答日時:
聞きかじり程度の知識ですが
z = (x1 * w1) + (x2 * w2) + (x3 * w3) + b
σ = 1 / (1+exp(-z))
Δσ = ∂σ/∂w1*Δw1 + ∂σ/∂w2*Δw2 + ∂σ/∂w3*Δw3 + ∂σ/∂b*Δb
∂σ/∂z
= -1 * (1+exp(-z))^-2 * exp(-z) * -1
= exp(-z) / (1+exp(-z))^2
= (1-1+exp(-z)) / (1+exp(-z))^2
= (1+exp(-z)) / (1+exp(-z))^2 - 1 / (1+exp(-z))^2
= 1 / (1+exp(-z)) - 1 / (1+exp(-z)) * 1 / (1+exp(-z))
= σ - σ * σ
= (1-σ)σ
∂z/∂w1 = x1
∂z/∂w2 = x2
∂z/∂w3 = x3
∂z/∂b = 1
∂σ/∂w1 = ∂σ/∂z * ∂z/∂w1 = (1-σ)σ * x1
∂σ/∂w2 = ∂σ/∂z * ∂z/∂w2 = (1-σ)σ * x2
∂σ/∂w3 = ∂σ/∂z * ∂z/∂w3 = (1-σ)σ * x3
∂σ/∂b = ∂σ/∂z * ∂z/∂b = (1-σ)σ
x1=2, x2=3, x3=1, w1=0.5, w2=0.5, w3=1, b=2 のとき
z = 5.5
σ = 0.99592986228...
∂σ/∂w1 = 0.00810714338... > 0
∂σ/∂w2 = 0.01216071508... > 0
∂σ/∂w3 = 0.00405357169... > 0
∂σ/∂b = 0.00405357169... > 0
ここからわかるのは、
ニューロンの出力をプラス方向に変化させたいなら、各パラメーターはプラス方向に調整する。
ニューロンの出力をマイナス方向に変化させたいなら、各パラメーターはマイナス方向に調整する。
特に w2 を調整すると効果が高い。
No.1
- 回答日時:
> Δoutputの値は6-5.5=0.5になればいいということでしょうか?
outputはシグモイド関数を通した値なので
Δoutputは、σ(6) - σ(5.5)です。
また、この部分の説明は、重みwの微小変化で、出力がほぼ線形に変化するということを
言いたいだけだと思うので、「~になればいい」ではなく、
wが微小変化した結果として「~になる」ということです。
> その計算過程の部分で、dσ/dw1,dσ/dw2dσ/dw3,dσ/dbの値の出し方について
z = (x1 * w1) + (x2 * w2) + (x3 * w3) + b
σ = 1 / (1+exp(-z))
output = σ(z)
∂output/∂w1 = ∂σ(z)/∂w1 = ∂σ(z)/∂z * ∂z/∂w1
= (1-σ(z))σ(z) * x1
前述のように、wの微小変化により、outputがほぼ線形に変化することを言いたいだけなので、
実際に数値をいれて云々はこの段階では、あまり意味がないのではないでしょうか。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
PysimpleGUIでデータベースを作る
-
マクロ 特定のセル値のみクリ...
-
midiのデルタタイムについて
-
VB2008 iniファイルの指定セク...
-
テキストボックスのvalueとtext...
-
Excel vba ユーザーフォームテ...
-
VisualStudio2005で中断した際...
-
プロジェクト間の値の渡し方
-
OracleでRecordCountが正しくな...
-
シーケンスについて質問です。 ...
-
0から12までの値nを入力し、n...
-
マクロで奇数と偶数の値を2か所...
-
IP Address Controlから値を取...
-
画面のフィールドの値を共通処...
-
最大・最小を求めるプログラム
-
vbaの繰り返しで求める最大値に...
-
ユーザーフォームのテキストボ...
-
VBプログラム エラーが出ます
-
この場合のフォートランのフォ...
-
if ( fp == NULL ){ を if ( f...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
テキストボックスのvalueとtext...
-
VB.NETでコンボボックスの1行目...
-
値を返さないコード パス
-
Excel VBA 複数選択したリスト...
-
PL/SQLでのTO_DATEの時間取得に...
-
マクロ 特定のセル値のみクリ...
-
VB初心者。小数点以下の表示で...
-
Excel VBAのリストボックスの値...
-
変数名の取得
-
VB.NETでアクティブなformを知...
-
マクロで奇数と偶数の値を2か所...
-
Powershellのparamについて
-
ISDBNULLをスルーしてDBNULLが...
-
DataTableに対するLINQについて
-
Excel vba ユーザーフォームテ...
-
C#の質問です
-
ユーザーフォームのテキストボ...
-
VBA ドロップダウンリストを残...
-
シーケンサで最小値を保持する
-
[VBA]選択範囲の下から上に処理...
おすすめ情報