モデルのパラメータの定義がいまいちわかりません。

最近機械学習、統計学の勉強をしているのですが、パラメータという言葉をよく見ます。このパラメータの定義に関していまいちわかっていないので教えてください。

調べてみると、パラメータの定義は
「母集団を要約する値、母集団の確率分布が決まっている場合、そのパラメータがわかると分布の形が一意に決定される。パラメータは固定された唯一の値であり、確率変数ではない。」
とありました。

例えばマンションの家賃であれば、「駅からの距離」、「階数」、「部屋の広さ」などと多くの説明変数を用いて回帰できると思います。この場合、各説明変数に対する係数は唯一の定数という風に解釈できます。(異なるマンションの家賃を推定しようとしても、各説明変数に対する係数は共通であるため)
しかし、正規分布について考えたとき、パラメータはμとσの2つで説明変数はxだと思います。
パラメータμ、σを決定すると、正規分布は一意に決まることは理解できますが、μ、σの値自体は様々な値がとれるので唯一の定数ではないように思ってしまいます。

説明が難しく言っている意味が分からないかもしれませんが、要するにパラメータの定義を初学者にもわかりやすく教えていただきたいです。

また、
y = β0 + β1x1 + β2x2 + β3(x2^2)
といった簡単な式であれば、特徴量はx1, x2, x2^2でパラメータはβ0~β3とわかりますが、
https://qiita.com/shinjikato/items/9c336d2cf25aa …
↑のページに記載されているような、説明変数xを様々な形で変換している複雑な式の場合、パラメータはどのようにして判断すればよいでしょうか。

質問者からの補足コメント

• ご回答ありがとうございます。
  
  パラメータには種類があること、パラメータという言い方が同じなだけで意味合いが異なる場合があること把握いたしました。
  リンク先のサイトでは遺伝的プログラミングで複雑な関数を生成していますが、情報量基準AICを求めようとするとパラメータの数が必要になってくると思います。
  例えばこのリンク先の複雑な関数のAICを求めようとすると、AICを求めるうえでのモデルパラメータはどれを指して、パラメータ数はどのようにカウントすればよいのでしょうか。
  回帰式が単純な多項式などであればパラメータ数はカウントできそうですが、このような複雑な式になった場合の考え方を教えていただきたいです。

  No.1の回答に寄せられた補足コメントです。 補足日時：2022/10/11 18:55

No.3 ベストアンサー 回答者： kamiyasiro 回答日時： 2022/10/12 01:44

どんな複雑な式であっても、定式化するために解いた定数の数（リンク先のケースではｘの係数の数）がモデルパラメータ数です。

蛇足ですが、普通は、あんなオーバーフィッティングのような式は作りません。
観測値をピタッと通る曲線は作れますが、観測値が誤差を持っていたら、その後の予測は怪しくなるからです。

No.2 回答者： ありものがたり 回答日時： 2022/10/11 20:03

＞ パラメータμ、σを決定すると、正規分布は一意に決まることは理解できますが、

＞ μ、σの値自体は様々な値がとれるので唯一の定数ではないように思ってしまいます。

パラメータμ、σが唯一の定数だというのは、
それを決定すると正規分布は一意に決まるというのと同じこと。
μ、σが異なる値をとると、そのパラメータを持つ正規分布は
別の正規分布になる。
パラメータμ、σが唯一というのは、
ひとつの正規分布に対してはただひとつの値だということだ。
ひとつの正規分布からは複数のインスタンスをとることができるが、
異なるインスタンス(説明変数の異なる値)に対して
それが同じ分布からとったものであれば
パラメータμ、σの値は共通だということ。

No.1 回答者： kamiyasiro 回答日時： 2022/10/11 17:06

パラメータには、

・モデルパラメータ
・ハイパーパラメータ
があります。
機械学習では、ハイパーパラメータが登場するので、混乱します。

モデルパラメータは、分析モデルを定義するパラメータで、正規分布ならガウスの誤差関数の定数であるμとσ、回帰モデルなら、β0～βpです。
モデルを定式化するために解きたい値です。

ハイパーパラメータ（超パラメータ）とは、モデルパラメータを決めているパラメータです。
これは、過学習にならないように、調整弁として働くパラメータです。
クロスバリデーションを用いて値を決めます。

ハイパーパラメータは、例えば正則化回帰lassoでは、罰則値λ。この値により回帰係数は変わります。
サポートベクターマシンであれば、ソフトマージンを与えるσ。この値により識別境界は変わります。

なお、リンクして頂いたHPは遺伝的アルゴリズムなので、ここで使われるパラメータは意味がちょっと違います。遺伝的アルゴリズムはパラメータは、
・人口
・突然変異率
など、たくさんのパラメータを設定しますが、これは探索点ｘを動かすための「条件値」であり、ｘを代入して得られた結果ｙ（これは定式化したモデルを使用します）に基づき、より良い方向に探索を進める働きをしています。