主成分分析について

主成分分析についてです。主成分を導出する際に、分散を制約条件下（ノルム1など）で最大化するためにラグランジュの未定乗数法が用いられますが、本当にラグランジュの未定乗数法は使用できるのでしょうか？
具体的にはラグランジュの未定乗数法は最大値を求めたい函数fが連続で、定義域がコンパクトみたいな条件があった気がするのですが、それは満たされているのでしょうか？証明と共に教えて頂きたいです。

No.1 ベストアンサー 回答者： kamiyasiro 回答日時： 2022/06/15 09:47

完璧に理解している訳ではないので、お許しを頂きたいのですが、

(1)例えば第１主成分得点を、z1＝a1u1＋a2u2（uは基準化した標本座標）というように線形式を「仮定して」いるので、a1,a2により偏微分可能。

(2)分散＝a1^2＋a2^2＋2Ra1a2（Rはx1,x2の相関係数）を導出し、この分散の最大化だと、a1,a2の値が大きければ、分散はいくらでも大きくできるので、そこでコンパクトな空間にするために、a1^2＋a2^2＝１とか（L2ノルム、値はいくらでも良いが有限）という「制限」を設けている。

のだと思います。

実際に、ラグランジェの未定係数法で解法を示した本がありましたので、参考までに挙げておきます。ただし、2次元の場合です。

永田靖・棟近雅彦（2001）「多変量解析法入門」，サイエンス社，pp135-139

さすがに、p次元のケースはスペクトル分解による解法が示されていました。