一般的な行列の逆行列に関する質問

逆行列についてお尋ねします。
高校数学の範囲で穏当な行列の場合(ほぼ正方行列で正則?)、逆行列は連立1次方程式の求解そのものであり、素直そのものですが、実際問題に当てはめるとそうはならない行列になってしまうと思います。その場合、その行列の性質を分類したりして個別の対応策が出てきます。一般化逆行列とか特異値分解とかですし、慣用表現としてフルランク、ランク落ちとかです。
フルランク、ランク落ちという用語はどの程度一般化しているのかわかりませんが、本に書いてあったりなかったりです。教科書による共通性がなくなる感じがしているので、
実際にどのように分類されるのでしょうか。説明の仕方がいろいろあって森の中で道にまぎれたような印象になります。同じことを別の用語で言っているのでしょうか。全体の地図のようなものがあるのでしょうか。地図が頭に入ると分類して引き出しにしまえるのですが、そういう感じがしないのですが。全般的な方向性の解説本とかサイトなどあったら教えて頂きたいのですが。
この辺の事情がすでに分かっている人は既にクリアなので私の質問の意味があまりわからないのではないかと思いますが、私は見通しが悪いなあと思っているのですが。決定論では収まらず統計処理まで出てくる場合があるのでますます見通しが悪くなってしまいます。目的依存なものだとしたら、解説が個別になっているくのも仕方がないのかもと思いますが。ぼんやりした包括的な質問になっていますがよろしくお願いします。

No.3 回答者： stomachman 回答日時： 2022/04/22 11:03

> 実際問題に当てはめる

とおっしゃる通り、このテーマは純粋な数学的興味の対象とはちょっと違う。一般化逆行列が切実に必要になるのは、連立一次方程式に解がない、あるいは解が無限個ある、という状況す。「不能」だの「不定」だので済む算数のテストのようなわけにはいかないときに、さてどうしますか、という話ですね。
　「不能」なら「どういう齟齬なら妥協できるか」ということが肝要であり、「不定」なら「解の中からどんなのを好んで選ぶか」ですが、そればかりか「齟齬が生じてもいいから、好き嫌いの方が重要なの！」ってこともある。それらの妥協・選好は、もちろん解の用途によって決まる条件であって、一律ではない。さらに、それらは大抵、連立一次方程式の中に完全な形で組み込める訳ではない。
　けれども、「用途によって決まる条件」の方がはっきりとは突き詰められない場合もしばしばあり、すると、とりあえずソレっぽいやり方の中から使いやすいのを流用しちゃえ、ってことが行われる。ソレっぽいやり方というのは、解がないなら「残差のあるノルムが最小になるという意味での近似解」を求める問題に置き換える。解がいっぱいあるなら「未知数ベクトルに関するある評価関数が最小になるという意味での最も好ましい解」を求める問題に置き換える。その中でも、「残差のあるノルム」を残差の二乗ノルムとすれば「最小二乗解」であり、「未知数ベクトルに関するある評価関数」を未知数の二乗ノルムとすれば「最小(二乗)ノルム解」、そして両者の混合である「最小二乗・最小(二乗)ノルム解」というものなら、全部行列の演算だけでスッキリ簡単に表せるんで、(No.1でご紹介の教科書のように）性質がよく調べられているし、数値計算のライブラリも整備されていて、流用するのにうってつけである。と、そういうような事情ですから、一般化逆行列という枠組みの中で、それを理論的な意味で分類したり

> 全般的な方向性

を整理したりというのは少々無理である。

　じゃあ実際はどうアプローチするかというと、「一般化逆行列」という縛りをいったん取り除く。まず線形であるという条件を捨て、一方で「最小解であることの厳密な保証」を求めることも諦めてしまう。すなわち、限定された種類の非線形関数を方程式に導入し、方程式の数をやたらに増やし、しかし未知数の個数はそんなもんをはるかにしのぐ数に増やす。齟齬や選好の個別の条件設定を天下りに与えることもやめてしまって、「最も好ましい解」とか言っても大抵は明確な尺度を持たないんだから実用の意味での「性能」を統計的に評価すればいいじゃん、と扱う。で、テキトーな初期値から出発して「最小二乗・最小(絶対値)ノルム解」を近似解をちょっとずつ改良して探索しらどうなるのさ、と一般化して考えるのが「深層学習」の数学（情報幾何学など）における問題設定です。
　成果としてneural tangent theoryのような「こんな乱暴なものが意外なほどうまく行っちゃう理由の（ある程度の）説明」が発見された。それによると、ランダムに初期値を選ぶと、大抵は、初期値のごく近くに「実用の意味で適切な解」が存在する。そういうことなら、方程式の非線形性は（それが十分滑らかなら）線形近似（接平面による近似）で代用できるわけで、ですから、この理論において、一般化逆行列が再び姿を表す。

この回答へのお礼

回答ありがとうございます。"意外なほどうまく行っちゃう"ということが演繹されるわけではなく、やってみたらまずまずよかった、すなわち帰納されたということでしょうか。うまくいかない場合も少ないながらもある、ということなのかなと思います。このような考え方で操縦する飛行機には乗りたくないとは言えそうですが。すみません、時間があいてしまいました。

お礼日時：2022/06/10 17:09

No.2 回答者： tknakamuri 回答日時： 2022/04/21 21:35

物理だとノイズで厳密には解無しの

連立方程式が出来てしまうのは日常茶飯事。
それらしい解を探るのに
ムーアペンローズとか使うね。

この回答へのお礼

すみません、たいへん時間が空きました。
決定論的に進むことができないので、できるだけ権威的なものを持ち出すと反論を封じることができるということになりますかね。ムーアペンローズということで、昨年のノーベル賞ですかね。

お礼日時：2022/06/10 17:05

No.1 回答者： ありものがたり 回答日時： 2022/04/21 20:19

お勧めは、これ↓かなあ。

https://www.amazon.co.jp/UP%E5%BF%9C%E7%94%A8%E6 …
n×m 型で rank r の行列 A は、
n×r 型で rank r の行列 B と
ｒ×ｒ 型で rank r の行列 C と
ｒ×m 型で rank r の行列 D を用いて
A = BCD と書くことができる。
要は、正則な正方行列 C が全てを物語るということ。

この回答へのお礼

回答ありがとうございます。高校ではなく大学線形代数のようなものでは行列の対角化などでも形式的にこのようなものが出てきます。行列の変換ですね。Ｃがすべてを物語る、という理解は常に正しいのでしょうか。正方行列であり、それを挟む２つの行列には積極的な意味がないというように感じますが。

お礼日時：2022/06/10 17:14