画像のHessian行列の固有値の意味について

Question

こんにちは。

私は今、画像工学という授業を受けているのですが、先日次のようなことを習ったのですが、その本質が理解できませんでした。
それは、画像の中から、コーナーを探すのには以下のような輝度値のHessian行列を使うのですが
H = 
| Ixx  Ixy |
| Iyx  Iyy |
（ここで、Ixxなどはそれぞれの方向の輝度値の２次微分です。）
授業では、この行列Hの固有値を計算し、求まった２つの固有値λ１、λ２がどちらも大きいとき、その点はコーナーであるとされていました。

固有値というものの本質がわかっていないためなのかもしれませんが、どうして２つの固有値がどちらも大きいときコーナーだといえるのかが分かりません。Tomasiさんの論文なども読んでみたのですが、解説はされておりませんでした。

どなたか理解しておられる方がいらっしゃれば、申し訳ありませんが、ご教授お願いします。

stomachman · Accepted Answer

ANo.1のコメントについてです。

> この方法についても、同じような理解でよいのでしょうか？

(1) 画像に対してある旨い回転をしたとき、検出したいパターンが「特徴量の行列の非対角要素が０で対角要素が大きい」という状態と対応するような、特徴量の行列の作り方をしている。しかも、
(2) 画像の回転が、特徴量の行列を回転することと対応している（つまり、画像を回転してから特徴量の行列を計算するのと、特徴量の行列を計算してからそれを回転するのとが（ほぼ）等価である）、

ならば、どんな特徴量であろうとも、固有値の計算を利用して「画像が最もパターンに近くなるという意味で（ほぼ）最適な回転をしたときの、対角要素」が計算できることは自明かと思います。

　きちんと証明することも難しくはないと思いますが（ただし、四角いピクセルでできた離散画像だと思うと大変そう）、ま、パターン認識の話でそこまでやらねばならんということもないでしょう。むしろ、直感的イメージを掴む方が大事だろうな。

ddtddtddt · Answer

#3です。すいません。間違えました。

　ついこの間まで、f：Ｒ^2→Ｒ^2の平均曲率（の絶対値）の最小化を考えていたので、そっちとかぶってしまいました。輝度は、Ｉ：Ｒ^2→Ｒなので、ヤコビ行列は、^Tを転置記号として、

　　dＩ＝|Ｉx，Ｉy||dx，dy|^T

であり、勾配の二乗は、

　　dＩ^2＝|dx，dy||Ｉx，Ｉy|^T|Ｉx，Ｉy||dx，dy|^T

で、
　　|Ｉx，Ｉy|^T|Ｉx，Ｉy|
　＝|(Ix)^2 (IxIy) |
　　|(IyIx) (Iy)^2 |

ですよね。混乱を招く事を言い、申し訳ありません。

ddtddtddt · Answer

＞なるほど旨いやり方だなあ。（#1さんより）
　同感です。
　私は現在プログラマーで、画像をピクセル単位で扱う事が、ときどきあります。また過去、構造関係の解析技術者をやっていた時期もあり、FEMやBEMをカスタマイズする時に、構造物の輪郭線の角を自動で判定させる方法はないものかと、考えた事があります（やりっぱなしで終わりましたが）。その経験から、もうちょっと説明したくなりました（← 大きなお世話）。

　一般に二次微分は、外形の曲率にほぼ比例します。角で曲率は無限大です。従って#1さんの仰るように、「最もコーナーっぽく見えるように座標を回転させて」みた時に、固有値が無限大であれば、それは厳密にコーナーです。しかし画像はピクセル単位の離散データであるため、二次微分は差分で行うはずです。よって、差分データに基づけば、「固有値が飛び抜けて大きくなる差分中心点」は、コーナーの可能性大、となります。

＞Tomasiさんの論文
　基本発想は同じ、というイメージが沸きました。先の二次微分を差分に代行させる場合、最低３点必要です。これが「３×３程度のピクセルウィンドウ」の意味と思われます。そして、ヤコビ行列、

| I1x I2x |
| I1y I2y |

は各点での勾配を表し、勾配の絶対値の二乗は、

| (Ix)^2 (IxIy) |
| (IyIx) (Iy)^2 |

で表せます。二次微分を差分で代行させる場合、この絶対値二乗の値が大きければ、傾向として二次微分も大きくなるので、「３×３程度のピクセルウィンドウ」の平均評価として、

| Σ(Ix)^2 Σ(IxIy) |
| Σ(IyIx) Σ(Iy)^2 |

を用いる、という事だと思いました。Σは、ウィンドウ内での総和です。これも「旨いやり方だなあ」と思いました。

stomachman · Answer

「コーナー」が直角に近いコーナーであって、しかもある特定の方向を向いている場合、その頂点においてHessian（要するに２階微分）が特徴的なパターン（すなわち、対角要素が大きく、非対角要素がほぼ0）を示す。このことから、その点がコーナーの頂点であるかどうかが判定できる、としましょう。
　さて、固有値ってのは、簡単に言えば「ある行列Aが与えられた時、座標系をうまく回転して行列の非対角要素を０にする」という操作をしたときに得られる対角行列Bの、対角要素のことです。
　なので、Hessianの固有値を計算することは、「Hessian Hを回転して得られる行列Gであって、旨い回転によってGの非対角要素が0になるようにした時の行列Gについて、その対角要素」を計算したことになる。ところで、その同じ回転を画像に適用した場合、回転した画像のHessianはGになる。
　つまり、「コーナーがどっちを向いていても、上記の判定法にとって一番コーナーらしく見えるように図形を回転して眺めたときに、上記の判定法でコーナーだと判定されるかどうか」という判定をしていることと等価になるわけです。
　そして、画像を回転するのは大変手間が掛かるけれど、Hessian行列Hを回転したものGを計算するなら簡単です。
　なるほど旨いやり方だなあ。

画像のHessian行列の固有値の意味について

ANo.1のコメントについてです。

#3です。

＞なるほど旨いやり方だなあ。

この回答への補足

「コーナー」が直角に近いコーナーであって、しかもある特定の方向を向いている場合、その頂点においてHessian（要するに２階微分）が特徴的なパターン（すなわち、対角要素が大きく、非対角要素がほぼ0）を示す。

この回答への補足

似たような質問が見つかりました

このQ&Aを見た人はこんなQ&Aも見ています

関連するカテゴリからQ&Aを探す

このQ&Aを見た人がよく見るQ&A

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング

　#3です。

　「コーナー」が直角に近いコーナーであって、しかもある特定の方向を向いている場合、その頂点においてHessian（要するに２階微分）が特徴的なパターン（すなわち、対角要素が大きく、非対角要素がほぼ0）を示す。