
No.6ベストアンサー
- 回答日時:
#1です.
3σの外を切るような乱暴な方法とか,
はたまた,外れ値は自動的には除去できないとか,無責任な回答があったので,
修正しておきます.
私は,「ノイズを除去しても欠測値にはしない」という立場で書いてきましたが,
除去でよいのなら,次のような取り除き方があります.
まずベースラインを補正します.
これは例えば,小学生の身長のように,学年に比例する観測値なら
学年に比例する分を取り除き,一定信号に基準化する作業です.
次に全体のヒストグラムを作ります.
これが,フーリエ変換のような作業だと考えて下さい.
運よく二山になったら,山の隙間のどこかに閾値(しきい値)をとって,上側の山を切り落とします.
これはローパスフィルタのような作業です.
二山にならず,肩のこぶのようになっていたら,
ここから先はエクセルでは無理かと思いますが,
ガウス分布やガンマ分布をあてはめて,二山をフィットします.
次にそれらの関数を使って,閾値を決めます.
閾値は,第1種の過誤(α)と第2種の過誤(β)が同じになるように決め,
原信号の犠牲比率とノイズの混入比率を同等にします.
次に,閾値から上側を切り落とします.
このように,ノイズの除去には原信号の犠牲が伴い,
それに対する配慮が必要であることを分かって頂けたと思います.
3σの外を切るような乱暴な話ではありません.
No.5
- 回答日時:
#1です.
#4さん,文献の補足,ありがとうございました.
ノイズの定義と言う逆質問があったので回答を書いておきますね.
そもそも観測データを信号として,
信号をなぜ「復元」しなければならないかというと
信号が変形しているからです.この変形を広義の「ノイズ」といいます.
しかし,変形には,ひずみと狭義のノイズ(誤差)があって,
ひずみは,原信号に対して時間的空間的規則性があったり原信号との相関性がありますが,
ノイズは,原信号に対して時間的空間的規則性がなく,原信号との相関もありません.
ノイズとは,外来成分や確率的劣化というものが重畳(チョウジョウ)していることをいいます.
(これが,ノイズの定義です.アンプの性能などで,歪率とSN比が分けて書いてありますよね)
よって,復元には前者に対する「補正」と後者に対する「平滑化・フィルタリング」があり,
規則性があるひずみは補正で戻りますが,ノイズは規則性がないので原信号を犠牲にしながら
均(なら)したり取り除くことが必要になります.
補正対象となるものには,(順不同(記憶から))
・ディレイ(遅延)
・反射
・オーバーシュート
・リンギング(ハンチング)
・立ち上がり(時定数付き応答)
・クロストーク
・サグ
などがあります.
これらは,負帰還などにより,消すことができます.
(最近のTVは画像補正をいっぱいやっているから,実際より絵が遅れて出ています.)
平滑化・フィルタリングの対象は,
・インパルスノイズ
・ガウシアンノイズ
などがあります.
No.4
- 回答日時:
No.2
- 回答日時:
質問者の「ノイズ」の定義が不明確です
定義を明確にすれば、それに則った処理を行うだけです
(例えば3σの範囲外とか)
定義を明確にすることです(質問者は、情緒的定性的にしか捉えられず、定量的な定義が必要なことに気付けていないようです)
No.1
- 回答日時:
何をおやりになりたいのか良くわかりませんが,
参考までに書きます.
平滑化・フィルタリングにはさまざま種類があります.
2次元データの「メディアンフィルタ」くらいならエクセルでできるかもしれません.
メディアンフィルタについては,下記説明をご覧下さい.
最初に,フーリエ変換というのは,簡単な例を上げれば,
音楽(音の波形)を周波数分布のグラフに描き直すような操作です.
それをリアルタイムでやるのが,高速フーリエ変換(FFT)です.
例えば,せっかくの音楽に,ブーンというハム(電源ノイズ)が
混ざっていたとしましょう.
そのときは,音楽の音の波形から,そのブーンの周波数のところを
除けばいいのです.
もっと簡単には,ハイパスフィルタなんてのもあります.
おやりになりたいことが,通常の信号に対して,時々大きいノイズが
パツン,パツンと入っていて,それを除きたい,というのなら,
パツン,パツンはインパルスノイズといいまして,
それに有効なのがメディアンフィルタです.
中学で平均,モード(最頻値),メディアン(中央値)というのを
学びましたが,その値を使います.
画像であれば,あるピクセルの値とその隣接するピクセルの値を使って
メディアンをとり,中央のピクセルの値にするという方法です.
だんだん難しくなりますが,簡単に説明します.
ノイズがインパルスではなく,レンズのボケのような場合,
これをガウシアンノイズといいますが,ガウシアンフィルタというのをつかいます.
原理は移動平均のようなやりかたです.
さらに高度になれば,カルマンフィルタというものや
最新の手法では粒子フィルタという技法もありますが,
説明は樋口知之先生などの専門書に譲ります.
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
このQ&Aを見た人はこんなQ&Aも見ています
-
プロが教える店舗&オフィスのセキュリティ対策術
中・小規模の店舗やオフィスのセキュリティセキュリティ対策について、プロにどう対策すべきか 何を注意すべきかを教えていただきました!
-
EXCELにてローパスフィルタを作成する
その他(教育・科学・学問)
-
手軽に曲線の平滑化をしたい
Excel(エクセル)
-
エクセルでハイパスフィルタをかけたいのですがどのようにすればよいですか?
工学
-
4
Excelで4096点以上のFFTの方法
その他(Microsoft Office)
-
5
窓関数(方形窓)について
その他(自然科学)
-
6
エクセルを使用してデジタルフィルタのハイパスフィルタ・ローパスフィルタの掛け方を教えてください。
その他(ソフトウェア)
-
7
一列に並んでいる大量のデータを10個ずつ平均(A1~A2000まである
Excel(エクセル)
-
8
ノイズの入った波形をきれいな波形にする方法
C言語・C++・C#
-
9
原波形のノイズ除去方法(FFT、逆FFT)
その他(コンピューター・テクノロジー)
-
10
エクセルで極大値を拾うには
Excel(エクセル)
-
11
エクセルで移動平均のデータを作成する方法を教えてください。
Excel(エクセル)
-
12
Excelの近似曲線で外れ値(異常値)を除外したい
Excel(エクセル)
-
13
二つのデータの波形が似てるかどうかの判定方法
数学
-
14
Excelで変曲点を求める関数を教えてください
その他(ソフトウェア)
-
15
EXCELでSavitzky-Golay法
Excel(エクセル)
-
16
高速フーリエ変換でデータ数が2のべき乗でない時
その他(自然科学)
-
17
エクセルの散布図のX軸に文字を表示したいのですが、どうしたらよいのでしょうか?
Excel(エクセル)
-
18
ExcelでGaussian fittingをしたいのですが、どうすれば良いですか?
Visual Basic(VBA)
-
19
エクセルで、指定の値よりも大きい数字を最初に越えたときの列番号を返すには?
Excel(エクセル)
-
20
python エラー
その他(プログラミング・Web制作)
このQ&Aを見た人がよく見るQ&A
人気Q&Aランキング
-
4
クロマトグラムからS/N比を見る?
-
5
センサアンプについて
-
6
ホワイトノイズはガウス分布?
-
7
パワースペクトルからピーク周...
-
8
心電計のフィルタとはなんです...
-
9
I2Cのノイズについて
-
10
電源コードはループ状に巻くと...
-
11
フェライトコアの仕組み
-
12
半導体(IC)のダイパッド
-
13
ノイズ密度の計算の仕方
-
14
3相モータの動力線からのノイ...
-
15
導線のねじるのって何と呼ぶの...
-
16
PICのSPI通信(ハード)
-
17
クロストークとは??
-
18
マウスを動かすとPCからノイ...
-
19
寄生容量を減らすための方法
-
20
plcにセンサーのアナログ入力信...
おすすめ情報
公式facebook
公式twitter