
No.6ベストアンサー
- 回答日時:
#1です.
3σの外を切るような乱暴な方法とか,
はたまた,外れ値は自動的には除去できないとか,無責任な回答があったので,
修正しておきます.
私は,「ノイズを除去しても欠測値にはしない」という立場で書いてきましたが,
除去でよいのなら,次のような取り除き方があります.
まずベースラインを補正します.
これは例えば,小学生の身長のように,学年に比例する観測値なら
学年に比例する分を取り除き,一定信号に基準化する作業です.
次に全体のヒストグラムを作ります.
これが,フーリエ変換のような作業だと考えて下さい.
運よく二山になったら,山の隙間のどこかに閾値(しきい値)をとって,上側の山を切り落とします.
これはローパスフィルタのような作業です.
二山にならず,肩のこぶのようになっていたら,
ここから先はエクセルでは無理かと思いますが,
ガウス分布やガンマ分布をあてはめて,二山をフィットします.
次にそれらの関数を使って,閾値を決めます.
閾値は,第1種の過誤(α)と第2種の過誤(β)が同じになるように決め,
原信号の犠牲比率とノイズの混入比率を同等にします.
次に,閾値から上側を切り落とします.
このように,ノイズの除去には原信号の犠牲が伴い,
それに対する配慮が必要であることを分かって頂けたと思います.
3σの外を切るような乱暴な話ではありません.
No.5
- 回答日時:
#1です.
#4さん,文献の補足,ありがとうございました.
ノイズの定義と言う逆質問があったので回答を書いておきますね.
そもそも観測データを信号として,
信号をなぜ「復元」しなければならないかというと
信号が変形しているからです.この変形を広義の「ノイズ」といいます.
しかし,変形には,ひずみと狭義のノイズ(誤差)があって,
ひずみは,原信号に対して時間的空間的規則性があったり原信号との相関性がありますが,
ノイズは,原信号に対して時間的空間的規則性がなく,原信号との相関もありません.
ノイズとは,外来成分や確率的劣化というものが重畳(チョウジョウ)していることをいいます.
(これが,ノイズの定義です.アンプの性能などで,歪率とSN比が分けて書いてありますよね)
よって,復元には前者に対する「補正」と後者に対する「平滑化・フィルタリング」があり,
規則性があるひずみは補正で戻りますが,ノイズは規則性がないので原信号を犠牲にしながら
均(なら)したり取り除くことが必要になります.
補正対象となるものには,(順不同(記憶から))
・ディレイ(遅延)
・反射
・オーバーシュート
・リンギング(ハンチング)
・立ち上がり(時定数付き応答)
・クロストーク
・サグ
などがあります.
これらは,負帰還などにより,消すことができます.
(最近のTVは画像補正をいっぱいやっているから,実際より絵が遅れて出ています.)
平滑化・フィルタリングの対象は,
・インパルスノイズ
・ガウシアンノイズ
などがあります.
No.4
- 回答日時:
No.2
- 回答日時:
質問者の「ノイズ」の定義が不明確です
定義を明確にすれば、それに則った処理を行うだけです
(例えば3σの範囲外とか)
定義を明確にすることです(質問者は、情緒的定性的にしか捉えられず、定量的な定義が必要なことに気付けていないようです)
No.1
- 回答日時:
何をおやりになりたいのか良くわかりませんが,
参考までに書きます.
平滑化・フィルタリングにはさまざま種類があります.
2次元データの「メディアンフィルタ」くらいならエクセルでできるかもしれません.
メディアンフィルタについては,下記説明をご覧下さい.
最初に,フーリエ変換というのは,簡単な例を上げれば,
音楽(音の波形)を周波数分布のグラフに描き直すような操作です.
それをリアルタイムでやるのが,高速フーリエ変換(FFT)です.
例えば,せっかくの音楽に,ブーンというハム(電源ノイズ)が
混ざっていたとしましょう.
そのときは,音楽の音の波形から,そのブーンの周波数のところを
除けばいいのです.
もっと簡単には,ハイパスフィルタなんてのもあります.
おやりになりたいことが,通常の信号に対して,時々大きいノイズが
パツン,パツンと入っていて,それを除きたい,というのなら,
パツン,パツンはインパルスノイズといいまして,
それに有効なのがメディアンフィルタです.
中学で平均,モード(最頻値),メディアン(中央値)というのを
学びましたが,その値を使います.
画像であれば,あるピクセルの値とその隣接するピクセルの値を使って
メディアンをとり,中央のピクセルの値にするという方法です.
だんだん難しくなりますが,簡単に説明します.
ノイズがインパルスではなく,レンズのボケのような場合,
これをガウシアンノイズといいますが,ガウシアンフィルタというのをつかいます.
原理は移動平均のようなやりかたです.
さらに高度になれば,カルマンフィルタというものや
最新の手法では粒子フィルタという技法もありますが,
説明は樋口知之先生などの専門書に譲ります.
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
このQ&Aを見た人はこんなQ&Aも見ています
-
今年はじめたいことは?
今年はこれをはじめたい!ということを教えてください!
-
何回やってもうまくいかないことは?
みなさんには、何回やってもうまくいかないことはありますか?
-
今の日本に期待することはなんですか?
目まぐるしく、日本も世界も状況が変わる中、あなたが今の日本に期待することはなんですか?
-
この人頭いいなと思ったエピソード
一緒にいたときに「この人頭いいな」と思ったエピソードを教えてください
-
集中するためにやっていること
家で仕事をしているのですが、布団をはじめ誘惑だらけでなかなか集中できません。
-
EXCELにてローパスフィルタを作成する
その他(教育・科学・学問)
-
手軽に曲線の平滑化をしたい
Excel(エクセル)
-
エクセルでハイパスフィルタをかけたいのですがどのようにすればよいですか?
工学
-
-
4
Excelで4096点以上のFFTの方法
その他(Microsoft Office)
-
5
原波形のノイズ除去方法(FFT、逆FFT)
その他(コンピューター・テクノロジー)
-
6
エクセルで極大値を拾うには
Excel(エクセル)
-
7
高速フーリエ変換でデータ数が2のべき乗でない時
その他(自然科学)
-
8
EXCELでSavitzky-Golay法
Excel(エクセル)
-
9
PowerPointに動画をはった時の、動画の再生速度について
その他(ソフトウェア)
-
10
データのノイズ除去法 - Savitzky Golay- を表計算したいのですが
数学
-
11
ノイズの入った波形をきれいな波形にする方法
C言語・C++・C#
-
12
エクセルを使用してデジタルフィルタのハイパスフィルタ・ローパスフィルタの掛け方を教えてください。
その他(ソフトウェア)
-
13
一列に並んでいる大量のデータを10個ずつ平均(A1~A2000まである
Excel(エクセル)
-
14
自分の部署・担当を言うとき、どういう言い方が正しいでしょうか?? 会社のときは、弊社といいますが、部
その他(ビジネス・キャリア)
-
15
エクセルにおける、グラフの指数表示に関して
Excel(エクセル)
-
16
EXCELの近似曲線で対数近似、指数近似が選べない
Excel(エクセル)
-
17
Excelで変曲点を求める関数を教えてください
その他(ソフトウェア)
-
18
エクセルで、指定の値よりも大きい数字を最初に越えたときの列番号を返すには?
Excel(エクセル)
-
19
Excelでエラー(#N/Aなど)値を含む範囲で最大値や最小値をもとめ
その他(Microsoft Office)
-
20
エクセルで移動平均のデータを作成する方法を教えてください。
Excel(エクセル)
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・思い出すきっかけは 音楽?におい?景色?
- ・あなたなりのストレス発散方法を教えてください!
- ・もし10億円当たったら何に使いますか?
- ・何回やってもうまくいかないことは?
- ・今年はじめたいことは?
- ・あなたの人生で一番ピンチに陥った瞬間は?
- ・初めて見た映画を教えてください!
- ・今の日本に期待することはなんですか?
- ・【大喜利】【投稿~1/31】『寿司』がテーマの本のタイトル
- ・集中するためにやっていること
- ・テレビやラジオに出たことがある人、いますか?
- ・【お題】斜め上を行くスキー場にありがちなこと
- ・人生でいちばんスベッた瞬間
- ・コーピングについて教えてください
- ・あなたの「プチ贅沢」はなんですか?
- ・コンビニでおにぎりを買うときのスタメンはどの具?
- ・おすすめの美術館・博物館、教えてください!
- ・【お題】大変な警告
- ・【大喜利】【投稿~1/20】 追い込まれた犯人が咄嗟に言った一言とは?
- ・洋服何着持ってますか?
- ・みんなの【マイ・ベスト積読2024】を教えてください。
- ・「これいらなくない?」という慣習、教えてください
- ・今から楽しみな予定はありますか?
- ・AIツールの活用方法を教えて
- ・最強の防寒、あったか術を教えてください!
- ・【大喜利】【投稿~1/9】 忍者がやってるYouTubeが炎上してしまった理由
- ・歳とったな〜〜と思ったことは?
- ・モテ期を経験した方いらっしゃいますか?
- ・好きな人を振り向かせるためにしたこと
- ・スマホに会話を聞かれているな!?と思ったことありますか?
- ・それもChatGPT!?と驚いた使用方法を教えてください
- ・見学に行くとしたら【天国】と【地獄】どっち?
- ・これまでで一番「情けなかったとき」はいつですか?
- ・この人頭いいなと思ったエピソード
- ・あなたの「必」の書き順を教えてください
- ・14歳の自分に衝撃の事実を告げてください
- ・人生最悪の忘れ物
- ・あなたの習慣について教えてください!!
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
エクセルでノイズ値を除去する...
-
フェライトコアの取付について
-
マウスを動かすとPCからノイ...
-
勝手につくタッチライト、しか...
-
微分はノイズに弱い、積分はノ...
-
導線のねじるのって何と呼ぶの...
-
センサアンプについて
-
サーボモーターの位置決めで突...
-
フェライトコアの仕組み
-
ドライヤーの高調波について
-
ノイズスペクトルの計算について
-
移動平均線の区間数について
-
電源コードはループ状に巻くと...
-
ホワイトノイズはガウス分布?
-
パワースペクトルからピーク周...
-
オペアンプを使用したフィルタ...
-
ステッピングモーターのケーブ...
-
よく、現代作家よりも昔の作家...
-
寄生容量を減らすための方法
-
ノイズ密度の計算の仕方
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
エクセルでノイズ値を除去する...
-
勝手につくタッチライト、しか...
-
フェライトコアの取付について
-
マウスを動かすとPCからノイ...
-
パワースペクトルからピーク周...
-
電源コードはループ状に巻くと...
-
計装ケーブルの接地について
-
センサアンプについて
-
ホワイトノイズはガウス分布?
-
微分はノイズに弱い、積分はノ...
-
よく、現代作家よりも昔の作家...
-
3相モータの動力線からのノイ...
-
導線のねじるのって何と呼ぶの...
-
心電計のフィルタとはなんです...
-
オペアンプによる増幅回路での...
-
1ビットオーディオの原理と利点は?
-
移動平均線の区間数について
-
ノイズ密度の計算の仕方
-
PICのSPI通信(ハード)
-
クロマトグラムからS/N比を見る?
おすすめ情報