No.6ベストアンサー
- 回答日時:
#1です.
3σの外を切るような乱暴な方法とか,
はたまた,外れ値は自動的には除去できないとか,無責任な回答があったので,
修正しておきます.
私は,「ノイズを除去しても欠測値にはしない」という立場で書いてきましたが,
除去でよいのなら,次のような取り除き方があります.
まずベースラインを補正します.
これは例えば,小学生の身長のように,学年に比例する観測値なら
学年に比例する分を取り除き,一定信号に基準化する作業です.
次に全体のヒストグラムを作ります.
これが,フーリエ変換のような作業だと考えて下さい.
運よく二山になったら,山の隙間のどこかに閾値(しきい値)をとって,上側の山を切り落とします.
これはローパスフィルタのような作業です.
二山にならず,肩のこぶのようになっていたら,
ここから先はエクセルでは無理かと思いますが,
ガウス分布やガンマ分布をあてはめて,二山をフィットします.
次にそれらの関数を使って,閾値を決めます.
閾値は,第1種の過誤(α)と第2種の過誤(β)が同じになるように決め,
原信号の犠牲比率とノイズの混入比率を同等にします.
次に,閾値から上側を切り落とします.
このように,ノイズの除去には原信号の犠牲が伴い,
それに対する配慮が必要であることを分かって頂けたと思います.
3σの外を切るような乱暴な話ではありません.
No.5
- 回答日時:
#1です.
#4さん,文献の補足,ありがとうございました.
ノイズの定義と言う逆質問があったので回答を書いておきますね.
そもそも観測データを信号として,
信号をなぜ「復元」しなければならないかというと
信号が変形しているからです.この変形を広義の「ノイズ」といいます.
しかし,変形には,ひずみと狭義のノイズ(誤差)があって,
ひずみは,原信号に対して時間的空間的規則性があったり原信号との相関性がありますが,
ノイズは,原信号に対して時間的空間的規則性がなく,原信号との相関もありません.
ノイズとは,外来成分や確率的劣化というものが重畳(チョウジョウ)していることをいいます.
(これが,ノイズの定義です.アンプの性能などで,歪率とSN比が分けて書いてありますよね)
よって,復元には前者に対する「補正」と後者に対する「平滑化・フィルタリング」があり,
規則性があるひずみは補正で戻りますが,ノイズは規則性がないので原信号を犠牲にしながら
均(なら)したり取り除くことが必要になります.
補正対象となるものには,(順不同(記憶から))
・ディレイ(遅延)
・反射
・オーバーシュート
・リンギング(ハンチング)
・立ち上がり(時定数付き応答)
・クロストーク
・サグ
などがあります.
これらは,負帰還などにより,消すことができます.
(最近のTVは画像補正をいっぱいやっているから,実際より絵が遅れて出ています.)
平滑化・フィルタリングの対象は,
・インパルスノイズ
・ガウシアンノイズ
などがあります.
No.4
- 回答日時:
No.2
- 回答日時:
質問者の「ノイズ」の定義が不明確です
定義を明確にすれば、それに則った処理を行うだけです
(例えば3σの範囲外とか)
定義を明確にすることです(質問者は、情緒的定性的にしか捉えられず、定量的な定義が必要なことに気付けていないようです)
No.1
- 回答日時:
何をおやりになりたいのか良くわかりませんが,
参考までに書きます.
平滑化・フィルタリングにはさまざま種類があります.
2次元データの「メディアンフィルタ」くらいならエクセルでできるかもしれません.
メディアンフィルタについては,下記説明をご覧下さい.
最初に,フーリエ変換というのは,簡単な例を上げれば,
音楽(音の波形)を周波数分布のグラフに描き直すような操作です.
それをリアルタイムでやるのが,高速フーリエ変換(FFT)です.
例えば,せっかくの音楽に,ブーンというハム(電源ノイズ)が
混ざっていたとしましょう.
そのときは,音楽の音の波形から,そのブーンの周波数のところを
除けばいいのです.
もっと簡単には,ハイパスフィルタなんてのもあります.
おやりになりたいことが,通常の信号に対して,時々大きいノイズが
パツン,パツンと入っていて,それを除きたい,というのなら,
パツン,パツンはインパルスノイズといいまして,
それに有効なのがメディアンフィルタです.
中学で平均,モード(最頻値),メディアン(中央値)というのを
学びましたが,その値を使います.
画像であれば,あるピクセルの値とその隣接するピクセルの値を使って
メディアンをとり,中央のピクセルの値にするという方法です.
だんだん難しくなりますが,簡単に説明します.
ノイズがインパルスではなく,レンズのボケのような場合,
これをガウシアンノイズといいますが,ガウシアンフィルタというのをつかいます.
原理は移動平均のようなやりかたです.
さらに高度になれば,カルマンフィルタというものや
最新の手法では粒子フィルタという技法もありますが,
説明は樋口知之先生などの専門書に譲ります.
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 画像編集・動画編集・音楽編集 映像ノイズ除去について 有料版のDaVinci ResolveとNeat Video v5 Pro 1 2023/04/25 14:03
- イヤホン・ヘッドホン・補聴器 ノイズ除去後付け 2 2022/11/16 13:59
- 工学 画像の電気ノイズ除去のプログラミング 5 2023/07/31 18:48
- 工学 オペアンプによる増幅回路でのノイズ対策について 5 2022/03/22 16:06
- スピーカー・コンポ・ステレオ pcとSwitchでスピーカーを使うときについて三つ質問があります 4 2023/04/03 23:58
- その他(パソコン・周辺機器) ASMRについての質問です! ピンマイクで撮影をしようと思っていたのですが、そもそも音量が小さく声の 2 2022/07/04 09:54
- スピーカー・コンポ・ステレオ 真空管アンプの不調(全く音が出ない) 6 2022/08/22 12:04
- LINE LINEに詳しい方よろしくお願いします。 あるLINE の過去履歴(オープンチャット)だけを一括で消 1 2023/06/26 21:18
- 呼吸器・消化器・循環器の病気 耳について質問です 音が大きかったり、騒がしいとこにいると、 聞こえてくる音が「ジージー」と、ノイズ 4 2022/03/31 23:13
- ラジオ 今までノイズ混じりやすかった3台のFMラジオをある工夫をするとノイズが大分軽減されましたがなんででし 1 2022/03/27 08:00
このQ&Aを見た人はこんなQ&Aも見ています
-
プロが教える店舗&オフィスのセキュリティ対策術
中・小規模の店舗やオフィスのセキュリティセキュリティ対策について、プロにどう対策すべきか 何を注意すべきかを教えていただきました!
-
EXCELにてローパスフィルタを作成する
その他(教育・科学・学問)
-
手軽に曲線の平滑化をしたい
Excel(エクセル)
-
エクセルでハイパスフィルタをかけたいのですがどのようにすればよいですか?
工学
-
-
4
Excelで4096点以上のFFTの方法
その他(Microsoft Office)
-
5
エクセルを使用してデジタルフィルタのハイパスフィルタ・ローパスフィルタの掛け方を教えてください。
その他(ソフトウェア)
-
6
エクセルで極大値を拾うには
Excel(エクセル)
-
7
エクセルの散布図のX軸に文字を表示したいのですが、どうしたらよいのでしょうか?
Excel(エクセル)
-
8
窓関数(方形窓)について
その他(自然科学)
-
9
原波形のノイズ除去方法(FFT、逆FFT)
その他(コンピューター・テクノロジー)
-
10
一列に並んでいる大量のデータを10個ずつ平均(A1~A2000まである
Excel(エクセル)
-
11
ノイズの入った波形をきれいな波形にする方法
C言語・C++・C#
-
12
Excelの近似曲線で外れ値(異常値)を除外したい
Excel(エクセル)
-
13
エクセルでもVBAでもいいのですが
Excel(エクセル)
-
14
エクセルで移動平均のデータを作成する方法を教えてください。
Excel(エクセル)
-
15
Excelで微分をしたいのですが。。。
Excel(エクセル)
-
16
加速度と角加速度の関係について
物理学
-
17
近似曲線の数式を手計算で出したい。
数学
-
18
Wordでこのような三角が出てくるようになってしまったのですがどうやったら消せますか?
Word(ワード)
-
19
グラフの交点の求め方(Excel)
Visual Basic(VBA)
-
20
Excelでエラー(#N/Aなど)値を含む範囲で最大値や最小値をもとめ
その他(Microsoft Office)
おすすめ情報
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
フェライトコアの取付について
-
計装ケーブルの接地について
-
エクセルでノイズ値を除去する...
-
センサアンプについて
-
電源コードはループ状に巻くと...
-
I2Cのノイズについて
-
微分はノイズに弱い、積分はノ...
-
PICのSPI通信(ハード)
-
よく、現代作家よりも昔の作家...
-
導線のねじるのって何と呼ぶの...
-
パルスとは具体的に何を指して...
-
なぜ差動増幅器が用いられるか。
-
3相モータの動力線からのノイ...
-
パワースペクトルからピーク周...
-
グラウンドショートの危険性に...
-
外部DC電源のノイズについて(DC6V...
-
フォトダイオードのノイズ
-
クロストークとは??
-
携帯電話にAMラジオを近づける...
-
ノイズ密度の計算の仕方
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
フェライトコアの取付について
-
電源コードはループ状に巻くと...
-
エクセルでノイズ値を除去する...
-
PICのSPI通信(ハード)
-
勝手につくタッチライト、しか...
-
計装ケーブルの接地について
-
マウスを動かすとPCからノイ...
-
創価学会員が精神的に不幸にな...
-
センサアンプについて
-
LANケーブル 通信速度
-
3相モータの動力線からのノイ...
-
ホワイトノイズはガウス分布?
-
サーボモーターの位置決めで突...
-
オペアンプによる増幅回路での...
-
フェライトコアの仕組み
-
よく、現代作家よりも昔の作家...
-
ユニバーサル基板のノイズ対策...
-
I2Cのノイズについて
-
ノイズ密度の計算の仕方
-
導線のねじるのって何と呼ぶの...
おすすめ情報