fleuentd経由のデータをmongodbへinsertしてるのですが、
転送されたデータ件数とmongodbへinsertされている件数
が一致せず、困っております。
各ログファイルにも目立ったエラーは、出力されてませんでした。
環境ですが、2サーバ共に、
OS:CentOS5.5_64
fluentd 0.10.30
fluent-plugin-mongo (0.6.13, 0.6.11)
MongoDB shell version: 2.2.2
データの流れですが、
webサーバ→logサーバ→mongodb
※Logサーバとmongodbは、同じサーバです。
webサーバ→logサーバは、問題無く全データ転送されます。
logサーバ→mongodbは、数件差分が発生します(mongodbが数件足らない)。
各設定以下になります。
【webサーバ td-agent.conf】
///////////////////////////////////////////
<source>
type tail
path 省略/test.log
format 省略
tag test.test
pos_file /var/log/td-agent/tmp/test.log.pos
</source>
<match test.*>
type forward
buffer_chunk_limit 10m
flush_interval 10s
send_timeout 5s
recover_wait 5s
retry_limit 5
<server>
host 省略
</server>
</match>
///////////////////////////////////////////
【logサーバ td-agent.conf】
///////////////////////////////////////////
<source>
type forward
</source>
<match test.test>
type copy
<store>
type mongo
database hogehoge
collection test
buffer_type memory
buffer_chunk_limit 10m
buffer_queue_limit 1280
flush_interval 1s
retry_limit 10
retry_wait 5s
</store>
<store>
type file
path /var/log/td-agent/test
buffer_chunk_limit 1g
</store>
</match>
///////////////////////////////////////////
【webサーバ mongod.conf】
///////////////////////////////////////////
# mongo.conf
#where to log
logpath=/var/log/mongo/mongod.log
logappend=true
# fork and run in background
fork = true
#port = 27017
dbpath=/var/lib/mongo
# location of pidfile
pidfilepath = /var/run/mongodb/mongod.pid
# Turn on/off security. Off is currently the default
#noauth = true
auth = true
///////////////////////////////////////////
どうぞ、ご教示お願いいたします。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- オープンソース Coinmarketcap api 1 2022/05/30 15:47
- 情報処理技術者・Microsoft認定資格 応用情報処理技術者試験のシステム利用率の計算について 2 2022/03/28 07:43
- JavaScript javascriptでテーブルに追加した項目のid追加してローカルストレージを操作したい 5 2023/01/01 15:52
- PHP $_SESSIONについて教えて下さい。 2 2023/03/02 09:18
- MySQL 参考書に従って入力したつもりでしたが、最後はエラーがでました。 1 2022/09/28 03:45
- その他(コンピューター・テクノロジー) 以下の用語がわかんないので教えてください!!! ①プロトコルの変換をする装置。トランスポート層からア 1 2023/07/05 09:10
- サーバー Windowsサーバでグループを検索したい 1 2023/04/17 15:30
- JavaScript コードレビューをお願いします。 1 2022/07/16 05:38
- C言語・C++・C# プログラミングの問題です。至急教えてください。 /***から***/の部分をプログラミングにしてほし 1 2022/10/13 11:48
- Mac OS PATHを使ってcdなどで簡単に移動できるようになりたい 3 2023/05/13 14:22
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
配列データに対する、要素の追...
-
timestamp が空のデータを除い...
-
【SQL】他テーブルに含まれる値...
-
SELECT INTOで一度に複数の変数...
-
SELECTした結果に行番号を求めたい
-
フラグをたてるってどういうこ...
-
結合したテーブルをSUMしたい
-
VBAでの行数を揃える方法
-
SQLで、Join句で結合したテ...
-
Accessで今日から5日後
-
複数の条件に該当する結果を、...
-
AccessVBAについて テーブルの...
-
JDBCを使ってdate型へのINSERT...
-
DB、キャストとインサートを...
-
既存データをINSERT文にして出...
-
truncate tableを使って複数の...
-
データの入れ替えを同時に行な...
-
SQL*LOADER実行時のロードデー...
-
エラーを起こす方法
-
PostgreSQLのtimestamp型で時間...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
CSVファイルを読み込んでテーブ...
-
テキストボックスの背景をVB...
-
timestamp が空のデータを除い...
-
SQLSERVER 連番更新について
-
エクセルVBA 10分後にエクセル...
-
SQL SERVERの BULK INSERT
-
SELECT文で足し算をした場合、N...
-
配列データに対する、要素の追...
-
ACCESS テキストボックスに入...
-
データがリストアできない!!
-
エクセルVBEについて
-
平均値のもとめ方
-
時間の比較をしたい
-
1つのドメインを複数のDNSで管...
-
AVR studio6でeepromリードでき...
-
シーケンスを使わずに主キーを...
-
date型でのbetweenについて教え...
-
Japanese schools tests
-
バッチファイルでrenを使用時、...
-
Accessエクスポート時に連番を...
おすすめ情報