
fleuentd経由のデータをmongodbへinsertしてるのですが、
転送されたデータ件数とmongodbへinsertされている件数
が一致せず、困っております。
各ログファイルにも目立ったエラーは、出力されてませんでした。
環境ですが、2サーバ共に、
OS:CentOS5.5_64
fluentd 0.10.30
fluent-plugin-mongo (0.6.13, 0.6.11)
MongoDB shell version: 2.2.2
データの流れですが、
webサーバ→logサーバ→mongodb
※Logサーバとmongodbは、同じサーバです。
webサーバ→logサーバは、問題無く全データ転送されます。
logサーバ→mongodbは、数件差分が発生します(mongodbが数件足らない)。
各設定以下になります。
【webサーバ td-agent.conf】
///////////////////////////////////////////
<source>
type tail
path 省略/test.log
format 省略
tag test.test
pos_file /var/log/td-agent/tmp/test.log.pos
</source>
<match test.*>
type forward
buffer_chunk_limit 10m
flush_interval 10s
send_timeout 5s
recover_wait 5s
retry_limit 5
<server>
host 省略
</server>
</match>
///////////////////////////////////////////
【logサーバ td-agent.conf】
///////////////////////////////////////////
<source>
type forward
</source>
<match test.test>
type copy
<store>
type mongo
database hogehoge
collection test
buffer_type memory
buffer_chunk_limit 10m
buffer_queue_limit 1280
flush_interval 1s
retry_limit 10
retry_wait 5s
</store>
<store>
type file
path /var/log/td-agent/test
buffer_chunk_limit 1g
</store>
</match>
///////////////////////////////////////////
【webサーバ mongod.conf】
///////////////////////////////////////////
# mongo.conf
#where to log
logpath=/var/log/mongo/mongod.log
logappend=true
# fork and run in background
fork = true
#port = 27017
dbpath=/var/lib/mongo
# location of pidfile
pidfilepath = /var/run/mongodb/mongod.pid
# Turn on/off security. Off is currently the default
#noauth = true
auth = true
///////////////////////////////////////////
どうぞ、ご教示お願いいたします。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
シーケンスを使わずに主キーを...
-
timestamp が空のデータを除い...
-
SELECT INTOで一度に複数の変数...
-
オラクルのUPDATEで複数テーブル
-
truncate tableを使って複数の...
-
フラグをたてるってどういうこ...
-
CASEでBETWEEN制約
-
SQLサーバに対するSQL文で抽出...
-
SQLで、Join句で結合したテ...
-
T-SQLで任意の箇所で強制終了す...
-
【SQL】他テーブルに含まれる値...
-
UPDATEで既存のレコードに文字...
-
SELECTした結果に行番号を求めたい
-
OracleのLONG型への insert に...
-
テーブル名が可変の場合のクエ...
-
複数レコードの複数フィールド...
-
oracle シーケンスの欠番を確認...
-
Activation codeとは
-
パススルークエリ&ACCESSテーブ...
-
OracleとSQL ServerのSQL文上で...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
テキストボックスの背景をVB...
-
CSVファイルを読み込んでテーブ...
-
SQLSERVER 連番更新について
-
timestamp が空のデータを除い...
-
データがリストアできない!!
-
SQL SERVERの BULK INSERT
-
配列データに対する、要素の追...
-
Accessエクスポート時に連番を...
-
ACCESS テキストボックスに入...
-
SELECT文で足し算をした場合、N...
-
型について
-
PostgreSQL serial型の質問
-
時間の比較をしたい
-
エクセルVBEについて
-
PostgreSQLのnumericでの書き込...
-
pgAdminIII RAISEの結果取得に...
-
date型でのbetweenについて教え...
-
1つのドメインを複数のDNSで管...
-
serial型について
-
fleuentd to mongodb件数合わない
おすすめ情報