FTPで書き込み中のファイルの完了を知りたい

Question

FTPで書き込み中のファイルがあるとします。そのファイルが、書き込み中なのか、それとも、書き込みが完了したのかを、知りたいのですが、良い方法はありますでしょうか。書き込みファイル名はあらかじめ、わかっています。（書き込み中に読んだ場合、最後まで読み切ることが出来ないために書き込み完了迄待ちます）当方で、調査した限りでは、ファイル名を指定して、そのファイルが、他プロセスによってオープンされているか否かを知るシステムコールは存在しませんでした。ＯＳは、sun solaris10を使用の予定ですが、UNIX系(linux含む)で実現可能であれば、かまいません。

mikaemi · Accepted Answer

一般のUnix系のＯＳで、fopen() でチェックできるかどうかは疑問です^^

たしかに、Unix系のＯＳで、ファイルをオープンしているプロセスがあるかどうかを調べられるような標準的なシステムコールがあるという話は、あまり聞かないですよね。

http://www.mlb.co.jp/linux/mld-ml/200206/msg00028.html　←存在しないのがほんとに真実かどうかは知りませんが^^

ftp の際、get してくるファイルのサイズ情報をどこかに出力しておいて、そのサイズに達したか否かで、「書き込み中か、書き込み完了か」を判定するのがもっともポータブルな方法かと^^ 

※ 最初に lseek などして、見掛けのサイズを大きくしておいてから rewind して実際に書き込みを始めるみたいなことしてる ftp の実装なんてあるとまずいですけど^^;

R32C · Answer

xferlog とか　サーバーログの確認では、だめなのでしょうか？

参考URL：http://www.linux.or.jp/JM/html/wu-ftpd/man5/xferlog.5.html#lbAE

mikaemi · Answer

＞　運用上、上記の短所が問題にならなければ、採用の候補…

あはは。ありがとうございます（笑）まぁ、人間、自分のアイデアを大事にしたいというのが普通ですから^^ ここは、議論の場ではないようですが、色々とアイデアを出し合うのは楽しいですね。ではでは、お邪魔しました^^

＝＝＝＝
// ディレクトリから fname にファイル名を得る
…
char *p = strrchr(fname, '_');
if (p == NULL) return;  // 約束違反のファイル名
char *q = strrchr(fname, '.');
if (q == NULL || q < p) return; // 約束違反のファイル名
*q = '\0';
size_t fsiz = atol(p + 1);
if (fsiz == 0) return; // サイズ0はおかしい（笑）
…
*q = '.';
stat(fname, &statbuf);
if (statbuf.st_size != fsiz) return; // 書き込み中？
…
＝＝＝
# .netrc が適当に設定されているとして
…
fname=`basename $pathname`
fsiz=`ls -l $file | awk '{print $5}'`
remotefile=`echo $fname | sed -e "s/$[^.]*$\.$[^.]*$/\1_$fsiz\2/"`
ftp $remotehost <<EOF
bin
put $pathname $remotefile
bye
EOF
＝＝＝
とか、やればいいんじゃないですか？^^ 修正時刻のチェックは、エラー処理に活用できますね（現在時刻と最終修正時刻の差があまりに大きいにもかかわらず、サイズが異なる場合など）。

zwi · Answer

もう一案。
手元にcygwinしかないので確認できないのですが。
まず実験として、
(1)pfilesコマンドでFTPデーモンのファイルディスクリプタ一覧を得る。
(2)ファイルディスクリプタ一覧のinode番号で、目的とするファイルが使用中か確認する。目的のファイルのinode番号はstatで得ておく。
なんてのはどうでしょうか？

pfilesコマンド自体の機能もソース見ればわかると思うので、プログラム上に吸収可能だと思います。

mikaemi · Answer

なるほど。。修正時刻のチェックしてもいいですね。各人各様で思いつくテクニックが異なっておもしろいですね^^

そういえば、ファイル名にファイルサイズを入れるとしても、バイナリモードで転送しないと、Windows⇔Unix⇔Macintoshなんかは、サイズが変わってしまいますねぇ。まぁ、でも、バイナリで転送するとして、stat()・lstat() を使うなら読み続けなくても、ファイルが置かれるディレクトリを舐めて、各ファイルの名前から取得したファイルサイズとstat()が返すファイルサイズをチェックするだけでいいですね^^

zwi · Answer

すごく大雑把な方法ですが、statで最終修正時刻を調べて一定時間以上変更がなかったら書き込みが終了とみなすのはだめでしょうか？
信頼性と即時応答性は限りなく低いですが。

mikaemi · Answer

で、あとは、受け手側は、ファイル名に含まれるバイトサイズを信用して、そのバイトサイズに達するまで読み続ける。エラー処理が難しいですかね^^;

mikaemi · Answer

それでは、ファイル名に、ファイルサイズを含めれば簡単じゃないですかね。ファイル名の長さに余裕があるシステムだと仮定して、たとえば、123456Byte なら、filename_123456.txt とか^^　安易すぎるかな（笑）

mikaemi · Answer

あぁ、なるど。。。送り手側が、別マシンから受け手側のマシンに ftp でファイルを put しにくるわけですか。。「ssh などを使わないので、リモートでコマンド実行できるわけではないため、受け手側はファイルが置かれたかポーリングはするが、書き込みが終了しているかを確認する手軽な手段が欲しかった」というわけですね。

mikaemi · Answer

あぁ、あと、ftp をプログラム内から fork()・exec() させてるなら、wait() したり、ほかに仕事があるなら waitpid() したり、 SIGCHILD をうけとるようにしたりする方法もありますね^^

tatsu99 さんは、詳しそうなのでご存知でしょうが^^ 蛇足として。。。（笑）

FTPで書き込み中のファイルの完了を知りたい

一般のUnix系のＯＳで、fopen() でチェックできるかどうかは疑問です^^

xferlog とか サーバーログの確認では、だめなのでしょうか？

＞ 運用上、上記の短所が問題にならなければ、採用の候補…

もう一案。

なるほど。

すごく大雑把な方法ですが、statで最終修正時刻を調べて一定時間以上変更がなかったら書き込みが終了とみなすのはだめでしょうか？

で、あとは、受け手側は、ファイル名に含まれるバイトサイズを信用して、そのバイトサイズに達するまで読み続ける。

それでは、ファイル名に、ファイルサイズを含めれば簡単じゃないですかね。

あぁ、なるど。

あぁ、あと、ftp をプログラム内から fork()・exec() させてるなら、wait() したり、ほかに仕事があるなら waitpid() したり、 SIGCHILD をうけとるようにしたりする方法もありますね^^

似たような質問が見つかりました

このQ&Aを見た人はこんなQ&Aも見ています

関連するカテゴリからQ&Aを探す

このQ&Aを見た人がよく見るQ&A

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング

xferlog とか　サーバーログの確認では、だめなのでしょうか？

＞　運用上、上記の短所が問題にならなければ、採用の候補…