現在、レンタルサーバ(コアサーバー)上でPHP5とmysqlでサイトへ

Question

現在、レンタルサーバ(コアサーバー)上でPHP5とmysqlでサイトへのアクセス数とサイト上の複数のリンク先へのクリック数のログを取得し、一日一回それらを一つのテーブルへ集計し、レポート表示させるプログラムを作成しました。

一日のログが少なかった頃は問題なく動いていたのですが、一日のログ数が10万を超えた辺りから集計処理がタイムアウトしてしまい、集計ができなくなってしまいました。

下記のようなイメージで集計プログラムとして動かしています。
ループ数は25,000回位です。
ループ中にはmysqlからの読み込みと書き込み処理を含んでおります。

$i = "0";
do{//サイト数だけループ
  $cat_i = "0";
  do{//カテゴリ数だけループ
    $carrier = "0";
    do{
      $cl_i = "1";
      do{
          }while($cl_i < 21);
   　　　$carrier = $carrier + 1;
　　　　　　　　　}while($carrier < 3);
      $cat_i = $cat_i + 1;
  }while($cat_i < $rows_cat);
$i = $i + 1;
}while($i < $rows_clsite);

PHPを触り始めて日が浅いもので、ループを多用して重い処理になっているのはわかっております…。
コードの書き方自体もなっていないと思いますが、タイムアウトせずに動かせなく困っておりまして、アドバイスを頂ければと思っております。

PHP・ブラウザのタイムアウト対策は、
set_time_limit(0);
ob_end_clean();
echo str_pad('',256);
flush();
sleep(1);
としており、上記で暫くは処理時間を伸ばすことができておりました。

また、phpがapachユーザー？として動く為、apachのタイムアウトに引っかかるのではと、コアサーバーのサイトに記載されていた、CGI版PHPとして動かす方法(.htaccessに記載する方法)でも試してみたのですが、結果は変わりませんでした。
しかし、本当にCGI版として動いているのか確信はありません。。

試行錯誤の上、上記のループの$iの部分を1回終了毎にブラウザに戻し、metaのRefreshで15秒開け次の処理を行わせたり、$iのループ毎に手動でPOSTにて送信し、細切れにして処理をさせているのですが、細切れにした処理だけでもタイムアウトになったりならなかったりを繰り返しております。

上記の方法では、ブラウザのタイムアウト対策をしているだけではと思いつつも、原因がどこにあるのか思い当たらない為、どう対処していいのかさえわからない状況となっております。。

単純に、apachのタイムアウトに引っかかっているのか、負荷が大きいためなんらかのサーバの制限に引っかかっているのか等、考えられる原因やその原因を一つ一つ切り捨てていけるような方法等がありましたら、ご意見お願いできればと思います。

自前のサーバの準備も進めておりますが、暫く時間がかかってしまいそうですので、現在の環境で応急処置できればと思っております。

タイムアウト時はphpなどのエラーメッセージは出ず、IEの「このページは表示できません。」というメッセージが表示されております。

乱文にて申し訳ありませんが、お知恵をお貸し頂けますと大変幸いでございます。
宜しくお願い致します。

yuuki0229 · Accepted Answer

execの使い方は合ってますが、どうやら制限によって難しそうですね。
そこまで制限してるならサーバー移行が良いかも知れません。

と言いつつ、一つ思いついたので書いておきます。

「実行時刻（時）の2時間前～1時間前のログのみを対象として集計する」というスクリプトを1時間に1回実行します。
2010/2/20 0：00～1：00のログは同日2時に集計
2010/2/20 1：00～2：00のログは同日3時に集計・・・
保存先のDBでそのような分割実行でも集計できるテーブルになってる必要がありますが、計算量は24分の1になるはずなのでしばらくは大丈夫だと思います。
＃実際には引数でいつの分を集計するか指定できたほうが良いですが

bm_hiro · Answer

解決策でもなく回避策でもなく、
俺なら こうするかなって言う妄想レベルの話ですので、聞き流しでお願いします。

ローカルにXAMPP入れて、ローカルからネット上にデータを取りに行って、集計したら、ネット上に戻してやる感じでやれば、多分 タイムアウトしません。
ただ、データの量的に なんか問題がある気もします。

ちなみに、俺は 最初に自分でブラウザからトリガー引いた後は、8時間以上 放置して、データをネットから自動で拾い続けさせていた事があります。

samchay · Answer

CLI版のPHPは「/usr/bin/php5cli」で利用することが出来そうです。

しかし、CORESERVERではジョブの最大実行時間が3分間に制限されているようで、これはCGI版やモジュール版の300秒よりさらに短い設定値ですね。
CLI版のPHP自体は「max_execution_time」が0で無制限となりますが、制限により3分で強制終了するのであれば、CLI版であってもタイムアウトしてしまいますので、当方のアドバイスは無意味でした。この線は捨ててください。

参考URL：http://www.coreserver.jp/help/index.php/limitation/

yuuki0229 · Answer

Apache側のタイムアウト設定に依存してそうです。

Web上でやる場合、
exec("/usr/bin/php heavy_script.php > /dev/null 2>&1 &");
のようにバックグラウンドでスクリプトを実行すればひとまずApacheのタイムアウトは気にしなくてよくなります。

そして1日1回実行とのことですが手動でしょうか？
Cronから1日1回、PHPを実行すれば元々Apache関係なく処理できます。

ループのアルゴリズムに無駄があるかどうかは挙げられたコードでは判断できませんでした。

bm_hiro · Answer

環境が違うので参考にならないかもしれませんが、一応 そちらと同じ方法でタイムアウト防止させていて、1～2時間程度なら 問題なく動いてます。
それ以上、時間のかかることをしたことがないだけで、それ以上でも動くものと思われます。

ただ、俺の環境はXAMPPでローカルの自分のPCの中にあるテキストファイルを読み出して、解析して、DBに叩き込むだけなので、負荷は常識の範囲内だと思います。
なので、参考にはならないかもしれません。

俺も どっかから コピペしてきた奴なんですけど、そちらと同じようにして使ってます。

// タイムアウト防止処理
set_time_limit(0);// 実行時間を制限しない
ob_end_clean();// 出力をバッファリングしない(==日本語自動変換もしない)
print str_pad('',256);// IEのために256バイト空文字出力

ただ、他にも 超うろ覚えで 別のと記憶違いしてる気がしないでもないんですけど、
php.ini とか httpd.conf も いじったような気もします。

ほんと、役に立たない回答で すみません。

samchay · Answer

おそらくCGI版と同じ場所に、CLI版のPHPが用意されています。バッチ処理にはこれを利用すると便利です。

ロジックの見直しなどは、ローカルで行うことをお勧めします。

参考URL：http://www.php.net/manual/ja/features.commandline.php

現在、レンタルサーバ(コアサーバー)上でPHP5とmysqlでサイトへ

execの使い方は合ってますが、どうやら制限によって難しそうですね。

解決策でもなく回避策でもなく、

CLI版のPHPは「/usr/bin/php5cli」で利用することが出来そうです。

Apache側のタイムアウト設定に依存してそうです。

環境が違うので参考にならないかもしれませんが、一応 そちらと同じ方法でタイムアウト防止させていて、1～2時間程度なら 問題なく動いてます。

おそらくCGI版と同じ場所に、CLI版のPHPが用意されています。

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング

環境が違うので参考にならないかもしれませんが、一応そちらと同じ方法でタイムアウト防止させていて、1～2時間程度なら問題なく動いてます。