DSAS開発者の部屋:Apacheのアクセスログをsyslog経由で出力するためのモジュールを作りました

2009年10月22日

Apacheのアクセスログをsyslog経由で出力するためのモジュールを作りました

皆さんは、負荷分散環境でのApacheのアクセスログをどのように取り扱ってますか？

通常、Apacheのログは動作サーバ上のローカルファイルとして出力されるので、 Webサーバを同時に何台も稼働させて負荷分散を行うような環境では、それらすべてのWebサーバのログファイルを集めなければなりません。ローカルファイルとして出力されるということは、Webサーバの台数分だけログファイルがばらけることを意味します。考えるだけでめんどくさいですね。

KLabでは、このApacheログを2パターンを使い分けて集めています。ひとつは syslogによるリモート出力を使い、全Webサーバからのログ出力を一か所に集中させる方法です。これは、CustomLogディレクティブにloggerコマンドを使用することで可能です。


    CustomLog "|/usr/bin/logger -p local6.info --" (書式文字列)

これにより、通常ファイル出力されるアクセスログをloggerコマンド経由でsyslog に渡すことができます。あとはsyslogの設定で、リモートのログ集積サーバに集めさせるというわけです。

ただし、これには問題もあります。syslogのログ転送はUDPやバッファリングなどの関係で取りこぼしがどうしても発生してしまう点です。いくつか対策は考えられますが、私たちはこれに従来型のファイル出力のログを併用することで解決しています。これが2パターンの2つめで、すなわち従来のように各Webサーバ上で出力するログファイルを日次バッチで集積するという方法です。詳細なログ解析などはこの日次の集積バッチによるログファイルを使用し、その日その日の緊急のアクセス確認などはsyslog出力の側を見る、という使い分けを行っているのです。

＊＊＊

さて、このsyslog出力について、もう一度CustomLogを確認します。loggerコマンドへのパイプを用いていますので、httpdの子プロセスとしてloggerプロセスが多数立ち上がることになります。

しかしふと考えてみると、syslogに送るって言ってもやることはsyslog()関数を呼ぶくらい(他にもopenlog()とかありますが)なので、わざわざ外部プロセスにしなくても、Apache本体から出力できたっていいよね、と考えたわけです。

ということで、Apacheから直接syslogにアクセスログを出力するためのApacheモジュールを一つ作ってみました。

mod_syslog-0.1.0.tar.gz

syslogに送る設定は、以下のようにCustomLogを変更して行います。


    CustomLog syslog:foo (書式文字列)

"syslog:"をプレフィックスとして付加することで、mod_syslogがsyslogへの出力であることを判別して処理を行いますが、パイプやファイルパス形式、つまり "syslog:"が付かない場合は引き続き従来と同じ処理が行われます。

＊＊＊

mod_syslogのやることは至ってシンプルです。Apacheは、ログ出力処理のための関数2つを下に表わすように定義しています。

  static ap_log_writer_init* ap_log_set_writer_init(ap_log_writer_init *handle);
  static ap_log_writer* ap_log_set_writer(ap_log_writer *handle);

ap_log_set_writer_init()は、ログ出力のための初期化処理(ファイルのオープンなど)を行うための関数、またap_log_set_writer()は、実際のログ出力を行う際に呼ばれる関数をそれぞれコールバック登録します。あとは、Apacheがそれらのコールバック関数を必要なタイミングで呼び出してくれます。

さらに上記の関数2つは返値を持ち、それぞれのコールバック関数の事前の値を表します。mod_syslogは"syslog:"のプレフィックス以外のログ出力先、すなわちパイプやファイル出力については従来の処理に任せますので、mod_syslog自身のコールバック関数登録と同時に従来のコールバック関数へのポインタを、この返値によって取得、保持します。

#define PREFIX_SYSLOG   "syslog:"
#define PREFIX_SYSLOG_LENGTH    7

static void *
ap_syslog_writer_init(apr_pool_t *p, server_rec *s,
                      const char* name)
{
    syslog(LOG_DEBUG, "%s: prev_log_writer_init = %p, name = %s", __func__, prev_log_writer_init, name);

    if (strncasecmp(PREFIX_SYSLOG, name, PREFIX_SYSLOG_LENGTH) == 0) {
        return &dummy[0];
        // NULL以外を返す。
        // 同じ値(&dummy[0])かどうかをap_syslog_writer()関数で判別できればよい。
    }

    if (prev_log_writer_init) {
        return prev_log_writer_init(p, s, name);
    }

    return NULL;
}

// ap_hook_pre_config()でフック登録
static int
syslog_pre_config(apr_pool_t *p, apr_pool_t *plog, apr_pool_t *ptemp)
{
    ...

    if (!prev_log_writer_init) {
        void* f;

        f = ap_log_set_writer_init(ap_syslog_writer_init);
        if (f != ap_syslog_writer_init) {
            prev_log_writer_init = f;
        }
        f = ap_log_set_writer(ap_syslog_writer); // ap_syslog_writerの内容については省略
        if (f != ap_syslog_writer) {
            prev_log_writer = f;
        }
    }

    return OK;
}

つまり、上記の例で言えばprev_log_writer_initとprev_log_writerに従来の処理へのコールバック関数のポインタが入るわけです。なお、この2関数が返値を返すようになったのはApache2.2以降なので、Apache2.0 系ではそのままでは使用できません。一応、同名の関数から旧い値を返させるだけで動作するところまでは確認していますが、もしお試しの際はご注意ください。

＊＊＊

このように、Apacheからアクセスログを出力するにあたり、モジュールの追加だけでも結構な機能追加ができることが分かります。しかも、添付の例をご覧のように、わずかなコード量で実現できています。あったらいいな、こんなことできたらうれしいな、というちょっとした発想を柔軟に取り入れられるApacheの仕組みにはやはり目を見張るものがありますね。

klab_gijutsu2 at 16:56│apache | 運用