橋本商会

既存のwindows用のsyslogクライアントはオープンソースじゃなかったり、有料だったり、windowsのEventLogを全部転送してくれるんだけどEventLogへの書き込みに管理者権限が必要だったりで手軽に使えるものが無かったので作った。
syslogにちょっと書き込みたいだけなのに色んなツール組み合わせないとならないのがおかしい。

Syslog Client for Windows

https://github.com/shokai/syslog-client-for-windows

不具合などは@shokaiかgithubのissueにお願いします

使い方

syslog-client.exeをダウンロードして適当にPATHの通っている場所(C:¥windows¥system32¥とか？)に置いてから

% syslog-client -help

% syslog-client -host syslog.example.com hello world

% syslog-client -host syslog.example.com hello world -tag WARN -pid 100

このようにsyslogに書き込んでくれる。syslog-ngにちゃんと書き込めてたし、その出力をfluentd経由でMongoDBに読み込ませたりもやってる。

例：ログイン・ログアウトした時にユーザー名を送信する

こういう login.bat を作って

syslog-client -host syslog.example.com -tag INFO "%username% login at %COMPUTERNAME%"

Windowsスタートメニューの「ファイル名を指定して実行」から、「gpedit.msc」を起動。
ユーザーの構成→Windowsの設定→スクリプト（ログオン/ログオフ）に、bat追加すると実行してくれる

引数つけて実行するだけでsyslog飛ばせるので便利万歳だと思う。

実装

Rubyで書いてocraでexeに固めた。

ocraはrubyスクリプトをインタプリタごと1つのexeに固めてくれるソフトで、gemで提供されている。

% gem install ocra

% ocra myapp.rb

するとmyapp.exeができる。ファイルサイズはだいたい2MBぐらいになる。

WinXPでビルドして、Windows7と8でも動いた。よく出来てる。

Rubyで書いたので、exeに固める前のライブラリ部分をTravis CIでテストできるのも精神的衛生上良かった。

windows8ってsystem32に置けないの？

C:¥windows¥system32¥に置くと

Fatal error: Failed to open executable ~~

というようなエラーがでて起動しないんだけど、どこに置くのが作法なのかよくわからない。他の場所に置いてフルパスで実行すればちゃんと動く。

バイト先（大学）で、syslog-ngに流れてくるログをfluentdに流し込もう事になった。最終的にMongoDBに入れる。
windows/mac/unix系など色々なOSが入り乱れた環境なので、各ホストからはsyslogで飛ばすのがいいらしい。んで、最終的にモダーンなfluentdやmongodbに通して使おうという感じ。
（特にnt-syslogがすごいよくできてて、windowsなのにちゃんとutf-8で送ってくれるしえらい）

fluentdのプラグインを作り始めたけどまだ完成してない。なんか間違ってるとかこうした方がいいという情報あったら教えてください。

（ちなみにgem search fluent –remote | grep tail で見つかる物は全部ソース読んだり試したけど要求仕様を満たすgemは無かったです）

syslogをfluentdに流し込む

fluentdのtailプラグインにはsyslogフォーマットがあるので、こんな感じで読める

<source>

  type tail

  path /var/log/path/to/syslog_file

  tag syslog.test

  format syslog

</source>



<match syslog.**>

  type mongo

  database fluent

  collection syslog

  host localhost

  port 27017

</match>

mongodbに貯まる。

syslog-ngの出す複数のログファイルをfluentdに流し込みたい

syslog-ngの書き出し先はこんな感じになっていたので

destination d_erns { file (/var/log/syslogs/$HOST_FROM/$HOST_FROM-$YEAR$MONTH.log);};

ログを送りつけてくるホストの数だけディレクトリが生成され、月毎のファイルに書き込まれる。
複数ファイルをtailしなければならない。

ワイルドカードでtailできるfluentd input pluginを作る

tailプラグインを見てみると、fseekなどを駆使して自前でtail -F相当の処理をするように実装されていた。
で、ソースを読むとtailプラグインはカンマ区切りで複数ファイルを監視できるようになっている。
じゃあこれをちょっと拡張すればいいのでは？と思って、pathをワイルドカードで指定できるinput pluginを作った。


in_wildtail.rb

module Fluent

  class WildTailInput < TailInput

    Plugin.register_input('wildtail', self)



    def configure(conf)

      conf["path"] = Dir.glob(conf["path"]).join(',')

      super

    end

  end

end

/etc/fluent/plugin/in_wildtail.rb として保存して、

<source>

  type wildtail

  path /var/log/syslogs/*/*.log

  tag syslog.test

  format syslog

</source>

これで全てのログファイルを追えるようになった。

毎月のログファイル切り替えに追随する

月毎に新しいログファイルに追記されるようになっている。
また、新しいホストが増えたら自動的にディレクトリが掘られて、そこにログファイルが書き出される。

ファイルやディレクトリが増えたことを検知する機能をwildtailプラグインに追加したい。しかしThreadで定期的に回すのはfluentdの動作の妨げになりそう。

fluentdのgemspecを見るとcool.ioというイベント駆動ライブラリを使っていた。
cool.ioの作法に従って書けばfluentdの動作の邪魔にはなりにくそう。


というわけでcool.ioでディレクトリ監視するのを試しに書いてみた。

require 'cool.io'



class LogFileWatcher < Cool.io::StatWatcher



  def initialize(path)

    super path, 0.1

  end



  def on_change(previous, current)

    p previous

    p current

    puts "-"*5

  end

end



reactor = Cool.io::Loop.new

watcher = LogFileWatcher.new "/Users/sho/src/ruby/tmp/coolio"



reactor.attach watcher

reactor.run

扱い方がよくわからないオブジェクトで通知されるけど、とにかく指定したディレクトリで何か変更があるとイベントが起こる。
lsするだけで反応するけど。

これを組み込めばなんとかなるのではないか？
という所までがんばった。

うまくいったらgemする。