0

Windows用のSyslog Clientを作った

既存のwindows用のsyslogクライアントはオープンソースじゃなかったり、有料だったり、windowsのEventLogを全部転送してくれるんだけどEventLogへの書き込みに管理者権限が必要だったりで手軽に使えるものが無かったので作った。
syslogにちょっと書き込みたいだけなのに色んなツール組み合わせないとならないのがおかしい。

Syslog Client for Windows


https://github.com/shokai/syslog-client-for-windows

不具合などは@shokaigithubのissueにお願いします

使い方


syslog-client.exeをダウンロードして適当にPATHの通っている場所(C:¥windows¥system32¥とか?)に置いてから

% syslog-client -help
% syslog-client -host syslog.example.com hello world
% syslog-client -host syslog.example.com hello world -tag WARN -pid 100

このようにsyslogに書き込んでくれる。syslog-ngにちゃんと書き込めてたし、その出力をfluentd経由でMongoDBに読み込ませたりもやってる。


例:ログイン・ログアウトした時にユーザー名を送信する


こういう login.bat を作って
syslog-client -host syslog.example.com -tag INFO "%username% login at %COMPUTERNAME%"

Windowsスタートメニューの「ファイル名を指定して実行」から、「gpedit.msc」を起動。
ユーザーの構成→Windowsの設定→スクリプト(ログオン/ログオフ)に、bat追加すると実行してくれる

引数つけて実行するだけでsyslog飛ばせるので便利万歳だと思う。


実装

Rubyで書いてocraでexeに固めた。

ocraはrubyスクリプトをインタプリタごと1つのexeに固めてくれるソフトで、gemで提供されている。
% gem install ocra
% ocra myapp.rb
するとmyapp.exeができる。ファイルサイズはだいたい2MBぐらいになる。

WinXPでビルドして、Windows7と8でも動いた。よく出来てる。

Rubyで書いたので、exeに固める前のライブラリ部分をTravis CIでテストできるのも精神的衛生上良かった。


windows8ってsystem32に置けないの?

C:¥windows¥system32¥に置くと
Fatal error: Failed to open executable ~~
というようなエラーがでて起動しないんだけど、どこに置くのが作法なのかよくわからない。他の場所に置いてフルパスで実行すればちゃんと動く。

0

fluentdにsyslog-ngのログファイルを全部流し込みたい

バイト先(大学)で、syslog-ngに流れてくるログをfluentdに流し込もう事になった。最終的にMongoDBに入れる。
windows/mac/unix系など色々なOSが入り乱れた環境なので、各ホストからはsyslogで飛ばすのがいいらしい。んで、最終的にモダーンなfluentdやmongodbに通して使おうという感じ。
(特にnt-syslogがすごいよくできてて、windowsなのにちゃんとutf-8で送ってくれるしえらい)

fluentdのプラグインを作り始めたけどまだ完成してない。なんか間違ってるとかこうした方がいいという情報あったら教えてください。

(ちなみにgem search fluent –remote | grep tail で見つかる物は全部ソース読んだり試したけど要求仕様を満たすgemは無かったです)


syslogをfluentdに流し込む

fluentdのtailプラグインにはsyslogフォーマットがあるので、こんな感じで読める

<source>
type tail
path /var/log/path/to/syslog_file
tag syslog.test
format syslog
</source>

<match syslog.**>
type mongo
database fluent
collection syslog
host localhost
port 27017
</match>
mongodbに貯まる。

syslog-ngの出す複数のログファイルをfluentdに流し込みたい


syslog-ngの書き出し先はこんな感じになっていたので
destination d_erns { file (/var/log/syslogs/$HOST_FROM/$HOST_FROM-$YEAR$MONTH.log);};

ログを送りつけてくるホストの数だけディレクトリが生成され、月毎のファイルに書き込まれる。
複数ファイルをtailしなければならない。


ワイルドカードでtailできるfluentd input pluginを作る

tailプラグインを見てみると、fseekなどを駆使して自前でtail -F相当の処理をするように実装されていた。
で、ソースを読むとtailプラグインはカンマ区切りで複数ファイルを監視できるようになっている。
じゃあこれをちょっと拡張すればいいのでは?と思って、pathをワイルドカードで指定できるinput pluginを作った。


in_wildtail.rb
module Fluent
class WildTailInput < TailInput
Plugin.register_input('wildtail', self)

def configure(conf)
conf["path"] = Dir.glob(conf["path"]).join(',')
super
end
end
end

/etc/fluent/plugin/in_wildtail.rb として保存して、

<source>
type wildtail
path /var/log/syslogs/*/*.log
tag syslog.test
format syslog
</source>

これで全てのログファイルを追えるようになった。


毎月のログファイル切り替えに追随する

月毎に新しいログファイルに追記されるようになっている。
また、新しいホストが増えたら自動的にディレクトリが掘られて、そこにログファイルが書き出される。

ファイルやディレクトリが増えたことを検知する機能をwildtailプラグインに追加したい。しかしThreadで定期的に回すのはfluentdの動作の妨げになりそう。

fluentdのgemspecを見るとcool.ioというイベント駆動ライブラリを使っていた。
cool.ioの作法に従って書けばfluentdの動作の邪魔にはなりにくそう。


というわけでcool.ioでディレクトリ監視するのを試しに書いてみた。
require 'cool.io'

class LogFileWatcher < Cool.io::StatWatcher

def initialize(path)
super path, 0.1
end

def on_change(previous, current)
p previous
p current
puts "-"*5
end
end

reactor = Cool.io::Loop.new
watcher = LogFileWatcher.new "/Users/sho/src/ruby/tmp/coolio"

reactor.attach watcher
reactor.run

扱い方がよくわからないオブジェクトで通知されるけど、とにかく指定したディレクトリで何か変更があるとイベントが起こる。
lsするだけで反応するけど。

これを組み込めばなんとかなるのではないか?
という所までがんばった。

うまくいったらgemする。