CentOS 6.5+Syslog-ng+LogZilla搭建中央日志服务器

概述
 
syslog-ng是基于syslog协议的Unix和类Unix系统的开源软件。它基于原来syslogd的模型，扩展了富的过滤功能，灵活的配置选项，添加了重要的功能，如使用TCP进行传输系统日志。logzilla 是一个 syslog 和其他网络事件数据的 Web 前端工具,提供简单易用的日志浏览、搜索和基本分析以及图表显示。
 
本文环境为CentOS 6.5平台部署SYSLOG-NG+LOGZILLA，其中logzilla 2.99o为最后一免费版本。

环境要求
 
CENTOS 6.5 X64

安装过程
 
安装介质
 
http://www.balabit.com/downloads/files?path=/syslog-ng/open-source-edition/3.3.5/source/ eventlog_0.2.12.tar.gz
 
syslog-ng_3.3.5.tar.gz
 
http://www.balabit.com/downloads/files?path=/libol/0.3/
 
libol-0.3.15.tar.gz
 
http://blog.liuts.com/attachment.php?fid=340
 
logzilla_v2.9.9o.tgz
 
SYSLOG-NG配置
 
用root用户登录
 
调整时间
 
#hwclock --set --date="2014/06/04 19:49"
 
#hwclock -hctosys
 
配置本地YUM源
 
#mkdir /mnt/cdrom
 
#mount /dev/cdrom /mnt/cdrom
 
#cd /etc/yum.repos.d/
 
#mv rhel-source.repo rhel-source.repo.bak
 
#vi media.repo

[media]
 
name=media
 
baseurl=file:///mnt/cdrom
 
enabled=1
 
gpgcheck=0
 
配置前先关闭iptables和SELINUX，避免安装过程中报错。

# service iptables stop
 
# setenforce 0
 
# vi /etc/sysconfig/selinux
 
SELINUX=disabled
 
安装MYSQL PHP APACHE
 
# yum install mysql-server mysql-devel libcurl-devel net-snmp-devel php php-gd php-xml php-mysql  httpd
 
安装eventlog
 
创建安装目录
 
#mkdir /etc/eventlog
 
将安装文件解压至安装目录
 
上传安装文件至/etc/eventlog下
 
#tar zxvf eventlog_0.2.12.tar.gz
 
编译安装
 
#cd /etc/eventlog/eventlog-0.2.12
 
#./configure --prefix=/etc/eventlog && make && make install
 
安装libol(最新的libol可能导致Syslog-NG不能安装)
 
创建安装目录
 
# /mkdir /etc/libol
 
将安装文件解压至安装目录
 
上传安装文件至/etc/libol下
 
#tar xvf libol-0.3.15.tar
 
编译安装
 
#cd /etc/libol/libol-0.3.15
 
#./configure --prefix=/etc/libol && make && make install
 
安装Syslog-NG
 
创建安装目录
 
# mkdir /etc/syslogng
 
将安装文件解压至安装目录
 
上传安装文件至/etc/syslogng下
 
#tar zxvf syslog-ng_3.3.5.tar.gz
 
编译安装
 
#cd /etc/syslogng/syslog-ng-3.3.5
 
#export PKG_CONFIG_PATH=/etc/eventlog/lib/pkgconfig
 
#./configure --prefix=/etc/syslogng --with-libol=/etc/libol && make && make install
 
configure: error: Cannot find eventlog version >= 0.2: is pkg-config in path? (若出现这个错误，基本上是由于前面的PKG_CONFIG_PATH变量没指定好)
 
编辑SYSLOG-NG配置文件

#cp contrib/init.d.RedHat /etc/init.d/syslog-ng
 
#cd /etc/syslogng/etc/
 
#mv syslog-ng.conf syslog-ng.conf.bak
 
#vi syslog-ng.conf
 
@version:3.3.5
 
options {
 
long_hostnames(off);
 
log_msg_size(8192);
 
flush_lines(1);
 
log_fifo_size(20480);
 
time_reopen(10);
 
use_dns(yes);
 
dns_cache(yes);
 
use_fqdn(yes);
 
keep_hostname(yes);
 
chain_hostnames(no);
 
perm(0644);
 
stats_freq(43200);
 
};

source s_internal {
 
internal();
 
};

source s_local {
 
unix-stream("/dev/log" max-connections(50));
 
file("/proc/kmsg" program_override("kernel: "));
 
};
 
#使用514端口会与服务器本身的RSYSLOG产生冲突，建议可直接关闭RSYSLOG，配置SYSLOGNG同时接受服务器日志。

source s_src {
 
tcp(ip(0.0.0.0) port(514));
 
udp(ip(0.0.0.0) port(514));
 
};

destination d_syslognglog {
 
file("/var/log/syslog-ng.log");
 
};

destination d_mysql {
 
program("/usr/bin/mysql -usyslogadmin -psyslogadmin syslog"
 
template("INSERT INTO logs (host, facility, priority, level, tag, fo, program, msg, seq)    

VALUES ( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL', '$TAG', '$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC', '$PROGRAM', '$MSG', '$SEQ' );\n")
 
template-escape(yes));

};

#在服务器文件下保存信息,用于调试mysql接收到数据
 
#destination r_messages {
 
#      file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages"

#      owner("root") group("root")

#      perm(0640) dir_perm(0750)

#      create_dirs(yes)
 
#      );
 
#};

log {
 
source(s_internal);
 
destination(d_syslognglog);
 
};
 
log {
 
source(s_local);
 
destination(d_mysql);
 
#      destination(r_messages);
 
};

log {
 
source(s_src);
 
destination(d_mysql);
 
#        destination(r_messages);
 
};

设置开机启动

#vi /etc/init.d/syslog-ng
 
开头添加
 
#!/bin/bash
 
#chkconfig: 2345 12 88
 
#Description: syslog-ng
 
修改PATH INIT_PROGINIT_OPTS
 
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/etc/syslogng/bin:/etc/syslogng/sbin
 
INIT_PROG="/etc/syslogng/sbin/syslog-ng"                # Full path to daemon      

INIT_OPTS="-f /etc/syslogng/etc/syslog-ng.conf"          # options passed to daemon
 
赋权限，添加服务
 
#chmod +x /etc/init.d/syslog-ng
 
#chkconfig --add syslog-ng
 
#service syslog-ng start

Starting syslog-ng: /usr/local/syslog-ng/sbin/syslog-ng: error while loading shared libraries: libevtlog.so.0: cannot open shared object file: No such file or directory

Starting Kernel Logger: 出现此错误是因为共享库链接没做好

#ln -s /etc/eventlog/lib/* /lib/

#ln -s /etc/eventlog/lib/* /lib64/

防火墙开放服务端口
 
#service iptables start
 
/sbin/iptables -I INPUT -p tcp --dport 514 -j ACCEPT
 
/sbin/iptables -I INPUT -p udp --dport 514 -j ACCEPT

#/etc/init.d/iptables save
 
#/etc/init.d/iptables status
 
LOLZILLA配置

用root用户登录
 
配置前先关闭iptables和SELINUX，避免安装过程中报错。
 
# service iptables stop
 
# setenforce 0
 
# vi /etc/sysconfig/selinux
 
SELINUX=disabled
 
上传安装文件至apache目录下
 
# cd /var/www/html
 
# tar zxvf logzilla_v2.9.9o.tgz
 
#chown -R root.root php-syslog-ng
 
#service mysqld restart
 
#service httpd restart
 
修改php环境
 
为配合php-syslog-ng对php环境的要求，请修改/etc/php.ini中的内容为：
 
display_errors = On
magic_quotes_gpc = On
memory_limit =256M
max_execution_time = 90
 
创建日志目录
 
# mkdir -p /var/log/httpd/php-syslog-ng
# mkdir -p /var/log/php-syslog-ng
 
配置虚拟机(配置apache安全)
 
这部分，请根据apache实际情况操作。以默认系统为例，虚拟主机配置文件都放在/etc/httpd/conf/httpd.conf，加入下面内容。
 
# PHP-SYSLOG-NG
 
<VirtualHost *:80>
 
ServerName zbserver
 
ServerAdmin zhjixi1234@163.com
 
DocumentRoot /var/www/html/php-syslog-ng/html
 
<Directory />
 
Options FollowSymLinks
 
AllowOverride All
 
</Directory>
 
<Directory /var/www/html/php-syslog-ng/html>
 
# pcw No directory listings
 
# Options Indexes FollowSymLinks MultiViews
 
Options -Indexes FollowSymLinks MultiViews
 
AllowOverride All
 
Order allow,deny
 
allow from all
 
</Directory>
 
<Directory /var/www/html/php-syslog-ng/html/config>
 
Deny from all
 
</Directory>
 
ErrorLog /var/log/httpd/php-syslog-ng/error.log
 
# Possible values include: debug, info, notice, warn, error, crit,
 
# alert, emerg.
 
LogLevel warn
 
CustomLog /var/log/httpd/php-syslog-ng/access.log combined
 
ServerSignature On
 
</VirtualHost>

修改权限
 
chmod 777 /var/www/html/php-syslog-ng/html/config
 
chmod 777 /var/www/html/php-syslog-ng/html/jpcache
 
chmod 777 /var/www/html/php-syslog-ng/html/config/config.php
 
重启服务
 
#service httpd restart
 
WEB配置
 
在浏览器输入网址，进入安装向导
 
访问http://IP

查看协议：

配置数据库参数：

其中需要注意：

MySQL User Name：填入数据库管理用户，其必须有创建数据库和分派权限的能力；

MySQL Password：数据库管理用户的密码；

(可以使用 set password=password('密码');flush privileges;)

MySQL Database Name：php-syslog-ng使用的数据库命令，安装程序会使用上面的用户自动创建；

MySQL Port：数据库使用的端口

MySQL Table Prefix：表的前缀，但不要使用'old_'，其代表备份表；

Syslog User Name：php-syslog-ng用这个用户读取数据库信息；

Syslog User Password：其密码；

Syslog Admin Name：php-syslog-ng用这个用户写入数据库信息；

Syslog Admin Password：其密码；

Drop Existing Tables：是否删除已存在的表；

Backup Old Tables：是否备份旧的表；

Install Sample Data：是否安装示例数据；

Install CEMDB Data：是否安装用于收集Cisco ERROR TABLE的数据。

如果你选择安装CEMDB数据，这需要花费一定的时间：

输入网页的标题：

输入php-syslog-ng的管理信息：

可输入管理员的Email地址，以及管理员密码。

php-syslog-ng会自动创建一个随机密码，及时修改。

安装完成，并会提示你管理员的信息：

至此Web部分已经完成。
但因为，syslog-ng还未把数据导向mysql，所以，此时网页中并没有数据的。

可能遇见报时区不正确，修改/etc/php.ini，添加

date.timezone = "Asia/Chongqing"

重启httpd服务

修改脚本路径

cd /var/www/html/php-syslog-ng/scripts

sh fixpaths.sh

注：若php-syslog-ng所在路径有html，需要修改脚本。

配置计划任务

若使用php-syslog-ng对日志进行集中管理，其数据量可能是相当巨大的，必须考虑日志循环的问题。可以使用计划任务实现。

配置计划任务
使用crontab -e加入：

# PHP-Syslog-NG

@daily php /var/www/html/php-syslog-ng/scripts/logrotate.php >> /var/log/php-syslog-ng/logrotate.log

@daily find /var/www/html /php-syslog-ng/html/jpcache/ -atime 1 -exec rm -f '{}' ';'

0,5,10,15,20,25,30,35,40,45,50,55 * * * * php /var/www/html /php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log

注意：

1、请把运行dbgen.pl的命令删除，该脚本只是用于产生演示数据，详见后面说明。
2、执行php脚本的时候可能会包oci8.so错误，后面也有说明。
3、原find语句存在Bug，请加入-type f选项，否则会报如下的错误：
rm: cannot remove `/var/www/html/php-syslog-ng/html/jpcache/': Is a directory

配置日志循环

# cp /var/www/html/php-syslog-ng/scripts/contrib/system_configs/logrotate.d /etc/logrotate.d/php-syslog-ng

至此，php-syslog-ng已经全部配置完成

防火墙开放服务端口

#service iptables start

问题整理

报错

Unable to open 'lpd_graph.jpeg' for writing: Permission denied in /var/www/html/php-syslog-ng/html/includes/blocks/graph-logs_per_day.php on line 164

调整权限/var/www/html/php-syslog-ng/html/lpd_graph.jpeg权限为777

点击"Graph"的时候，报错：

JpGraph Error Font file "/usr/share/fonts/corefonts/verdana.ttf" is not readable or does not exist.

原因是，新版的php-syslog-ng考虑到旧版字库版权的问题，使用了verdana.ttf字库。而当前系统目录该字库。

解决办法：从Windows\Fonts目录中拷贝到上述的路径即可；

mkdir -p /usr/share/fonts/truetype/msttcorefonts/

上传文件

图例：

由于PHP版本过高，报错

Deprecated: Function split() is deprecated

将问题页面的plit("\n",$txt)方法替换为preg_split('/\n/',$txt)方法

Deprecated: Function ereg() is deprecated

将问题页面的ereg("\n",$txt)方法替换为preg_match('/\n/',$txt)方法

Deprecated: Function session_unregister()

替换为$_SESSION = NULL

scripts中的脚本

对scripts目录中其他的文件讲解以下：
请留意，.sh结尾的是bash脚本，可直接执行；而.pl的是perl脚本，使用perl执行；而.php结尾的是php脚本，需使用php命令执行。

1、logrotate.php
对php-syslog-ng中的表进行日志循环，其与系统的logrotate不同。该脚本的执行结果，是把每天的日志表备份起来，并创建一个新的日志表供读写。在crontab下，每天自动执行一次。

2、syslog2mysql.sh
该脚本是用于创建mysql的pipe管道，让syslog-ng可通过该管道写入mysql中。在crontab下，系统系统的时候自动运行。

3、reloadcache.php
该脚本的作用是，当有新的host加入syslog-ng后，更新mysql中的信息。在crontab下，每5分钟运行一次。

4、resetusers.sh
用于重置用户表，当忘记admin密码的时候，可运行它。重置后，管理员用户名和密码都是admin。

5、drop-old-tables.php
当php-syslog-ng运行一段时间后，由logrotate.php可能会产生大量的旧日志表。使用这个脚本，可删除具有相同前缀的表，例如logs_*等，可方便管理。

6、dbgen.pl
logs表无数据，运行../php-syslog-ng/scripts/contrib/dbgen/dbgen.pl

# perl dbgen.pl

Can't locate Net/MySQL.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at dbgen.pl line 22.

BEGIN failed--compilation aborted at dbgen.pl line 22.

该脚本用于产生一些演示数据，在测试php-syslog-ng是否正常时可以运行，其会插入大量数据到mysql中。
因其使用perl编写，故需要使用Net::MySQL模块。
安装模块及运行：

# cp MySQL.pm /usr/lib64/perl5/Net/
#perl /var/www/html/php-syslog-ng/scripts/dbgen.pl

注意：这个脚本只是演示而已，实际没什么用的。而官方提供的crontab文件里是每小时执行一次的，应把它删掉。

/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT

#/etc/init.d/iptables save

#/etc/init.d/iptables status

Web安全问题

若您配置虚拟主机的时候，使用php-syslog-ng的根目录作为Web根目录，请小心scripts的安全问题。应增加类似：

<Directory "/var/www/phpsyslogng/scripts">
Deny from all
</Directory>
<Directory "/var/www/phpsyslogng/config">
Deny from all
</Directory>

执行php脚本的时候报错

报错信息如下：

# php /var/www/html/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib/php/modules/oci8.so' - /usr/lib/php/modules/oci8.so: undefined symbol: OCINlsCharSetNameToId in Unknown on line 0

原因是oci8.so（php和Oracle的接口）不能在未定义前执行，这里也不会使用到该模块。
所以，请修改/etc/php.d/oci8.ini，改为：

; extension=oci8.so

重启httpd服务即可。

◎若一定要使用该模块，可把执行命令的报错信息去掉，即改为：

# php /var/www/html/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log 2>/dev/null

但这样就不能看到错误信息了。

WEB不能显示日志问题

因PHP4与当syslog-ng版本，不能正常显示CISCO设备日志问题引起，将CEMDB.class.php替换成支持CISCO设备的旧文件。

搜索缓存图表只显示两天的数据，最近三天没有数据？

解决方法：
由于search_cache表采用的是MEMORY存储引擎，有大小的限制，修改一下/etc/my.cnf，在[MYSQLD]添加：
tmp_table_size=1G
max_heap_table_size = 1G
再重启mysql就可以了。

效果图：

注：以上图片上传到红联Linux系统教程频道中。

总结

搭建完成后，还有一堆问题。

感觉LOGZILLA这个2.99免费版本功能不是很完善，BUG很多，例如搜索页面很多的HOST等列表并不能自动刷新。等等等。
这个版本感觉也就不建议使用在大型的生产系统上。