shell批量获取日志
最近日志比较多, 而且压缩了日志, 并没有上ELK. 临时需要来获取项目的运行日志, 并且解压呈现出来.
1.需求环境
apache/nginx 并且指定一个本地服务器的log服务作为web服务对外的路径.
这里我用的本地的/home/www/log/
shell运行环境. 我用的debian
2.脚本如下
需要获取三个目录的日志, 因为现在日志命名问题, 所以取了三个数组来循环.
提供最近3天的log获取和全量日志获取.
使用了scp来同步日志.
############################
#!/bin/bash
set -e
declare -a log_proj1 log_work log_proj2
proj_name="proj1 proj2 proj3"
bak_dir="/home/www/logs/"
file_tailer='.log.gz'
d0_date=`date +%F`.log.`date +%Y%m%d`
d1_date=`date +%F`.log.`date +%Y%m%d`
d2_date=`date -d -1day +%F`.log.`date -d -1day +%Y%m%d`
d3_date=`date -d -2day +%F`.log.`date -d -2day +%Y%m%d`
d4_date=`date -d -3day +%F`.log.`date -d -3day +%Y%m%d`
# proj1
log_proj1[1]='main-'${d0_date}.*
log_proj1[2]='main-'${d1_date}_*${file_tailer}
log_proj1[3]='main-'${d2_date}_*${file_tailer}
log_proj1[4]='main-'${d3_date}_*${file_tailer}
log_proj1[5]='main-'${d4_date}_*${file_tailer}
# proj2
log_proj2[1]='console-'${d0_date}.*
log_proj2[2]='console-'${d1_date}_*${file_tailer}
log_proj2[3]='console-'${d2_date}_*${file_tailer}
log_proj2[4]='console-'${d3_date}_*${file_tailer}
log_proj2[5]='console-'${d4_date}_*${file_tailer}
# proj3
log_proj3[1]='console-'${d0_date}.*
log_proj3[2]='console-'${d1_date}_*${file_tailer}
log_proj3[3]='console-'${d2_date}_*${file_tailer}
log_proj3[4]='console-'${d3_date}_*${file_tailer}
log_proj3[5]='console-'${d4_date}_*${file_tailer}
sync_3_day_log() {
for i in ${proj_name}
do
if [ ! -d "$bak_dir$i" ];
then
mkdir "$bak_dir$i"
fi
logs="log_"${i}"[@]"
for log in ${!logs}
do
scp -P2222 user@123.456.789.10:/logs/project/${i}/$log $bak_dir > /dev/null 2>&1
full_log=$bak_dir$i/$log
if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
then
gzip -d $full_log
fi
done
done
echo 'Sync done'
}
sync_all_log() {
for i in ${proj_name}
do
if [ ! -d "$bak_dir$i" ];
then
mkdir "$bak_dir$i"
fi
scp -r -P1022 user@123.456.789.10:/logs/project/${i}/ $bak_dir > /dev/null 2>&1
echo "All "$i" log sync done!\n";
for log in `ls -la $bak_dir$i | awk '{print $9}'`
do
full_log=$bak_dir$i/$log
if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
then
gzip -d $full_log
fi
done
done
echo 'Sync done'
}
#sync_3_day_log
sync_all_log