红联Linux门户
Linux帮助

shell快速迁移海量文件

发布时间:2016-02-21 10:18:18来源:linux网站作者:skate

同事的写的一个脚本,觉得非常好,实用性很强,精致短小,特记录与此,方便以后查用.

业务需求:需要把一个目录下的1000多万个文件迁移到远程机器。
思路:用wget来把文件一个一个的迁移过去,因为文件数量比较大,如果一下在循环操作,会非常慢。所以分批操作,采用化整为零的方法。


具体的shell脚本如下:

#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
for b in $a
do
c=`expr $b + 100000`
for loop in `sed -n "$b,$c"p $1`
do
path=`echo $loop | awk -F "/" '{print $1"/"$2"/"$3"/"$4}'`
mkdir -p $path
/usr/bin/wget http://172.16.111.163/$loop -P $path
echo $loop >> $1.log
done
done
fi


本文永久更新地址:http://www.linuxdiyf.com/linux/18252.html