学Linux - 上红联!
Linux系统教程_红联Linux门户
Linux帮助

利用Shell脚本进行文件内容去重

时间:2017-10-06来源:linux网站 作者:clumsy_geek
最近在处理文件的时候,遇到文件内容存在大量重复项的情况,很显然需要文件内容去重。因为使用的是Python,本来想要找找Python文件内容去重的方法,但是看到的基本利用Set或者List等方法(还没来得及逐一验证)。后来,找到一个利用Shell脚本写的文件内容去重,用了一下觉得很赞,在这里深入的研究一下,也算是对Shell了解和熟悉一下。
 
shell脚本如下所示:
#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*
 
脚本运行的命令如下:(假如文件保存的名字为:merge_sort.sh)
./merge_sort.sh file_to_be_sort file_sorted
 
下面,来说明一下脚本中几个比较重要的命令。
wc -l命令的意思就是统计文本的行数,但是得到的结果如下图所示:
利用Shell脚本进行文件内容去重
除了得到文本的所有行外,文件的名字也输出了,如果只要得到行数,后面的内容需要替换掉。
 
sed命令可以完成数据的搜索并替换,具体格式如下:
sed 's/要被取代的字串/新的字串/g'
sed 's/ .*//g'命令的意思是把除换行符以外的任意字符去掉。
 
split命令用于分割文件。-d表示分割后的文件后缀用数字代替字母。-l表示分割后的文件中,每个文件有多少行。
sort命令用于对文件内容进行排序。-s表示稳定排序,可以让sort不在关键词相同的时候再比较一整行(一般是要关键词相同的时候,才比较一整行),-u删除重复项,-m合并所有文件。
 
这里,只是对脚本中几个重要的命令的一些简要说明。其实,这几个命令有更加强大的用法。后续慢慢体会吧。
 
本文永久更新地址:http://www.linuxdiyf.com/linux/32736.html
------分隔线------