急！sed处理超大文本文件（21G）时内存不够。。

发布时间:2012-02-16 18:32:38来源:红联作者:木万万

我想提取数据库的一张表的6个特定列，现大小已为21G。因为导出的文本文件每条记录当中也有某些是存在换行的，这个要实现的时候我用了复合命令”;“。然后用管道再用awk提取目的列。但命令敲出后，内存消耗飙升，最后不得不停掉。我是想问，是不是第一步我去掉换行（去掉意外换行后仍有八千多万条记录）的时候就已经破坏sed的管道操作，有没有好的建议。