shell脚本处理大文件缓慢问题

王喜鑫

我有一个文件需要处理，但是这个文件特别的大，之前求助得到了一个处理方法  sed -i  ':label;N;s/+\n//;b label' filename,
这个方法处理一个比较大文件，需要六七分钟，实在太慢了，
请问有哪位高手有好的方法优化一下吗？当然如果用perl写也可以
我要做的内容就是：寻找文件里的特定字符+，找到+后，把+后边一行合并到+后边，然后还要删掉+，其他的不做处理。

A1985

1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all small file

王喜鑫

   

A1985 发表于 2021-9-17 11:53
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all sma ...

多谢，按照您的方法解决了

rutan

厉害，学习了