1. sed
sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
sed [OPTION] 'address Command ' file,...
其中, address用于指定所要操作的行,Command用于指定操作的命令.
OPTION
- -n:静默模式,不显示模式空间中的内容
- -i:直接修改原文件(谨慎使用)
- -e SCRIPT -e SCRIPT:可以指定同时指定多个脚本
- -f /PATH/TP/SED_SCRIPT:从文本中加载脚本
- -r:使用扩展正则表达式
address
指定要操作的位置.
起始行,结束行
.
function:
- a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行).
- c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行.
- d :删除,因为是删除啊,所以 d 后面通常不接任何东西;
- i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行).
- p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行.
- s :取代,可以直接进行取代的工作.通常这个 s 的动作可以搭配正规表示法!例如
1,20s/old/new/g
.
示例
1 | 将文件中,三位以上数字,并且后面有逗号的字符串替换为空.例如`2345,` |
unip
对文件进行去重
示例
1 | 对1.txt排序,去重,在排序之后输出到1_tmp.txt |
1.txt的内容为:
1 | 1 |
处理之后为:
1 | 1 |
sort
对文件排序
示例
1 | 对1.txt排序 |
1.txt内容为:
1 | 1 |
排序后为:
1 | 1 |
comm
comm命令可以用于两个文件之间的比较,它有一些选项可以用来调整输出,以便执行交集、求差、以及差集操作。
参数:
1 | -1:不显示在第一个文件出现的内容; |
示例:
1 | 求交集(在两个文件中都出现) |
实际的一个使用场景
其实这本来是mysql的工作,我需要将第一个表的主键在第二个表中的数据过滤掉.之后统计一下有多少条.
像我这种老实人,肯定就使用in
语句了,结果,,,,好特么慢啊.
后来在大佬的提示下用上面几个命令完成了.
将两个表的主键都导出成文件,然后comm
一下子就完事了,速度杠杠的!
参考链接
https://blog.csdn.net/tianmohust/article/details/6997924
完。
ChangeLog
2019-01-11 完成以上皆为个人所思所得,如有错误欢迎评论区指正。
欢迎转载,烦请署名并保留原文链接。
更多学习笔记见个人博客——>呼延十