Shell脚本编程进阶：sed与awk几个实战小例子

一口Linux

击左上方蓝色“一口Linux”，选择“设为星标”
第一时间看干货文章
?【干货】嵌入式驱动工程师学习路线?【干货】Linux嵌入式知识点-思维导图-免费获取?【就业】一个可以写到简历的基于Linux物联网综合项目?【就业】简历模版

icnmhj43kb264087598212.gif

xcflkmr5xfv64087598312.jpg

一、sed与awk：文本处理的双子星在Shell脚本的世界里，sed和awk就像瑞士军刀中的两把利刃，sed擅长流式编辑，awk精于字段处理。它们配合基础命令，能解决90%的文本处理需求。
bash# sed基础示例：替换文本
echo"Hello World" | sed 's/World/Linux/'
# awk基础示例：提取字段
echo "Alice 25 F" | awk '{print $1 " is " $3}'
适用场景对比

工具	核心优势	典型应用场景	性能特点
sed	模式匹配与替换	批量替换、行过滤、简单转换	轻量级，处理速度快
awk	字段分析与处理	数据统计、报表生成、复杂转换	支持编程逻辑，处理结构化数据高效

二、sed高级用法实战1. 多模式操作与地址定位bash# 同时执行多个替换（-e参数）
sed -e 's/foo/bar/' -e 's/hello/hi/' input.txt
# 特定行操作（地址定位）
sed '3,5s/old/new/' file.txt          # 只替换3-5行
sed '/pattern/s/old/new/' file.txt    # 匹配pattern的行才替换
2. 反向引用与分组bash# 重组日期格式（从YYYY-MM-DD到DD/MM/YYYY）
echo"2023-08-15" | sed -E 's/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/'
# 提取HTML标签内容
echo"Shell编程" | sed -E 's/]*)>([^/\2/'
3. 保持空间与模式空间（高级存储）bash# 交换相邻两行（使用保持空间）
sed -n '1{h;n};G;s/
/ /;p' text.txt
# 删除重复行（相当于uniq）
sed '$!N; /^\(.*\)
\1$/!P; D' duplicates.txt
sed常用参数对比表

参数	长参数	作用	使用示例
-n	--quiet	禁止默认输出	sed -n 'p' file
-i	--in-place	直接修改文件	sed -i.bak 's/old/new/' file
-E	--regexp-extended	扩展正则	sed -E 's/(ab)+/\1/'
-r		GNU扩展正则(同-E)	sed -r 's/(ab)+/\1/'
-e	--expression	指定编辑命令	sed -e 's/a/b/' -e 's/c/d/'

三、awk高级用法实战1. 字段处理与条件判断bash# 条件统计（统计大于阈值的行）
awk -v threshold=80'$3 > threshold {count++} END {print count}' data.txt
# 字段重组（重新排列列顺序）
awk '{print $3, $1, $2}' names.txt
# 多字段分隔符（同时使用空格和冒号）
awk -F'[ :]''{print $2, $4}' log.txt
2. 数组与统计运算bash# 词频统计（类似wordcount）
awk'{for(i=1;i$i]++} END {for(word in count) print word, count[word]}' text.txt
# 分组求和（按第一列分组，求第二列和）
awk '{sum[$1]+=$2} END {for(k in sum) print k, sum[k]}' sales.dat
3. 自定义函数与复杂逻辑bash# 定义并使用函数
awk'
function to_upper(str) {
    return toupper(str)
}
{print to_upper($1)}
' names.txt
# 处理多文件关联
awk 'NR==FNR {data[$1]=$2; next} $1 in data {print $0, data[$1]}' file1 file2
awk常用参数对比表

参数	作用	典型应用	示例
-F	指定字段分隔符	处理非空格分隔数据	awk -F: '{print $1}' /etc/passwd
-v	定义变量	传递外部参数	awk -v n=5 '{print $n}' file
-f	指定脚本文件	复杂逻辑复用	awk -f script.awk data.txt
-W [option]	兼容模式	处理不同版本差异	awk -W posix '{print length()}'

zcpy3pgco5064087598412.jpg

四、sed与awk联合实战1. 日志处理流水线bash# 提取nginx日志中特定时间的IP地址
cat access.log | sed -n '/15\/Aug\/2023:14:/p' | awk '{print $1}' | sort | uniq -c | sort -nr
# 解析CSV并计算（处理带引号的字段）
sed 's/"//g' data.csv | awk -F, '{sum+=$3} END {print sum/NR}'
2. 数据格式转换bash# JSON转CSV（简化版）
sed's/{//;s/}//;s/"//g' data.json | awk -F': ''{gsub(/,/,"",$2); print $1","$2}'
# 固定宽度转分隔符
sed 's/  */,/g' fixed_width.txt | awk -F, '{print $2,$4,$6}'
联合使用场景对比

任务类型	sed主要负责	awk主要负责	组合优势
数据清洗	去除噪声字符	字段验证与修正	先粗筛后精修
格式转换	结构拆解	字段重组	分阶段处理
统计分析	数据过滤	计算与聚合	各司其职
报表生成	模板填充	数据插入	分离逻辑与展示

五、性能优化技巧1. 处理大文件时的策略bash# 流式处理（避免内存问题）
sed's/old/new/' bigfile.txt | awk '{print $2}' > result.txt
# 并行处理（使用GNU parallel）
parallel --pipe -k sed 's/old/new/' '{print $3}'
2. 常用优化技巧对比

优化点	sed实现	awk实现	效果提升
减少管道	组合命令	内置函数	30-50%
预编译正则	使用-E	直接使用	10-20%
避免回溯	具体匹配	锚定模式	2-5倍
批量操作	-f脚本	-f脚本	维护性提升

六、实战案例：Apache日志分析1. 高频访问IP统计bashawk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10
# 增强版（包含时间过滤）
sed -n '/15\/Aug\/2023:1[4-5]/p' access.log | awk '{ip[$1]++} END {for(i in ip) print ip,i}' | sort -nr
2. 请求类型统计bashawk'{print $6}' access.log | sed 's/"//g' | sort | uniq -c
# 增强版（统计各类型流量）
awk '{gsub(/"/,"",$6); type[$6]++; size[$6]+=$10} END {for(t in type) print t,type[t],size[t]}' access.log
七、错误处理与调试1. 常见问题排查表

问题现象	可能原因	解决方案
替换未生效	特殊字符未转义	使用-E模式和\转义
字段错位	分隔符不匹配	检查-F或字段编号
内存不足	处理大文件	使用流式处理或split
性能低下	复杂正则	简化模式或预过滤

2. 调试技巧bash# sed调试（显示处理过程）
sed -n 'p;l' file.txt
# awk调试（打印行号与字段）
awk '{print NR,NF,$0}' file.txt
# 逐步执行（复杂脚本）
awk -f script.awk --debug file.txt

八、扩展资源推荐1.经典书籍：
《sed & awk》- Dale Dougherty
《Effective awk Programming》- Arnold Robbins
2.在线工具：
AWK在线测试器
正则表达式调试器
3.进阶方向：
GNU awk的扩展功能（时间处理、TCP/IP通信）
sed的标签跳转与分支控制
与Shell脚本的深度集成技巧
掌握这些sed和awk的高级用法后，你会发现大多数文本处理任务都能在几行命令内解决，无需动用Python等重型工具。
记住：文本处理三境界——能用grep的不用sed，能用sed的不用awk，能用awk的不用Python！
end

一口Linux

关注，回复【1024】海量Linux资料赠送
精彩文章合集
文章推荐
?【专辑】ARM?【专辑】粉丝问答?【专辑】所有原创?【专辑】linux入门?【专辑】计算机网络?【专辑】Linux驱动?【干货】嵌入式驱动工程师学习路线?【干货】Linux嵌入式所有知识点-思维导图