1. 从“命令堆叠”到“自动化思维”我理解的Shell脚本学习路径如果你在Linux或macOS的命令行里待过一段时间大概率会和我一样经历过一个从“手动敲命令”到“尝试写脚本”的转变。最开始你可能只是把几个命令用分号连起来比如cd /path/to/project git pull npm install。这其实就是脚本的雏形——一种命令的堆叠。但当你发现同样的操作需要每天重复或者逻辑变得复杂比如需要判断文件是否存在、循环处理一批数据时你就会意识到是时候系统性地学习Shell脚本了。Shell脚本远不止是“把命令写进一个文件然后执行”。它是一门胶水语言核心价值在于自动化和流程编排。它能将操作系统内核的强大能力文件操作、进程管理、网络通信与各种命令行工具grep, awk, sed, curl等无缝粘合起来解决那些图形界面操作繁琐、重复性高的任务。无论是服务器运维日志分析、备份、监控、开发环境搭建一键部署脚本还是本地文件批处理Shell脚本都是不可或缺的利器。我写这篇笔记不是想照搬教科书而是想分享我从“入门”到感觉“稍微精通”这个过程中那些真正有用的知识点、踩过的坑以及如何将零散命令组织成健壮、可维护脚本的思维转变。我们会从最基础的语法开始但很快会深入到变量作用域、错误处理、性能优化等实战中才会遇到的问题。无论你是运维工程师、开发者还是任何需要与命令行打交道的技术爱好者希望这篇超过五千字的“笔记”能成为你手边一份实用的参考。2. 环境与基础不止是#!/bin/bash很多人学Shell脚本第一行写上#!/bin/bash就以为万事大吉了。这没错但了解背后的“为什么”能让你少走很多弯路。2.1 Shell解释器选择Bash不是唯一#!被称为 Shebang 或 Hashbang它告诉系统用哪个解释器来执行这个脚本。最常用的是 BashBourne-Again SHell它是大多数Linux发行版的默认Shell功能强大。但还有其他的#!/bin/sh指向POSIX兼容的Shell可能是Bash的兼容模式也可能是更精简的dash。写通用性要求极高的系统脚本如/etc/init.d/下的启动脚本时可能会用这个但功能受限。#!/usr/bin/env bash这是一种更灵活的写法。它通过env命令在系统的PATH环境变量中寻找bash而不是写死路径。这在你无法确定bash的绝对安装路径例如在macOS或某些自定义环境中时特别有用。我个人的习惯是除非有严格的POSIX兼容要求否则一律使用#!/usr/bin/env bash可移植性更好。注意在Windows的Git Bash或WSL中写脚本Shebang同样有效它保证了脚本在Unix-like环境中的执行方式。2.2 脚本的诞生与执行权限是关键创建一个脚本文件myscript.sh写入内容后直接运行./myscript.sh很可能会报错Permission denied。这是因为新建的文件默认没有可执行权限。# 赋予脚本所有者可执行权限 chmod x myscript.sh # 或者更精确地 chmod 755 myscript.sh现在你就可以用./myscript.sh来执行了。这里的./表示当前目录是必须的因为安全原因当前目录通常不在系统的PATH环境变量里。你也可以把脚本放到PATH包含的目录如~/bin/或/usr/local/bin/然后就能像系统命令一样直接调用myscript.sh。2.3 基础语法快速过变量、引号与条件变量Shell变量赋值等号两边不能有空格引用变量用$。nameWorld echo Hello, $name # 输出Hello, World引号这是新手大坑。双引号会解析变量和部分特殊字符如$,\,其他字符原样输出。这是最常用的。单引号所有内容原样输出不进行任何解析。反引号或$()用于命令替换先执行里面的命令然后用输出结果替换。$()更推荐因为它可以嵌套且更清晰。current_dirpwd # 旧式写法 current_dir$(pwd) # 推荐写法 echo Current dir is: $current_dir条件判断[ ]或[[ ]]。[[ ]]是Bash的扩展更强大也更安全能避免很多单词分割和路径扩展的坑支持,||和正则匹配~。if [[ -f /path/to/file $USER root ]]; then echo File exists and you are root. fi-f是测试文件是否存在的操作符类似的还有-d目录、-z字符串为空等。3. 核心进阶让脚本变得健壮和高效掌握了基础你的脚本能跑了但可能很脆弱。一个回车、一个空格、一个命令失败就可能让它崩溃。接下来我们解决这些问题。3.1 错误处理不要让脚本“静默地失败”默认情况下Shell脚本会忽略命令执行中的错误继续往下跑。这非常危险。想象一个备份脚本rm -rf /backup/* tar -czf backup.tar.gz /data如果删除旧备份失败比如权限问题它依然会尝试打包可能覆盖掉旧的备份。set -e是你的第一道防线。把它放在脚本开头Shebang之后任何命令的返回值exit code非零即失败脚本就会立即退出。#!/usr/bin/env bash set -e cd /some/directory # 如果目录不存在脚本直接退出不会执行后面的危险操作 rm important_file但有时某些命令允许失败比如用grep查找某个可能不存在的模式。你可以临时关闭-e选项或者使用更精细的控制command || true即使command失败也返回真脚本继续。if ! command; then ... fi主动检查命令状态。set e和set -e配对使用在允许失败的代码块前set e块后再set -e。set -u防止使用未定义变量。这能帮你揪出因为拼写错误导致的变量名错误。#!/usr/bin/env bash set -u echo $my_var # 如果 my_var 未定义脚本会立即报错退出而不是输出空行。set -o pipefail处理管道错误。默认情况下管道|中最后一个命令的返回值才是整个管道的返回值。set -o pipefail使得管道中任何一个命令失败整个管道就视为失败。#!/usr/bin/env bash set -e set -o pipefail # 如果 grep 没找到内容返回非零整个管道失败脚本因 set -e 而退出 cat file.txt | grep pattern | sort我通常会在严肃的脚本开头加上这三兄弟set -euo pipefail。这被称为“严格模式”它能极大地提高脚本的健壮性。3.2 输入与参数灵活与安全并重脚本需要与外部交互。除了直接读取变量更常见的是通过命令行参数和用户输入。位置参数$0是脚本名$1,$2... 是第一个、第二个参数。$代表所有参数列表$#代表参数个数。#!/usr/bin/env bash echo 脚本名: $0 echo 第一个参数: $1 echo 所有参数: $ echo 参数个数: $#shift命令它用于移动位置参数。shift将$2变成$1$3变成$2以此类推$1被丢弃。这在处理多个选项参数时非常有用比如实现一个简单的选项解析循环#!/usr/bin/env bash while [[ $# -gt 0 ]]; do case $1 in -f|--file) FILENAME$2 shift 2 # 移走 -f 和它的值 ;; -v|--verbose) VERBOSE1 shift # 移走 -v ;; *) echo 未知参数: $1 exit 1 ;; esac done echo 文件是: $FILENAMEread命令用于从标准输入读取用户输入。read -p 请输入你的名字: username echo 你好, $username使用-p指定提示符-s可以静默输入用于密码-t可以设置超时。3.3 函数模块化与代码复用当脚本超过50行你就该考虑使用函数了。函数让代码更清晰、更易维护。#!/usr/bin/env bash # 定义函数 log_info() { local message$1 # local 关键字声明局部变量避免污染全局 echo [INFO] $(date %Y-%m-%d %H:%M:%S) - $message } # 调用函数 log_info 脚本开始执行 # 带返回值的函数 is_file_exist() { local fname$1 if [[ -f $fname ]]; then return 0 # 0 在Shell中代表真/成功 else return 1 fi } if is_file_exist /etc/passwd; then log_info 文件存在 fi关键点local变量函数内定义的变量默认是全局的这很容易导致意想不到的副作用。务必使用local关键字声明函数内使用的变量。返回值Shell函数通过return返回一个退出状态码0-2550表示成功。它不是返回数据。要返回数据通常用echo输出然后在调用处用命令替换$(function_name)来捕获。get_path() { echo /usr/local/bin } my_path$(get_path)4. 实战精要文本处理、循环与并发Shell脚本最强大的能力之一就是处理文本和自动化重复任务。4.1 文本处理三剑客grep, sed, awkgrep查找。最常用-E支持扩展正则-v反选-c计数。# 查找包含 error 或 warning 的行忽略大小写 grep -Ei error|warning /var/log/syslog # 查找不以 # 开头的行过滤注释 grep -v ^# config.confsed流编辑器用于对文本行进行替换、删除、插入。# 将文件中的所有 foo 替换为 bar只替换每行第一个 sed s/foo/bar/ file.txt # 全局替换每行所有 sed s/foo/bar/g file.txt # 删除所有空行 sed /^$/d file.txt # 就地修改文件-i 选项危险但常用建议先不加 -i 测试 sed -i.bak s/old/new/g file.txt # 会先备份一个 file.txt.bakawk一门强大的文本处理语言尤其擅长处理字段化的文本如CSV、日志。# 打印 /etc/passwd 的第一列用户名和第三列用户ID awk -F: {print $1, $3} /etc/passwd # 计算第二列的总和 awk {sum $2} END {print sum} data.txt # 条件处理打印第一列大于10的行 awk $1 10 {print $0} data.txt-F指定字段分隔符默认是空格。$1,$2... 代表第几个字段$0代表整行。BEGIN和END块在处理开始前和结束后执行。4.2 循环与数组处理批量任务for循环最常用。# 遍历一个列表 for fruit in apple banana orange; do echo I like $fruit done # 遍历命令输出例如遍历当前目录下的 .txt 文件 for file in *.txt; do echo Processing $file # 对每个文件进行操作比如 wc -l $file done # C语言风格的循环 for ((i0; i10; i)); do echo Number: $i done数组Bash支持一维数组。# 定义数组 fruits(apple banana orange) # 访问元素 echo ${fruits[0]} # apple # 访问所有元素 echo ${fruits[]} # 数组长度 echo ${#fruits[]} # 遍历数组 for fruit in ${fruits[]}; do echo $fruit donewhile循环常用于读取文件或等待某个条件。# 逐行读取文件 while IFS read -r line; do echo Line: $line done input.txt # 注意IFS 防止行首尾空格被修剪-r 防止反斜杠转义被解释。 # 无限循环直到条件满足 while true; do # 做一些检查... if [[ -f /tmp/flag ]]; then break fi sleep 1 done4.3 并发与控制让脚本跑得更快有时候需要处理大量独立任务串行执行太慢。可以用将命令放到后台运行实现简单的并发。#!/usr/bin/env bash # 一个简单的并发下载例子注意控制并发数别把服务器搞挂了 url_list(url1 url2 url3 url4 url5) max_jobs3 # 最大并发数 current_jobs0 for url in ${url_list[]}; do # 启动一个后台下载任务 wget -q $url ((current_jobs)) # 如果后台任务数达到上限等待任意一个完成 if [[ $current_jobs -ge $max_jobs ]]; then wait -n # 等待任意一个后台进程结束 ((current_jobs--)) fi done wait # 等待所有剩余的后台进程结束 echo 所有下载完成这里用wait -nBash 4.3来等待任意一个后台任务结束是一种常见的并发控制模式。更复杂的并行可以用xargs -P或者GNU parallel工具。5. 调试、性能与最佳实践脚本写完了怎么知道它有没有问题跑得慢怎么办怎么让别人也能看懂和维护5.1 调试技巧让问题无处遁形-x调试模式在脚本开头加set -x或者在执行时用bash -x script.sh。它会打印出脚本执行的每一行命令变量会被展开是追踪逻辑错误和变量值的神器。-v详细模式set -v会打印出脚本的原始行变量未展开适合检查语法。组合使用bash -xv script.sh可以同时看到原始命令和展开后的命令。局部调试可以在怀疑的代码块前后加上set -x和set x只调试特定部分。trap命令用于捕获信号和脚本退出可以在脚本异常退出时执行清理操作如删除临时文件。cleanup() { echo 正在清理临时文件... rm -f /tmp/temp_*.$$ } trap cleanup EXIT INT TERM # 在脚本退出、被中断、被终止时调用 cleanup 函数5.2 性能考量Shell不是万能的Shell脚本擅长协调和粘合但不适合做密集计算。一些性能Tips避免在循环中调用外部命令特别是像awk,sed,grep这样的命令每次启动都有开销。尽量把数据通过管道一次性传给它们处理或者使用Shell内置的字符串操作。# 慢每次循环都调用一次 cat 和 wc for file in *.log; do lines$(cat $file | wc -l) echo $file: $lines done # 快使用 awk 一次处理所有文件 wc -l *.log | awk {print $2 : $1} | head -n -1 # head 去掉最后的汇总行使用[[ ]]代替[ ]和test[[ ]]是Shell关键字性能比外部命令[ ]或test好。慎用cat很多时候cat file | grep pattern俗称“无用的cat”可以直接写成grep pattern file。对于超大型文件或复杂计算考虑用Python、Perl等更高效的语言。5.3 最佳实践写出可维护的脚本添加注释在文件头说明脚本的用途、作者、参数、示例。在复杂的逻辑块前添加注释。使用有意义的变量名避免使用a,b,x这样的名字。用config_file,backup_dir,is_debug。对路径变量加引号防止路径中有空格导致错误。几乎所有的变量引用都应该加双引号除了在数值比较等特定场合。# 正确 cp $source_file $dest_dir # 危险如果 $source_file 包含空格会被拆分成多个参数 cp $source_file $dest_dir使用$(command)而不是反引号如前所述$()支持嵌套更清晰。错误信息输出到标准错误使用echo Error message 2这样可以将正常输出和错误输出分离便于重定向。为脚本设置一个清晰的退出码exit 0表示成功非零表示失败。可以定义不同的非零码代表不同的错误类型。考虑使用shellcheck这是一个静态分析工具能检查出脚本中的语法问题、常见陷阱和风格问题。在写脚本时运行一下shellcheck your_script.sh能帮你避免很多低级错误。6. 常见“坑”与应对策略结合网络热词里提到的“shell中常见坑”这里总结几个高频问题空格陷阱赋值等号两边不能有空格[ ]或[[ ]]内部操作符和变量之间必须有空格。var value # 错误会尝试运行命令 ‘var’ varvalue # 正确 if [ $var -eq 1 ]; then ... # 如果 $var 为空会变成 [ -eq 1 ]语法错误。应加双引号if [ $var -eq 1 ]变量未引用的分词Word Splitting这是最大的坑之一。当变量未加双引号时Shell会按空格、制表符等将其拆分成多个部分。filesfile1.txt file2.txt rm $files # 如果文件名中有空格比如 “my file.txt”这会被拆分成 “my” 和 “file.txt” 两个参数导致错误。 rm $files # 错误这会把整个字符串当作一个文件名。 # 正确做法是使用数组 files(file1.txt my file.txt) rm ${files[]}通配符的意外扩展当路径中包含*或?时Shell会在执行命令前先进行文件名扩展。# 假设当前目录下没有 .txt 文件 pattern*.txt ls $pattern # 如果 $pattern 未加引号且扩展失败ls 会直接收到参数 “*.txt”可能报错 ls $pattern # 加了引号ls 会尝试查找名为 “*.txt” 的文件行为更符合预期。cd命令的副作用cd命令如果失败目录不存在脚本可能还在错误的目录下继续执行。总是检查cd的返回值。cd /some/path || { echo 无法进入目录; exit 1; } # 或者使用 pushd/popd pushd /some/path /dev/null || exit # ... 操作 ... popd /dev/null管道中的变量作用域失效在管道|中创建的变量其作用域仅限于该子Shell父Shell中无法访问。count0 cat file.txt | while read line; do ((count)) # 这个 count 是子Shell中的变量 done echo Total lines: $count # 输出 0因为父Shell的 count 没变 # 解决方法使用进程替换或重定向 while read line; do ((count)) done file.txt echo Total lines: $count # 正确7. 从脚本到工具一个完整的项目示例最后我们用一个相对完整的例子把前面讲的知识点串起来。假设我们要写一个脚本log_analyzer.sh用来分析Nginx访问日志统计每个IP的访问次数并输出访问量前5的IP。#!/usr/bin/env bash # 文件名: log_analyzer.sh # 描述: 分析Nginx访问日志统计IP访问频次 # 用法: ./log_analyzer.sh [日志文件路径] [输出前N名默认5] # 示例: ./log_analyzer.sh /var/log/nginx/access.log 10 set -euo pipefail # 定义颜色输出可选让输出更友好 RED\033[0;31m GREEN\033[0;32m NC\033[0m # No Color # 函数打印错误信息并退出 error_exit() { echo -e ${RED}[ERROR] $1${NC} 2 exit 1 } # 函数打印信息 log_info() { echo -e ${GREEN}[INFO] $1${NC} } # 主逻辑开始 main() { local log_file$1 local top_n${2:-5} # 使用第二个参数如果未提供则默认为5 # 1. 参数检查 if [[ $# -lt 1 ]]; then echo 用法: $0 日志文件 [前N名] exit 1 fi if [[ ! -f $log_file ]]; then error_exit 日志文件不存在: $log_file fi if ! [[ $top_n ~ ^[0-9]$ ]]; then error_exit 前N名参数必须是数字: $top_n fi log_info 开始分析日志文件: $log_file log_info 显示访问量前 $top_n 的IP # 2. 临时文件处理使用进程替换避免创建真实文件 # 使用 awk 提取第一列假设IP在第一列排序并计数 log_info 正在处理数据... echo ---------------------------------------- printf %-15s %s\n IP地址 访问次数 echo ---------------------------------------- awk {print $1} $log_file | sort | uniq -c | sort -rn | head -n $top_n | while read count ip; do printf %-15s %s\n $ip $count done echo ---------------------------------------- log_info 分析完成。 } # 执行主函数并传递所有脚本参数 main $这个脚本体现了严格模式set -euo pipefail。函数化错误处理和信息打印封装成函数。参数处理检查参数个数和有效性提供默认值。健壮性检查检查文件是否存在参数是否为数字。核心文本处理使用awk,sort,uniq,head管道组合高效完成任务。清晰的输出格式使用printf对齐表格。用户友好有颜色提示可选和清晰的步骤信息。学习Shell脚本的过程就是一个不断将手动操作抽象化、逻辑化、自动化的过程。从写一行命令到写一个简单的脚本再到写出带参数解析、错误处理、日志记录的生产级工具每一步都是思维的提升。记住多写、多试、多踩坑遇到问题多查手册man bash是你的终极宝典善用shellcheck你就能越来越熟练地驾驭这门强大的自动化语言。