工控高频故障排查串口无数据、程序被杀、网络断连、IO 读写异常工控设备出故障不分白天黑夜排查思路决定了你是5分钟搞定还是通宵折腾。一、故障排查方法论工控现场故障排查不是玄学遵循一套方法论可以大幅缩短定位时间三步法日志优先 → 隔离定位 → 逐步排除日志优先出问题第一时间看日志dmesg、syslog、应用日志80%的问题日志里都有线索隔离定位把问题范围缩小——是硬件还是软件是内核还是用户空间是网络还是本地逐步排除一次只改一个变量改完验证不要同时动多个地方故障发生 │ ├─→ 看日志dmesg / syslog / 应用日志 │ │ │ ├─ 有明确报错 → 针对性修复 │ └─ 无明确报错 → 继续隔离 │ ├─→ 隔离范围 │ ├─ 硬件层→ 换线/换板/量电压 │ ├─ 内核层→ dmesg / 驱动日志 │ └─ 应用层→ strace / gdb │ └─→ 逐步排除 → 修复 → 验证二、故障1串口无数据串口是工控设备最常用的通信接口串口收不到数据是最高频的故障之一。2.1 排查步骤# 第一步确认设备节点存在ls-l/dev/ttyS*# 如果节点不存在说明驱动没加载或DTS没配置# 第二步检查设备权限ls-l/dev/ttyS1# crw-rw---- 1 root dialout 4, 65 Jan 1 00:00 /dev/ttyS1# 你的用户是否在dialout组groups# 查看当前用户所属组# 如果不在dialout组usermod-aGdialout your_user# 第三步确认串口参数stty-F/dev/ttyS1-a# 重点看speed(波特率), cs(数据位), parenb(校验), cstopb(停止位)# 第四步检查DTS配置# 串口是否在设备树中启用# 查看内核日志中串口驱动注册信息dmesg|grepttyS# [ 0.823451] ff0a0000.serial: ttyS1 at MMIO 0xff0a0000 ...# 第五步硬件接线排查# TX-RX交叉接GND共地确认电平匹配TTL/RS232/RS4852.2 用loopback测试隔离硬件和软件# 短接TX和RX自发自收测试# 先设置串口参数stty-F/dev/ttyS19600cs8-cstopb-parenb-echo# 终端1读串口cat/dev/ttyS1# 终端2写串口echotest/dev/ttyS1# 如果终端1看到test说明串口驱动正常问题在硬件接线或对端设备# 如果看不到说明串口驱动/硬件有问题2.3 常见原因速查现象可能原因解决方案设备节点不存在DTS未使能串口修改DTSstatus“okay”Permission denied用户不在dialout组usermod -aG dialout收到乱码波特率不匹配stty设置正确波特率只收不发/只发不收TX/RX接反或硬件方向控制检查接线RS485检查DE/RE控制间歇性丢数据流控未配置/缓冲区溢出启用硬件流控或降低波特率三、故障2程序被杀/OOM工控程序莫名消失没有core dump没有异常日志——大概率是被OOM Killer干掉了。3.1 确认是否被OOM# 查看内核日志中的OOM记录dmesg|grep-ioom\|killed process# 典型输出# [1234.567] Out of memory: Killed process 1234 (myapp) total-vm:512MB ...# 或者查看sysloggrep-ioom/var/log/sysloggrep-ikilled process/var/log/messages3.2 内存泄漏排查# 方法1top/sar持续监控内存趋势top-b-d10-p$(pidof myapp)# 如果RSS持续增长不回落基本确认内存泄漏# 方法2proc文件系统查看进程内存映射cat/proc/$(pidof myapp)/status|grep-iVmRSS\|VmSize# VmRSS: 进程实际占用物理内存# VmSize: 进程虚拟内存总大小# 方法3valgrind定位泄漏点开发环境valgrind --leak-checkfull --show-leak-kindsall ./myapp# 方法4查看进程的内存映射找异常大块cat/proc/$(pidof myapp)/smaps|grep-E^[0-9a-f]|RSS3.3 OOM防护配置# 方法1调整OOM分数值越低越不容易被杀echo-1000/proc/$(pidof myapp)/oom_score_adj# -1000表示完全免疫OOM killer# 方法2限制进程内存使用防止吃光系统内存# 在程序启动脚本中设置ulimitulimit-v524288# 限制虚拟内存512MB./myapp# 方法3systemd服务配置内存限制# /etc/systemd/system/myapp.service[Service]MemoryMax512MMemoryHigh400M# 超过MemoryHigh开始回收超过MemoryMax触发cgroup OOM3.4 代码层面预防/* 常见内存泄漏场景malloc后忘记free *//* 使用valgrind编译选项辅助排查 */// gcc -g -fsanitizeaddress -o myapp myapp.c/* 工控程序推荐做法定期自检内存 */#includesys/resource.hvoidcheck_memory_usage(void){structrusageusage;getrusage(RUSAGE_SELF,usage);printf(RSS: %ld KB\n,usage.ru_maxrss);/* 超过阈值主动告警/重启自身 */if(usage.ru_maxrss400*1024){/* 400MB */syslog(LOG_WARNING,Memory usage too high: %ld KB, restarting,usage.ru_maxrss);/* 通知看门狗然后主动退出由systemd重启 */exit(1);}}四、故障3网络断连4.1 排查链路# 第一步物理链路状态ethtooleth0# 重点看 Link detected: yes/no# Speed/Duplex是否匹配# 第二步IP地址和路由ipaddr show eth0iproute show# 第三步DHCP获取情况dmesg|grep-idhcp# [ 15.234] eth0: DHCP lease acquired, IP192.168.1.100# 第四步DNS解析测试nslookupwww.baidu.com# 解析失败说明DNS配置有问题# 第五步连通性测试ping-c4192.168.1.1# 网关ping-c48.8.8.8# 外网IPping-c4www.baidu.com# 外网域名# 第六步端口连接状态netstat-tlnp# 监听端口netstat-tnp# 活动连接ss-tnp# netstat的现代替代4.2 常见网络故障场景ADHCP超时获取不到IP# 查看DHCP客户端日志journalctl-uNetworkManager# 或cat/var/log/syslog|grepdhclient# 解决增大DHCP超时时间# /etc/dhcp/dhclient.conftimeout60;# 默认30秒工控网络可能需要更长retry3;# 或者配置静态IP作为fallback场景B网线热插拔后网络不恢复# 检查NetworkManager或network服务systemctl status NetworkManager systemctl status networking# udev规则配置网线插拔事件# /etc/udev/rules.d/70-persistent-net.rules# 确保MAC地址绑定正确# 手动重新获取IPdhclient-reth0dhclient eth0场景C防火墙阻断# 查看iptables规则iptables-L-n-v# 查看nftables新版系统nft list ruleset# 临时清空规则测试iptables-F# 如果清空后恢复正常说明是防火墙规则问题五、故障4IO读写异常5.1 文件系统损坏# 查看文件系统错误dmesg|grep-iext4\|error\|corrupt\|I/O error# 典型错误# EXT4-fs error (device mmcblk0p2): ext4_find_entry: reading directory# 检查并修复文件系统需要先卸载umount/dev/mmcblk0p2 fsck.ext4-y/dev/mmcblk0p2# 如果根文件系统损坏需要在U-Boot中修复或重新烧录5.2 NAND坏块# 查看MTD设备信息cat/proc/mtd# mtd0: 00400000 00020000 bootloader# mtd1: 00800000 00020000 kernel# mtd2: 08000000 00020000 rootfs# 检查坏块nanddump-b/dev/mtd2# 列出坏块# 或mtd_debugread/dev/mtd200x1000 /tmp/test# 内核日志中的坏块信息dmesg|grep-ibad block\|nand# [ 12.345] nand: device found: bad block at 0x01200000# UBI层自动处理坏块但坏块过多需要换芯片ubiattach /dev/ubi_ctrl-m2cat/sys/class/ubi/ubi0/bad_peb_count5.3 设备节点消失# 设备节点突然消失通常是驱动崩溃或设备掉线# 查看USB设备lsusb# 查看PCI设备lspci# 查看所有已注册的字符设备cat/proc/devices# 重新加载驱动rmmod my_driver modprobe my_driver# udevadm触发设备重新枚举udevadm trigger六、故障5开机不启动这是最严重的故障——设备完全无响应。6.1 串口调试台输出分析用USB转TTL连接设备的调试串口观察启动日志U-Boot 2017.09 (Jul 13 2026) # 如果卡在这里 → U-Boot阶段问题 # 检查Bootloader是否烧录正确DDR初始化是否成功 Starting kernel ... # 如果卡在这里 → 内核加载问题 # 检查kernel.img是否完整加载地址是否正确 [ 0.000000] Linux version 5.10.x ... [ 2.345] VFS: Cannot open root device mmcblk0p2 # 如果卡在这里 → rootfs挂载失败 # 检查rootfs分区是否完整root参数是否正确 [ 3.456] Kernel panic - not syncing: VFS: Unable to mount root fs # 内核panic系统停止6.2 U-Boot命令行排查# 进入U-Boot命令行启动时按任意键printenv# 查看环境变量bootcmd# 查看启动命令mmc dev0# 切换到SD卡mmc info# 查看SD卡信息load mmc0:1 0x80080000 kernel.img# 手动加载内核bootm 0x80080000# 手动启动内核6.3 常见不启动原因现象原因解决方案串口无任何输出电源/Bootloader损坏检查电源重新烧录BootloaderU-Boot卡死DDR不稳定检查DDR配置降频测试Kernel panicrootfs找不到/损坏检查root参数修复rootfs启动循环重启看门狗超时/内核崩溃关闭看门狗测试分析panic日志停在Starting kernelDTB不匹配/内核配置错误确认DTB与硬件版本一致七、故障6看门狗误触发重启设备运行正常但周期性重启日志中无明显错误——可能是看门狗误触发。7.1 确认是否看门狗复位# 查看重启原因cat/proc/sys/kernel/random/boot_id# 每次启动不同lastreboot# 查看重启历史# 查看复位原因不同平台命令不同# 瑞芯微平台cat/sys/kernel/debug/rk3x-wdt/reboot_reason# 或io-40xfdd09040# 读取复位原因寄存器# 内核日志dmesg|grep-iwatchdog\|reboot\|reset# [ 10.234] rk3568-wdt: watchdog timeout, system reset7.2 排查喂狗线程阻塞# 用strace跟踪喂狗进程strace-p$(pidof watchdog_feeder)-T-tt# 如果看到某个系统调用阻塞时间很长就是问题所在# 用perf分析喂狗线程的调度延迟perf sched record-p$(pidof watchdog_feeder)--sleep30perf sched latency7.3 解决方案# 1. 增大超时时间临时缓解# 修改喂狗程序中的超时设置# 2. 确保喂狗线程不被阻塞# - 喂狗线程不获取任何锁# - 不调用可能阻塞的IO函数# - 使用SCHED_FIFO实时调度策略# 3. 设置喂狗线程为实时优先级chrt-f-p80$(pidof watchdog_feeder)# -f: SCHED_FIFO, 80: 优先级# 4. 检查系统负载是否过高top-b-n1|head-20# 如果load average很高可能CPU被占满喂狗线程得不到调度八、常用排查命令速查表命令用途关键参数dmesg内核日志-T显示时间戳,--levelerr只看错误top进程CPU/内存-d 5刷新间隔,-H显示线程iostat磁盘IO统计-x详细统计,-d 5间隔vmstat虚拟内存统计vmstat 5每5秒一次netstat/ss网络连接-tlnp监听端口,-tnp活动连接strace系统调用跟踪-p PID跟踪进程,-T显示耗时lsof打开的文件-p PID指定进程tcpdump网络抓包-i eth0指定网卡,port 8080过滤端口ethtool网卡状态eth0查看链路状态smartctl磁盘健康-a /dev/sda查看SMART信息journalctlsystemd日志-u myapp指定服务,--since todayfree内存使用-h人类可读df磁盘空间-h人类可读,-iinode使用九、预防性运维建议1. 日志先行所有关键操作必须有日志记录包括启动/退出、异常恢复、看门狗喂狗、网络重连。出问题时日志是你唯一的线索。2. 心跳上报# 定期上报设备状态到服务器# /opt/scripts/heartbeat.sh#!/bin/bashSTATUS_URLhttps://server.example.com/api/heartbeatDEV_ID$(cat/etc/device_id|cut-d-f2)UPTIME$(cat/proc/uptime|awk{print $1})MEM_FREE$(free-m|awk/Mem:/{print $4})DISK_FREE$(df-h/|awkNR2{print $5})curl-s-XPOST$STATUS_URL-did${DEV_ID}uptime${UPTIME}mem${MEM_FREE}disk${DISK_FREE}3. 自动恢复机制看门狗系统级保底死机自动复位systemd Restartalways进程崩溃自动重启网络自动重连NetworkManager或自定义重连脚本磁盘自动清理超过阈值自动清理旧日志4. 固件版本可追溯每台设备的固件版本、硬件版本、部署日期都必须可查。出问题时第一件事是确认版本避免在旧版本上排查已修复的bug。# 一键导出设备诊断信息#!/bin/bash# /opt/scripts/diag.shecho Device Info cat/etc/versioncat/etc/device_idecho Uptime uptimeecho Memory free-hecho Disk df-hecho Network ipaddr showecho dmesg (last 50) dmesg|tail-50echo Top Processes top-b-n1|head-20echo Recent Reboots lastreboot|head-5排查故障不是靠运气是靠方法论和经验积累。把这套排查流程刻在脑子里现场遇到问题就不会慌。