Prometheus 监控 IPMI 全栈实战从服务器温度到风扇转速的硬件可观测性现代数据中心里服务器的硬件健康状态常被忽视直到一次过热宕机或电源故障才追悔莫及。IPMI智能平台管理接口是服务器 BMC基板管理控制器提供的标准管理协议能够暴露温度、电压、风扇转速、功耗、电源状态等关键硬件指标。Prometheus 通过官方ipmi_exporter直接与 BMC 通信将这些底层物理信号转化为标准化时序数据让你的服务器硬件像应用一样透明。本文将带你从部署 FreeIPMI、配置 ipmi_exporter到解读核心指标、构建 Grafana 大屏与告警全面掌控服务器硬件的每一次呼吸。1. 为什么使用 ipmi_exporter直接抓取 BMC无需在服务器操作系统内安装 Agent通过网络直接查询 BMC即使服务器关机也能获取部分状态取决于 BMC 电源。丰富硬件指标覆盖 CPU 温度、内存温度、风扇转速、电压CPU、内存、电源、功耗、机箱入侵、系统事件日志SEL等。标准化协议IPMI 2.0 被各大服务器厂商Dell、HPE、Lenovo、Supermicro广泛支持。官方维护prometheus-community/ipmi_exporter活跃更新支持 FreeIPMI 作为后端性能稳定。2. 部署 ipmi_exporteripmi_exporter 依赖FreeIPMI库与工具。它通过 FreeIPMI 的/usr/sbin/ipmimonitoring或ipmi-sensors命令与 BMC 通信。2.1 在 Exporter 主机上安装 FreeIPMI# Debian/Ubuntusudoaptupdatesudoaptinstallfreeipmi-tools-y# RHEL/CentOSsudoyuminstallfreeipmi-y验证连接ipmi-sensors-hBMC_IP-uUSER-pPASSWORD--comma-separated-output如果成功会打印出所有传感器的列表和读数。2.2 运行 ipmi_exporterDocker 部署推荐封装依赖dockerrun-d\--nameipmi_exporter\--restartalways\-p9290:9290\-eIPMI_EXPORTER_CONFIG/etc/ipmi_exporter/ipmi_exporter.yml\-v/path/to/ipmi_exporter.yml:/etc/ipmi_exporter/ipmi_exporter.yml:ro\prometheuscommunity/ipmi-exporter:latest二进制部署wgethttps://github.com/prometheus-community/ipmi_exporter/releases/download/v1.6.1/ipmi_exporter-1.6.1.linux-amd64.tar.gztarxzf ipmi_exporter-1.6.1.linux-amd64.tar.gzcdipmi_exporter-1.6.1.linux-amd64 ./ipmi_exporter--config.fileipmi_exporter.yml --web.listen-address:92902.3 编写ipmi_exporter.yml配置文件配置文件定义了要监控的 BMC 设备及其凭据。modules:default:# 采集传感器数据的命令collector:ipmi# FreeIPMI 命令行选项无需重复指定 -h -u -p由 Exporter 动态传入ipmi_command:/usr/sbin/ipmimonitoring# 可选指定驱动如 auto, lan, lanplusdriver:LAN_2_0# 特权级别USER, OPERATOR, ADMIN推荐 ADMIN 以读取所有传感器privilege:ADMIN# 超时时间 (ms)timeout:10000注意BMC 的 IP、用户名、密码不在配置文件中静态指定而是在 Prometheus 抓取时作为参数传递target参数与 HTTP 参数。这样可以一台 Exporter 监控多台 BMC。2.4 测试 Exporter手动请求一次监控指定 BMCcurlhttp://localhost:9290/ipmi?target192.168.1.200moduledefaultuseradminpasswordsecret如果成功你会看到类似ipmi_sensor_state{nameCPU1_Temp}等指标。不成功则检查防火墙、BMC 账号权限需要 ADMIN 或 OPERATOR 权限读取传感器。3. 配置 Prometheus 抓取在prometheus.yml中添加 Job使用params传入 BMC 信息。可以通过static_configs或file_sd管理多台设备。scrape_configs:-job_name:ipmiscrape_interval:60s# 硬件指标变化慢60s 足够metrics_path:/ipmiparams:module:[default]user:[admin]# BMC 用户名password:[secret]# BMC 密码建议使用环境变量或文件服务发现隐藏密码static_configs:-targets:-192.168.1.200# 第一台 BMC-192.168.1.201# 第二台 BMClabels:env:productiondatacenter:dc1relabel_configs:-source_labels:[__address__]target_label:__param_target-source_labels:[__param_target]target_label:instance-target_label:__address__replacement:127.0.0.1:9290# ipmi_exporter 地址安全提示密码在配置文件中明文生产环境推荐使用file_sd配合外部脚本动态注入或使用 BMC 的 RADIUS/LDAP 鉴权或通过basic_auth配合反向代理隐藏凭据。4. 核心监控指标与 PromQLipmi_exporter 暴露的指标以ipmi_为前缀按传感器类型自动生成标签name、type。4.1 传感器状态与读数指标含义ipmi_sensor_state传感器总体状态0正常, 1警告, 2严重ipmi_temperature_celsius温度读数°C仅 type 为 Temperature 的传感器ipmi_voltage_volts电压读数Vtype 为 Voltageipmi_fan_speed_rpm风扇转速RPMtype 为 Fanipmi_power_watts功耗Wtype 为 Current电流或 Power 的变体ipmi_current_amps电流A常见传感器名称示例CPU1_Temp,CPU2_Temp(CPU 温度)DIMM_xx_Temp(内存温度)Sys_Health_LED(系统健康灯)Fan1,Fan2(风扇)PS1_Status,PS2_Status(电源状态)Inlet_Temp(进风口温度)4.2 PromQL 示例CPU 温度过高ipmi_temperature_celsius{name~CPU.*} 80任意温度传感器超过 85°Cipmi_temperature_celsius 85风扇转速异常RPM 为 0ipmi_fan_speed_rpm 0仅当服务器开机且风扇应转时电源状态非正常0 表示正常ipmi_sensor_state{name~PS.*} 2整体传感器警告ipmi_sensor_state 1注意具体传感器名称因厂商而异可使用{name~.*Temp.*}等正则匹配。4.3 系统事件日志SELipmi_exporter 也可配置收集 SEL 条目数量需在modules中启用collector: sel暴露ipmi_sel_entries_count等指标用于监控硬件事件如 ECC 内存错误、PCIe 错误的增长。5. Grafana 仪表盘推荐IPMI Exporter DashboardDashboard ID10657社区精品直观展示各服务器温度热力图、风扇转速、电压、功耗表盘。IPMI Sensor DashboardID13629适合细粒度查看单个传感器历史趋势。自建硬件大屏使用 Row 重复功能为每台服务器创建温度曲线Stat 面板显示最高温度表盘展示风扇转速。导入后选择数据源用instance变量切换服务器。6. 告警规则实战groups:-name:ipmi_hardware_alertsrules:-alert:ServerHighCPUTemperatureexpr:ipmi_temperature_celsius{name~CPU.*}90for:5mlabels:severity:criticalannotations:summary:服务器 {{ $labels.instance }} CPU 温度超过 90°C当前 {{ $value }}°C-alert:ServerHighInletTemperatureexpr:ipmi_temperature_celsius{nameInlet_Temp}35for:10mlabels:severity:warningannotations:summary:服务器 {{ $labels.instance }} 进风口温度高于 35°C可能机房散热不足-alert:ServerFanFailureexpr:ipmi_fan_speed_rpm 0for:1mlabels:severity:criticalannotations:summary:服务器 {{ $labels.instance }} 风扇 {{ $labels.name }} 停转-alert:ServerPowerSupplyFailureexpr:ipmi_sensor_state{name~PS.*} 2for:1mlabels:severity:criticalannotations:summary:服务器 {{ $labels.instance }} 电源 {{ $labels.name }} 故障-alert:ServerVoltageAbnormalexpr:(ipmi_voltage_volts{name~.*Vcore.*} 0.5) or (ipmi_voltage_volts{name~.*12V.*} 11.4)for:5mlabels:severity:criticalannotations:summary:服务器 {{ $labels.instance }} 电压异常{{ $labels.name }} {{ $value }}V-alert:ServerOverallHealthexpr:ipmi_sensor_state{nameSys_Health_LED}0for:1mlabels:severity:criticalannotations:summary:服务器 {{ $labels.instance }} 系统健康指示灯异常请检查硬件根据实际传感器名称微调可使用label_replace生成更友好的描述。7. 进阶多节点、安全与权限7.1 批量监控多台服务器使用file_sd文件统一管理所有 BMC 的 IP 和标签通过配置管理工具自动生成。示例targets.json[{targets:[192.168.1.200],labels:{hostname:server-01,model:Dell R740}},{targets:[192.168.1.201],labels:{hostname:server-02,model:HPE DL380}}]Prometheus 引用此文件即可。7.2 安全凭据管理使用BMC 用户最小权限创建一个仅用于监控的用户赋予OPERATOR或ADMIN级别但 ADMIN 可能允许配置更改推荐 OPERATOR 读取传感器。在ipmi_exporter.yml的modules中可设置默认user和password但建议不写入文件而是通过 Prometheus 的params传递并配合 Kubernetes Secrets 或 Vault 注入。隔离 BMC 网络将所有 BMC 接入专用管理 VLAN仅允许 ipmi_exporter 主机访问。使用 IPMI over LAN 加密RMCP即 FreeIPMI 的LAN_2_0驱动启用cipher_suite_id3加密等。7.3 采集 SEL 事件日志在modules中增加第二个模块用于 SELmodules:sel:collector:selipmi_command:/usr/sbin/ipmi-seldriver:LAN_2_0privilege:ADMIN然后在 Prometheus 中为每个 target 创建一个额外的 Job 或使用多模块参数需 Prometheus 支持。此模块暴露ipmi_sel_entries_count并可配合ipmi_sel_free_bytes监控 SEL 是否已满。7.4 性能与可靠性ipmi_exporter 每次抓取会执行一次ipmimonitoring命令对 BMC 负载影响极小。但请勿设置过短间隔30s以免 BMC 响应不过来。BMC 若出现网络延迟可适当增加timeout值如 15000ms。ipmi_exporter 自身可通过--web.telemetry-path自定义指标路径默认为/metrics。8. 总结通过 ipmi_exporter服务器的底层硬件传感器数据——CPU 温度、风扇转速、电源状态、电压——不再是 BMC 专用界面里的沉睡数字而是跃然于 Prometheus 和 Grafana 上的生动图表。当机房制冷失效、风扇停转或电源故障时告警信息第一时间送达为运维争取宝贵的响应时间。将 IPMI 硬件监控加入全栈可观测性拼图意味着你不仅掌握应用和系统的脉搏更掌控了物理基础设施的生命线。从此从芯片到云端一切尽在掌握。