Kubernetes Pod 频繁 OOMKilled 但 limit 明明够用内核 Slab 内存的隐形杀手1. 问题现象生产环境一个 Java 微服务 Pod 每隔几小时就被 kill 重启。kubectl describe pod显示State: Running Started: Thu, 25 Jun 2026 14:32:08 0800 Last State: Terminated Reason: OOMKilled Exit Code: 137奇怪的是——Pod 的 memory limit 设了 2Gi而 Grafana 面板显示峰值使用才 1.6Gi 左右根本没碰到 limit。2. 排查过程Step 1 —— 确认 OOM 发生在哪一层kubectl get events --field-selectorinvolvedObject.namepod-name-nns确认是内核 OOM Killer 杀的不是 kubelet eviction。Exit Code 137 1289 (SIGKILL)。Step 2 —— 检查 JVM 堆内存配置kubectlexec-itpod--java-XX:PrintFlagsFinal-version21|grep-iheap发现-Xmx没设置JVM 默认取了容器可见内存的 1/4约 512M理论上不会超。Step 3 —— 看实际内存分布kubectlexecpod--cat/sys/fs/cgroup/memory/memory.stat发现关键异常指标值total_rss1.2 Gitotal_cache800 Mikmem~400 MiRSS Cache 已经接近 2Gi但这还没有算上 kernel memory (kmem)。Step 4 —— 检查内核内存泄漏dmesg 看到大量SLUB: Unable to allocate memory on node -1 (gfp0xd0) Memory cgroup out of memory: Kill process ...宿主机上slabtop一看dentry 和 inode_cache 占了很大比例。Step 5 —— 定位触发条件发现这个 Pod 的业务逻辑里有大量文件 I/O——频繁读写 NFS 挂载的临时文件每次请求都会打开/关闭几百个小文件。dentry/inode cache 会被计入 cgroup 的 kmem不在 RSS 统计里。3. 根因三重叠加导致 OOMJVM 堆外内存不可见Java 堆Xmx 控制只占内存的一部分Metaspace、Direct Buffer、Thread Stack、JNI 等堆外内存不在 Grafana 的 JVM Heap 监控中。内核 Slab 内存被计入 Cgroup大量文件 I/O 产生的 dentry / inode_cache 被计入 Pod cgroup 的memory.kmem而这部分内存在常规监控RSS中完全不可见。NFS 客户端缓存NFS 挂载的 I/O 操作会在内核中产生大量不可回收的 slab 缓存持续累积直到触发 cgroup limit → OOM Kill。4. 解决方案短期止血提升 memory limitresources:limits:memory:3Gi# 从 2Gi 提升到 3Girequests:memory:2Gi根本解决一JVM 参数精细化-XX:MaxRAMPercentage75.0# 堆内存占容器 limit 的 75%-XX:UseContainerSupport# 启用容器感知-XX:MaxMetaspaceSize256m# 限制 Metaspace-XX:MaxDirectMemorySize128m# 限制 Direct Buffer75% 留给堆剩余 25%约 750M给堆外 内核 slab避免总和超 limit。根本解决二减少文件 I/O用内存缓存替代 NFS 临时文件批量处理文件操作减少打开/关闭次数考虑用对象存储S3/MinIO替代 NFS 挂载监控补全# Prometheus 监控规则-alert:PodMemoryNearLimitexpr:container_memory_working_set_bytes / container_spec_memory_limit_bytes0.8for:5mworking_set_bytes包含 RSS Cache比单纯看 RSS 更准确。5. 复盘总结RSS 不是全部容器 OOM 看working_set_bytes不要只看 RSS。内核 slab、page cache 都算在 cgroup limit 里Java 容器的内存公式Xmx Metaspace DirectBuffer Threads*1M 内核开销所有加起来不能超 limitNFS 大量小文件 定时炸弹slab 内存会在 cgroup 中持续累积常规监控完全看不到Exit Code 137 不一定是应用问题先确认是 cgroup OOM 还是节点内存不足排查路径完全不同应用场景Kubernetes 1.26、Java 微服务、NFS 挂载场景关键词K8s、OOMKilled、Slab 内存、dentry cache、cgroup kmem、JVM 堆外内存、NFS