gVisor 文件系统实战指南Gofer/LISAFS、Overlay、Directfs、Dentry Cache 与 EROFS 配置详解【免费下载链接】gvisorApplication Kernel for Containers项目地址: https://gitcode.com/GitHub_Trending/gv/gvisorgVisor 通过一个名为Gofer的文件代理进程来访问宿主机文件系统本文围绕 gVisor 官方用户指南中的 Filesystem 章节展开系统讲解 Gofer 与 LISAFS 协议架构、tmpfs 覆盖层overlay的三种后端介质与全局配置、Directfs 直通模式、共享/独占文件访问模式、dentry 缓存调优、EROFS 只读文件系统支持以及自定义 Gofer 扩展的接入方法。读完本文你将掌握如何通过runsc命令行参数与 OCI 容器配置Dockerdaemon.json、容器 spec annotations对 gVisor 文件系统进行完整调优并在源码层面理解每一项配置的底层实现机制。架构总览Gofer 文件代理与 LISAFS 协议gVisor 的核心设计是用户态内核Sentry拦截应用系统调用文件系统访问也不例外。Sandbox 内的 Sentry 并不会直接读写宿主机文件而是通过一个独立于沙箱进程之外运行的Gofer进程完成。每个 Gofer 实例与对应的 Sentry 之间使用LISAFSLinux Inter-Sandbox Filesystem协议通信LISAFS 是 gVisor 自研的高性能文件系统 RPC 协议其实现位于 pkg/lisafs 目录包含服务端server.go、客户端client.go、消息编解码message.go等核心模块。从源码结构看Gofer 的主体实现位于 runsc/fsgofer/lisafs.go它负责在宿主机一侧维护文件描述符并响应 Sentry 的 LISAFS 请求。整个文件系统栈可以概括为应用进程 → Sentry 文件系统pkg/sentry/fsimpl → LISAFS 客户端 →RPC→ Gofer 进程 → 宿主文件系统配置文件系统可以带来性能收益但它并不是优化 gVisor 性能的唯一手段。更完整的性能调优思路可以参考官方 Production 指南。Filesystem Overlay把宿主文件系统与沙箱隔离为了隔离宿主文件系统或让只读文件系统如 EROFS变得可写可以在挂载之上设置一个可写的 tmpfs 覆盖层。所有修改都写入覆盖层底层文件系统保持不被改动。这种写时复制语义既保护了宿主文件又为只读镜像提供了可写视图。覆盖层的三种后端介质Backing Mediums覆盖层可以由不同的介质承载用于在内存与磁盘占用之间做取舍Memorymemory覆盖层由应用内存承载。由于所有文件数据都存在内存中这会显著推高容器的内存占用适合对性能敏感且数据量小的场景。Selfself覆盖层由挂载点内部的一个文件承载对应用隐藏。修改会落盘而不是占用内存。对于根文件系统该文件创建在容器根目录下路径由spec.Root.Path配置决定这使得 Kubernetes 可以把覆盖层用量计入容器的临时存储ephemeral storage限额便于资源统计与回收。Directorydir/path覆盖层由宿主机上指定绝对路径中的一个文件承载适合把覆盖数据放到特定磁盘或目录的场景。全局配置--overlay2对全局所有容器生效的覆盖层配置通过--overlay2标志完成格式为--overlay2{mount}:{medium}[,size{size}]mountroot仅根文件系统或all所有挂载。medium上述三种后端介质之一memory、self、dir...。size可选限制 tmpfs upper 层大小例如2g。从实现上看该值会原样透传给 tmpfs 挂载的size{size}选项且每个覆盖层独立生效、互不共享参见 runsc/config/config.go。官方示例--overlay2root:self用根文件系统内部的文件承载 tmpfs 覆盖层这是默认行为。--overlay2all:memory所有挂载使用内存承载的 tmpfs 覆盖层。--overlay2root:dir/tmp/overlay根文件系统覆盖层文件存放在/tmp/overlay。注意self承载的 rootfs 覆盖层默认在 runsc 中开启以获得更好的性能。如果需要把 rootfs 的变更传播回宿主文件系统请用--overlay2none关闭。源码层面可以进一步印证这些语义Overlay2的默认配置是{rootMount: true, subMounts: false, medium: SelfOverlay}runsc/config/config.go即root 挂载 self 介质--overlay2none会把两个挂载开关全部置为关闭Set方法严格校验格式挂载说明符只能是root或allrunsc/config/config.go。此外旧的--overlay标志已被废弃若同时指定会直接报错 overlay flag has been replaced with overlay2 flagrunsc/config/config.go。要在 Docker 中启用 tmpfs 覆盖层修改/etc/docker/daemon.json中的runtimeArgs并重启 Docker daemon{ runtimes: { runsc: { path: /usr/local/bin/runsc, runtimeArgs: [ --overlay2all:memory ] } } }值得一提的还有预置的配置捆绑bundlerunsc/config/config_bundles.go 中定义了名为experimental-high-performance的捆绑它一次性开启directfs: true、overlay2: root:self与platform: systrap可通过 Pod 注解直接启用优先级介于命令行标志与 Pod 注解标志之间。Directfs沙箱直接访问容器文件系统Directfs允许沙箱进程直接访问容器文件系统。它在 runsc 中默认开启可通过--directfsfalse关闭。开启 Directfs 时Gofer 进程会把所有挂载点的文件描述符FD捐赠给沙箱沙箱随后使用基于文件描述符的系统调用如openat(2)、fchownat(2)等直接操作文件从而省去 Gofer 往返round trip的 RPC 开销在保持合理安全性的同时获得更好的性能。无论 Directfs 是否开启以下两点始终成立容器文件系统始终归 Gofer 进程所有沙箱的挂载命名空间始终为空。Directfs 的安全边界体现在沙箱只能操作 Gofer 暴露给它的文件系统树无法触达宿主机的其他文件系统此外还有额外的安全措施例如通过 seccomp 强制要求使用O_NOFOLLOW并确保宿主文件系统的 FD 不会在沙箱启动时泄漏。当 Directfs 被禁用时沙箱运行在更严格的 seccomp 过滤器与更少的 capabilities 之下沙箱进程自身无法执行文件系统操作所有文件系统操作都通过 RPC 委托给 Gofer 进程执行。这会提升安全性但带来性能上的折中。在 sentry 一侧Directfs 的开关会作为HostFilesystem选项注入 seccomp 过滤配置runsc/boot/loader.go启用时会在过滤器中额外放开 directfs 所需的宿主机文件系统系统调用runsc/boot/filter/config/config_main.go。另外通过 OCI 注解还可以对单个挂载或 rootfs 精细控制 Directfs 行为runsc/boot/mount_hints.go中实现了dev.gvisor.spec.mounts.*.directfs与 rootfs 前缀dev.gvisor.spec.rootfs.directfs注解取值default或off它们用于在全局--directfs开启时对特定挂载抑制DirectfsSuppressDirectFS但不会在全局关闭时反向开启因为 Directfs 需要沙箱级别的权限支撑runsc/boot/mount_hints.go。共享根文件系统Shared Root Filesystem根文件系统是镜像解压所在的位置通常不会被沙箱外部修改因此 gVisor 可以做优化例如跳过目录自上次缓存以来是否发生变化的检查代价是可能错过外部更新。如果你需要向根文件系统内docker cp文件可以考虑启用共享模式但要注意文件访问会因额外检查而变慢。注意外部挂载bind mount 等始终是共享的。在 Docker 配置/etc/docker/daemon.json中添加如下runtimeArgs并重启 Docker daemon{ runtimes: { runsc: { path: /usr/local/bin/runsc, runtimeArgs: [ --file-accessshared ] } } }从 runsc/config/flags.go 可以看出--file-access用于指定根挂载的校验模式默认exclusive而--file-access-mounts用于指定根挂载之外的卷的校验模式默认shared两者在配置结构体Config中分别对应FileAccess与FileAccessMounts字段runsc/config/config.go。独占 bind 挂载Exclusive Bind Mounts默认情况下所有 bind 挂载由 gofer 以 shared 模式服务--file-access-mountsshared。在此模式下gofer 会持续针对宿主文件系统重新校验其 dentry 树因为沙箱不能假设对 bind 挂载拥有独占访问权——这些挂载可能被宿主机上的其他进程观察或修改。如果你确信所有bind 挂载对沙箱是独占的即没有外部进程会修改这些文件可以设置--file-access-mountsexclusive。这会启用沙箱内的激进缓存通过减少重新校验开销显著提升性能。适合该设置的良好候选场景包括静态数据包含不可变文件的目录如 ML 模型、数据集在宿主机上不会被修改。专用存储专门为容器创建、不被任何其他宿主进程访问的目录。请注意该设置作用于沙箱内的所有bind 挂载但不适用于根文件系统——根文件系统通过--file-access标志配置见上文共享根文件系统一节。在 Docker 配置/etc/docker/daemon.json中添加如下runtimeArgs并重启 Docker daemon{ runtimes: { runsc: { path: /usr/local/bin/runsc, runtimeArgs: [ --file-access-mountsexclusive ] } } }警告如果挂载会被外部修改却启用了独占模式沙箱可能基于过期数据工作导致数据损坏或未定义行为。这是一个典型的安全性/性能权衡shared 模式牺牲性能换取一致性exclusive 模式反之。Dentry Cache加速路径解析的 LRU 缓存gofer 客户端维护着一棵镜像文件系统树的 dentry目录项树用于加速路径解析。dentry 缓存是这棵树的子集专门保存引用计数为零的 dentry即文件系统树中未被引用的叶子节点由于每个 dentry 都持有对父节点的引用内部节点始终有引用不会进入缓存。该缓存是一个LRU最近最少使用缓存保留这些未被使用的 dentry避免它们被立即销毁。如果后续请求访问相同路径可以直接复用缓存中的 dentry 而不是重新创建从而提升性能。默认情况下每个 gofer 挂载拥有一个大小为1000的独立 dentry 缓存可通过两种方式配置方式一全局标志--dcache向 runsc 传入--dcache标志会创建一个指定大小的全局 dentry 缓存在所有 gofer 挂载间共享{ runtimes: { runsc: { path: /usr/local/bin/runsc, runtimeArgs: [ --dcache5000 ] } } }方式二按挂载的dcache挂载选项在容器 spec 的 mounts 中为单个挂载设置缓存大小mounts: [ { type: bind, source: /host/path, destination: /container/path, options: [ dcache500 ] } ]源码佐证挂载选项dcache定义于 pkg/sentry/fsimpl/gofer/gofer.goSetDentryCacheSize负责设置全局 gofer dentry 缓存大小同文件 L170-L171解析时若未显式指定则使用默认值defaultMaxCachedDentriesL531并据此初始化每个文件系统的dentryCacheL654。全局标志的帮助文本还提示--dcache是对 sentry 同时打开的宿主 FD 数量的粗粒度控制取负值时回退到按挂载的独立缓存runsc/config/flags.go。EROFS 支持高性能只读文件系统与无 Gofer 模式gVisor 支持EROFSEnhanced Read-Only File System增强型只读文件系统作为 rootfs 和挂载。EROFS 是高性能只读文件系统完全不需要与宿主文件系统通信不经过宿主系统调用EROFS 镜像文件被内存映射memory-mapped进 sentry通过内存访问直接读取实现见 pkg/erofs/erofs.goOpenImage对镜像文件执行unix.Mmap后由 sentry 侧文件系统 pkg/sentry/fsimpl/erofs 消费。理想用法是把 rootfs 覆盖层的 lower 层定义为 EROFS这还能让 gVisor 运行在无 Gofer 模式gofer-less下——前提是不存在其他需要 gofer 的挂载。EROFS rootfs在容器 spec 中设置以下 annotations即可让 rootfs 覆盖层的 lower 层使用 EROFSannotations: { dev.gvisor.spec.rootfs.source: /tmp/container_image.erofs, dev.gvisor.spec.rootfs.type: erofs, dev.gvisor.spec.rootfs.overlay: memory, dev.gvisor.spec.rootfs.options: size2g },其中source和type注解是必需的其余字段说明overlay注解可选。默认不应用覆盖层此时 rootfs 为只读。取值可以是前文后端介质中的任意一种。options注解可选是逗号分隔的选项列表目前仅支持size用于定义 tmpfs upper 层的大小上限。这些注解在 runsc/boot/mount_hints.go 中对应前缀常量RootfsPrefix dev.gvisor.spec.rootfs.其测试用例runsc/boot/mount_hints_test.go覆盖了source/type/overlay/options的组合解析以及非法取值如无效 type、无效 overlay的报错路径。EROFS 挂载可以通过两种方式使用 EROFS 挂载方式一容器启动时静态指定——在容器 spec 的 mounts 中直接加入mounts: [ ... { destination: /foo, type: erofs, source: /tmp/foo.erofs }, ... ]方式二运行时动态添加——使用runsc debug命令runsc --root/path/to/rootdir debug --mount erofs:{source}:{destination}该命令的--mount标志格式为fstype:source:destination参见 runsc/cmd/debug.go其中{source}为 EROFS 镜像路径{destination}为容器内挂载点。自定义 Gofer 扩展Custom Gofer Extensions标准的 gofer 通过 LISAFS 服务宿主文件系统挂载。对于需要不同文件系统后端的负载如网络存储后端、加密文件系统、分层缓存可以使用自定义 runsc 构建导入runsc/fsgofer/extension包为选定的挂载注册一个提供lisafs.ConnectionImpl的扩展。扩展在启动时注册自己并按路径认领挂载。例如一个二进制可以注册两个扩展一个通过 HTTP blob 服务处理/storage下的挂载另一个通过本地加密层处理/encrypted。未被认领的挂载照常回落到标准 fsgofer。构建自定义 gofer 的步骤实现extension.Extension接口包括Name、TryHandleMount和SeccompRules三个方法接口定义见 runsc/fsgofer/extension/extension.go。可选定义SetFlags(*flag.FlagSet)方法如果扩展需要 gofer 标志。可选定义PrepareGofer(extension.GoferPrepareContext)方法如果扩展需要在 gofer 丢弃 capabilities、进入最终 root 之前执行初始化。GoferPrepareContext提供Spec、ContainerID、BundleDir等输入extension.go。在init()或早期main()中注册扩展调用extension.Register(e)extension.go。构建一个导入runsc/cli和你的扩展包的 runsc 二进制。关键语义与实现细节TryHandleMount为它处理的挂载返回一个lisafs.ConnectionImpl与lisafs.ConnectionOpts拒绝认领时返回 nil 实现。对 rootfs不在spec.Mounts中调用时mount参数为 nil此时可按需从spec.Annotations读取每沙箱配置extension.go。所有挂载共享同一个lisafs.Server从而在标准扩展挂载与扩展支撑挂载之间保持服务端的文件系统树同步。配置可以从 OCI annotations 以及挂载字段source、type、options读取。SeccompRules声明扩展在标准 gofer 允许列表之外所需的额外系统调用。PrepareGofer可以返回FlagOverrides用于传递必须在 gofer 重新执行re-exec后存活的状态例如文件描述符编号以这种方式传递 FD 的扩展必须在返回前清除这些描述符上的FD_CLOEXEC标志相关类型定义见 extension.go。所有扩展的SetFlags与PrepareGofer会在 gofer 启动流程中被统一调用PrepareGofer返回的多个扩展的FlagOverrides会合并后统一应用extension.go。总结文件系统配置决策速查需求配置默认值rootfs 覆盖层写时复制、性能优先--overlay2root:self默认开启所有挂载内存覆盖层--overlay2all:memory关闭覆盖层文件存到宿主指定目录--overlay2root:dir/path关闭完全关闭覆盖层rootfs 变更需传回宿主--overlay2none关闭沙箱直通访问文件系统高性能--directfs默认开启根文件系统共享模式支持外部docker cp--file-accesssharedexclusivebind 挂载独占模式激进缓存--file-access-mountsexclusiveshared全局共享 dentry 缓存--dcacheN每挂载 1000单挂载 dentry 缓存mount optiondcacheN每挂载 1000EROFS rootfsdev.gvisor.spec.rootfs.*annotations关闭动态挂载 EROFSrunsc debug --mount erofs:src:dst关闭自定义文件系统后端runsc/fsgofer/extension自定义构建关闭实际部署时应根据工作负载的读写模式、数据一致性要求与安全基线组合使用上述配置性能敏感且数据可重建的场景优先--directfs--overlay2root:self--file-access-mountsexclusive需要与宿主机强一致或频繁外部改动的场景则应保持 shared 模式并谨慎使用缓存与覆盖层。【免费下载链接】gvisorApplication Kernel for Containers项目地址: https://gitcode.com/GitHub_Trending/gv/gvisor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考