跳转至

虚拟机与容器

假设我们只有一台 Linux 服务器,却要给两个小组提供环境。甲组要运行一个新版本的网页服务,乙组想验证旧系统升级。两组希望分开保存数据、独立安装程序需要的库,还都想通过编号 8000 的网络入口接收请求。让程序在这个编号的入口等待请求,就叫监听端口。最直观的办法是给每组一台机器,代价是要多准备硬件,而很多时候两边的 CPU 都没用满。

虚拟化让我们在共享硬件上划出不同的运行环境。若乙组需要在里面启动和重启自己的操作系统内核,可以给它一台虚拟机;若甲组的应用可以用这台服务器现有的 Linux 内核,只需要独立的文件和网络视图,可以用容器。下面跟着同一个服务读一遍 read(),看看边界是怎样划出来的。

为什么需要虚拟化

假设服务通过 read() 系统调用读取 /app/index.html,然后返回这个页面。先认出两个角色:提供计算资源的是宿主机,在虚拟机(VM)里启动的独立系统是客体。直接在物理机上运行程序的环境常叫裸机。接着看三个环境分别由谁处理读请求。

把程序放在哪里 谁先处理 read() 谁最终管理物理设备
裸机上的普通进程 本机 Linux 内核 本机内核的驱动
Linux 容器 同一个宿主 Linux 内核,按容器的文件视图和权限检查 宿主内核的驱动
虚拟机 客体自己的内核。若缓存中没有这份数据,它会向自己看到的磁盘发读请求。 宿主侧可代客体接收请求,并安排真实磁盘读取。

如果内核的内存里还保留着这份文件的副本(页缓存),就可能省去设备读取。这张表的重点是找出第一道系统调用边界。在虚拟机中,宿主侧软件可以接收客体发给虚拟设备的请求,再去访问物理设备。这个接收和转发请求的部分叫设备后端。

  • 提高服务器利用率,把多个低负载系统合并到同一硬件。
  • 隔离租户、测试环境和故障。
  • 保存、迁移或复制完整运行环境。
  • 运行不同内核或旧系统。
  • 为应用提供一致部署依赖和资源限制。

虚拟化不是免费抽象。隔离边界越强,通常需要更多内存、设备仿真和转换;共享越多,效率越高,但共同故障域也越大。

虚拟机的基本结构

应用
客体操作系统
虚拟 CPU / 虚拟内存 / 虚拟设备
虚拟机监控器
物理硬件

为客体提供虚拟硬件并管理机器资源的部分叫虚拟机监控器(VMM,也称 hypervisor)。图中的虚拟 CPU(vCPU)是客体眼里的处理器。宿主可以让它在一个物理核心上运行一段时间,再把同一个核心交给别的虚拟 CPU。监控器可以配置哪些操作交给处理器直接运行,哪些要由宿主软件接手。

从启动过程也能看出区别。宿主为虚拟机准备虚拟 CPU(vCPU)、内存和启动盘后,客体在这些接口上执行引导代码,启动自己的内核和服务。这样两台客体可以各有一份系统配置。每台客体还要为内核和系统服务留出内存,冷启动时要完成引导;容器启动时通常直接运行应用入口。

  • Type 1 直接运行在硬件或高权限层。
  • Type 2 作为宿主操作系统上的程序运行。

分类边界在现代系统中可能模糊,重要的是实际谁负责 CPU、内存和设备虚拟化。

CPU 虚拟化

Trap-and-emulate

这种做法常叫陷入与模拟(trap-and-emulate)。「陷入」指执行权从客体转给监控器,「模拟」指由监控器替客体完成被拦下的操作。客体普通指令通常直接在物理 CPU 上执行。遇到需要宿主处理的操作或事件,处理器可退出客体,让 VMM 接手。这种「在本机执行,必要时接管」的分工省去了逐条模拟的开销。

例如客体应用做整数加法时,处理器可直接计算。假如客体驱动访问由宿主仿真的设备寄存器,则可能触发一次 VM exit,让宿主侧接手,为这次读或写产生客体预期的结果,然后恢复运行。客体应用发起普通 read() 时,首先是应用进入客体内核;是否接着退出到宿主,要看客体内核之后执行了什么。退出还可能由中断等事件触发,具体取决于硬件和拦截配置。

早期有些处理器遇到改系统设置之类的操作,并不会可靠地交给监控器。宿主只能先检查机器指令,把有问题的操作换成能安全执行的指令序列,这叫二进制翻译。后来处理器增加专门运行客体的模式,并让监控器指定哪些动作需要接手。

VM exit 的成本

退出客体要保存虚拟 CPU 状态、进入 VMM、处理原因再恢复。频繁特权操作、设备访问或中断会放大成本,因此会使用:

  • 让知道自己在虚拟机里的驱动把多个请求排进双方可读写的队列,再一次通知监控器。这是下文的半虚拟化设备。
  • 把某个物理设备或其中一项功能直接交给客体,减少宿主接手次数。这是下文的设备直通。
  • 对允许客体自己完成的操作,减少不必要的拦截。

内存虚拟化

先回想分页。程序用自己的虚拟页号,内核通过页表找到对应的物理页框。到了虚拟机里,客体内核照样查自己的页表,但它眼里的「物理页框」还只是虚拟机内部的编号。宿主管理程序再用第二张编号对照表,把客体页框对应到真正的内存页框。这张表叫嵌套页表(nested page table)。

客体程序用的地址
  -> 客体页表:查客体页框
客体内核看到的「物理地址」
  -> 嵌套页表:查宿主页框
宿主实际访问的物理地址

硬件可以通过两套页表完成翻译。代价是处理器没有缓存所需的翻译时(TLB 未命中),查表需要额外读取。更大的页能让一条缓存记录覆盖更多地址,也可能加重内存分配压力。

沿用分页课的 16 字节小页。设客体内核规定「虚拟页 1 → 客体页框 5」,宿主管理程序规定「客体页框 5 → 宿主页框 12」。现在客体应用读地址 26:

  1. 26 = 1 × 16 + 10。客体页表把页号 1 换成页框 5,因此客体物理地址是 90。
  2. 这块客体内存实际背靠宿主页框 12。保持同一个偏移 10,最终访问 12 × 16 + 10 = 202。

客体内核只需要管理自己看得见的页框。同一个客体物理地址,放在另一台虚拟机中可以映射到别的宿主页框。这个模型只模拟数据地址的最终映射;真实硬件在走客体页表时,读取页表本身也可能需要第二阶段翻译,因此缓存近期翻译尤为重要。

例如,宿主机可以请一个暂时空闲的客体借出部分内存,等它重新需要时再归还。这类由客体驱动配合的内存回收方式叫气球驱动。宿主也可以先给多台客体承诺超过物理机容量的内存,这叫内存超配。多台客体同时用满承诺容量时,宿主必须回收内存或暂存数据,少数请求可能因此等很久。

设备虚拟化

设备模拟

模拟常见真实硬件,兼容不修改的客体驱动,但每次寄存器访问可能陷入,性能较低。

半虚拟化设备

客体使用知道自己在虚拟机里的驱动。例如,驱动把多个请求写入客体和监控器都能访问的队列,再通知监控器一起处理。这种半虚拟化少做逐次模拟,但也需要客体提供对应的驱动。

设备直通

把物理设备或其中可单独分配的功能直接交给客体,称为设备直通。这样能减少模拟开销。设备直接访问内存时,需要用设备侧的地址翻译和权限检查(IOMMU)把访问限制在允许的区域。换一台宿主机或让其他客体使用这个设备,就没那么方便了。

容器的核心:共享内核

容器内应用仍发出宿主系统调用,进入同一个宿主内核。容器隔离主要由以下机制组合:

Namespace

命名空间(namespace)改变进程看到的资源。给两份服务安排不同的网络命名空间,它们便有各自的网络设备和端口记录,可以分别监听 8000。还有其他种类的命名空间,分别隔开不同的资源:

  • 进程标识。
  • 文件树中在哪些目录接入了别的文件系统,也就是有哪些挂载点。
  • 网络接口与路由。
  • 主机名。
  • 进程间通信用到的一些对象,例如消息队列。
  • 用户与组身份映射。

namespace 回答“看见哪些对象和名字”。

cgroup

控制组(cgroup)把一组进程放在一起统计和限制资源。例如,可以为服务和它创建的子进程一起设定 512 MiB 内存上限。

namespace 没有限额,容器仍可能耗尽宿主资源;cgroup 没有独立视图,进程仍可能看到其他对象。二者解决不同问题。

分层文件系统与镜像

镜像保存程序和启动所需的文件。一份镜像可以分成多层,例如底层放 Python,上层放服务代码。同一份只读文件可以给多个容器使用。若一个容器修改了基础文件,系统可以在这个容器自己的可写层保留改动,其他容器继续读原文件。这种在第一次写入时才为改动分配副本的做法叫写时复制。

可写层可能随容器删除。要让网页内容或训练结果在重建容器后仍可读取,可以把数据保存在容器外的一块持久存储(持久卷),再接入容器目录。详见从镜像到进程。

安全边界

容器还常结合:

  • 去掉程序不需要的管理权限,例如修改网络配置。Linux 把这些权限拆成可分别启用的 capabilities。
  • 限定程序能使用的系统调用。
  • 由系统统一限制访问,即强制访问控制(MAC)。
  • 把部分目录接入文件视图但只允许读取,并限制能使用的设备。
  • 让应用以非管理员身份运行,或通过用户命名空间改变容器内外的身份对应关系。

容器共享宿主内核,因此内核漏洞可能跨越容器边界。高风险多租户场景可能在容器外再加虚拟机边界。

最小比较

维度 虚拟机 容器
内核 每个客体可独立 共享宿主内核
启动 通常较慢 通常较快
内存开销 包含客体内核与服务 主要是应用与共享页
运行不同 OS 内核 可以 通常不可以
隔离边界 虚拟硬件/VMM 宿主内核机制
设备访问 模拟、半虚拟化或直通 宿主设备接口与权限控制

表中的启动和内存成本是常见情况。比较具体产品时,可以分别量从请求到程序就绪要多久,以及真正多占了多少内存。

一个容器资源例子

假设服务的 CPU 配额是每 100 ms 最多用 100 ms 的 CPU 时间,内存硬上限为 512 MiB。CPU 时间只在核心执行这组线程时累加,两个核心各工作 1 ms 要合计 2 ms。如果同时有两条线程在不同核心满速运行约 50 ms,它们合计已用约 100 ms 的 CPU 时间,可能在该周期的剩余时间被节流。机器仍可能有空闲核心。这里配置的是一组线程能用的时间总量;若要指定它们能在哪些核心运行,需要另外指定它能用的核心,这种绑定关系叫 CPU 亲和性。

当超过内存限制时,行为可能是回收、阻塞或在该控制组内选择终止进程,取决于配置和系统。应用仍需处理分配失败、延迟升高和终止,不应把容器限额当作透明硬件。

虚拟机快照与迁移

快照是为以后恢复而保存的一组状态。例如,虚拟机刚把新数据写入读写缓存,但磁盘尚未更新,这时分别在两个不协调的时刻复制内存和磁盘,恢复后可能对不上。快照要尽量让内存、虚拟磁盘和设备记录对应同一个运行时刻。外部数据库和网络连接还需要另行处理。

在线迁移把正在运行的虚拟机转移到另一台宿主。可以先边运行边复制内存,再重复复制这期间又被修改过的页(脏页)。剩下的页不多时短暂停机,补齐状态再从新宿主继续,这叫预复制。若改页速度超过复制速度,剩余工作可能越积越多,要考虑限制写入速度或接受更长的停机时间。

容器不是打包格式而已

镜像提供文件系统内容,运行隔离还需要进程、namespace、cgroup、权限和网络配置。只解压镜像并运行进程,不会自动得到安全容器。

反过来,容器也不等于微服务。一个容器可运行单体应用,微服务也可运行在虚拟机或裸机。部署单位和软件架构是两个维度。

可观察性问题

虚拟化增加指标层次:

  • 客体看到的 CPU 忙可能包含被 VMM 暂停后的时间解释差异。
  • 容器内“可用内存”可能不同于宿主总内存和 cgroup 限额。
  • 设备延迟可能来自客体队列、VMM、宿主块层和物理设备。

诊断应同时观察客体/容器和宿主,避免只在一层下结论。

权衡与适用条件

选择虚拟机:

  • 需要不同内核或更强租户边界。
  • 需要完整系统兼容和设备模型。
  • 可以接受更高启动与内存成本。

选择容器:

  • 应用可共享宿主内核。
  • 关注快速部署、高密度和一致依赖。
  • 能正确配置最小权限与资源限制。

二者可以组合:每个租户一台虚拟机,内部用容器部署应用。

用同一进程验证差异

选一个监听本地端口的小程序。先问三个问题:它通过谁的内核执行系统调用,能看到哪些进程和网络接口,数据写到了哪里?普通进程继承宿主系统视图,客体 VM 通过自己的内核运行,容器可改用自己的 namespace 视图。权限和资源限制仍需要逐项查看。下一节从镜像到进程会把这个例子运行起来。

自测

  1. Trap-and-emulate 为什么能让多数普通指令接近原生执行?
  2. 两阶段地址翻译分别由谁维护?
  3. namespace 与 cgroup 各解决什么问题?
  4. 容器镜像的只读层为什么不等于完整安全隔离?
  5. 设备直通提高性能时牺牲了哪些能力?
参考思路

普通非敏感指令可以在硬件上运行,遇到配置为拦截的操作或事件才退出。客体内核维护第一阶段的地址翻译,宿主侧管理程序维护第二阶段。namespace 改变进程所见,cgroup 限制和统计资源;镜像提供启动前的文件和配置。直通可以降低模拟开销,同时会限制设备共享与迁移,并依赖适当的 IOMMU 隔离。

延伸阅读:Linux KVM 接口 · Linux cgroup v2。