虚拟机与容器¶
假设我们只有一台 Linux 服务器,却要给两个小组提供环境。甲组要运行一个新版本的网页服务,乙组想验证旧系统升级。两组希望分开保存数据、独立安装程序需要的库,还都想通过编号 8000 的网络入口接收请求。让程序在这个编号的入口等待请求,就叫监听端口。最直观的办法是给每组一台机器,代价是要多准备硬件,而很多时候两边的 CPU 都没用满。
虚拟化让我们在共享硬件上划出不同的运行环境。若乙组需要在里面启动和重启自己的操作系统内核,可以给它一台虚拟机;若甲组的应用可以用这台服务器现有的 Linux 内核,只需要独立的文件和网络视图,可以用容器。下面跟着同一个服务读一遍 read(),看看边界是怎样划出来的。
为什么需要虚拟化¶
假设服务通过 read() 系统调用读取 /app/index.html,然后返回这个页面。先认出两个角色:提供计算资源的是宿主机,在虚拟机(VM)里启动的独立系统是客体。直接在物理机上运行程序的环境常叫裸机。接着看三个环境分别由谁处理读请求。
| 把程序放在哪里 | 谁先处理 read() |
谁最终管理物理设备 |
|---|---|---|
| 裸机上的普通进程 | 本机 Linux 内核 | 本机内核的驱动 |
| Linux 容器 | 同一个宿主 Linux 内核,按容器的文件视图和权限检查 | 宿主内核的驱动 |
| 虚拟机 | 客体自己的内核。若缓存中没有这份数据,它会向自己看到的磁盘发读请求。 | 宿主侧可代客体接收请求,并安排真实磁盘读取。 |
如果内核的内存里还保留着这份文件的副本(页缓存),就可能省去设备读取。这张表的重点是找出第一道系统调用边界。在虚拟机中,宿主侧软件可以接收客体发给虚拟设备的请求,再去访问物理设备。这个接收和转发请求的部分叫设备后端。
- 提高服务器利用率,把多个低负载系统合并到同一硬件。
- 隔离租户、测试环境和故障。
- 保存、迁移或复制完整运行环境。
- 运行不同内核或旧系统。
- 为应用提供一致部署依赖和资源限制。
虚拟化不是免费抽象。隔离边界越强,通常需要更多内存、设备仿真和转换;共享越多,效率越高,但共同故障域也越大。
虚拟机的基本结构¶
为客体提供虚拟硬件并管理机器资源的部分叫虚拟机监控器(VMM,也称 hypervisor)。图中的虚拟 CPU(vCPU)是客体眼里的处理器。宿主可以让它在一个物理核心上运行一段时间,再把同一个核心交给别的虚拟 CPU。监控器可以配置哪些操作交给处理器直接运行,哪些要由宿主软件接手。
从启动过程也能看出区别。宿主为虚拟机准备虚拟 CPU(vCPU)、内存和启动盘后,客体在这些接口上执行引导代码,启动自己的内核和服务。这样两台客体可以各有一份系统配置。每台客体还要为内核和系统服务留出内存,冷启动时要完成引导;容器启动时通常直接运行应用入口。
- Type 1 直接运行在硬件或高权限层。
- Type 2 作为宿主操作系统上的程序运行。
分类边界在现代系统中可能模糊,重要的是实际谁负责 CPU、内存和设备虚拟化。
CPU 虚拟化¶
Trap-and-emulate¶
这种做法常叫陷入与模拟(trap-and-emulate)。「陷入」指执行权从客体转给监控器,「模拟」指由监控器替客体完成被拦下的操作。客体普通指令通常直接在物理 CPU 上执行。遇到需要宿主处理的操作或事件,处理器可退出客体,让 VMM 接手。这种「在本机执行,必要时接管」的分工省去了逐条模拟的开销。
例如客体应用做整数加法时,处理器可直接计算。假如客体驱动访问由宿主仿真的设备寄存器,则可能触发一次 VM exit,让宿主侧接手,为这次读或写产生客体预期的结果,然后恢复运行。客体应用发起普通 read() 时,首先是应用进入客体内核;是否接着退出到宿主,要看客体内核之后执行了什么。退出还可能由中断等事件触发,具体取决于硬件和拦截配置。
早期有些处理器遇到改系统设置之类的操作,并不会可靠地交给监控器。宿主只能先检查机器指令,把有问题的操作换成能安全执行的指令序列,这叫二进制翻译。后来处理器增加专门运行客体的模式,并让监控器指定哪些动作需要接手。
VM exit 的成本¶
退出客体要保存虚拟 CPU 状态、进入 VMM、处理原因再恢复。频繁特权操作、设备访问或中断会放大成本,因此会使用:
- 让知道自己在虚拟机里的驱动把多个请求排进双方可读写的队列,再一次通知监控器。这是下文的半虚拟化设备。
- 把某个物理设备或其中一项功能直接交给客体,减少宿主接手次数。这是下文的设备直通。
- 对允许客体自己完成的操作,减少不必要的拦截。
内存虚拟化¶
先回想分页。程序用自己的虚拟页号,内核通过页表找到对应的物理页框。到了虚拟机里,客体内核照样查自己的页表,但它眼里的「物理页框」还只是虚拟机内部的编号。宿主管理程序再用第二张编号对照表,把客体页框对应到真正的内存页框。这张表叫嵌套页表(nested page table)。
硬件可以通过两套页表完成翻译。代价是处理器没有缓存所需的翻译时(TLB 未命中),查表需要额外读取。更大的页能让一条缓存记录覆盖更多地址,也可能加重内存分配压力。
沿用分页课的 16 字节小页。设客体内核规定「虚拟页 1 → 客体页框 5」,宿主管理程序规定「客体页框 5 → 宿主页框 12」。现在客体应用读地址 26:
26 = 1 × 16 + 10。客体页表把页号1换成页框5,因此客体物理地址是90。- 这块客体内存实际背靠宿主页框
12。保持同一个偏移10,最终访问12 × 16 + 10 = 202。
客体内核只需要管理自己看得见的页框。同一个客体物理地址,放在另一台虚拟机中可以映射到别的宿主页框。这个模型只模拟数据地址的最终映射;真实硬件在走客体页表时,读取页表本身也可能需要第二阶段翻译,因此缓存近期翻译尤为重要。
例如,宿主机可以请一个暂时空闲的客体借出部分内存,等它重新需要时再归还。这类由客体驱动配合的内存回收方式叫气球驱动。宿主也可以先给多台客体承诺超过物理机容量的内存,这叫内存超配。多台客体同时用满承诺容量时,宿主必须回收内存或暂存数据,少数请求可能因此等很久。
设备虚拟化¶
设备模拟¶
模拟常见真实硬件,兼容不修改的客体驱动,但每次寄存器访问可能陷入,性能较低。
半虚拟化设备¶
客体使用知道自己在虚拟机里的驱动。例如,驱动把多个请求写入客体和监控器都能访问的队列,再通知监控器一起处理。这种半虚拟化少做逐次模拟,但也需要客体提供对应的驱动。
设备直通¶
把物理设备或其中可单独分配的功能直接交给客体,称为设备直通。这样能减少模拟开销。设备直接访问内存时,需要用设备侧的地址翻译和权限检查(IOMMU)把访问限制在允许的区域。换一台宿主机或让其他客体使用这个设备,就没那么方便了。
容器的核心:共享内核¶
容器内应用仍发出宿主系统调用,进入同一个宿主内核。容器隔离主要由以下机制组合:
Namespace¶
命名空间(namespace)改变进程看到的资源。给两份服务安排不同的网络命名空间,它们便有各自的网络设备和端口记录,可以分别监听 8000。还有其他种类的命名空间,分别隔开不同的资源:
- 进程标识。
- 文件树中在哪些目录接入了别的文件系统,也就是有哪些挂载点。
- 网络接口与路由。
- 主机名。
- 进程间通信用到的一些对象,例如消息队列。
- 用户与组身份映射。
namespace 回答“看见哪些对象和名字”。
cgroup¶
控制组(cgroup)把一组进程放在一起统计和限制资源。例如,可以为服务和它创建的子进程一起设定 512 MiB 内存上限。
namespace 没有限额,容器仍可能耗尽宿主资源;cgroup 没有独立视图,进程仍可能看到其他对象。二者解决不同问题。
分层文件系统与镜像¶
镜像保存程序和启动所需的文件。一份镜像可以分成多层,例如底层放 Python,上层放服务代码。同一份只读文件可以给多个容器使用。若一个容器修改了基础文件,系统可以在这个容器自己的可写层保留改动,其他容器继续读原文件。这种在第一次写入时才为改动分配副本的做法叫写时复制。
可写层可能随容器删除。要让网页内容或训练结果在重建容器后仍可读取,可以把数据保存在容器外的一块持久存储(持久卷),再接入容器目录。详见从镜像到进程。
安全边界¶
容器还常结合:
- 去掉程序不需要的管理权限,例如修改网络配置。Linux 把这些权限拆成可分别启用的 capabilities。
- 限定程序能使用的系统调用。
- 由系统统一限制访问,即强制访问控制(MAC)。
- 把部分目录接入文件视图但只允许读取,并限制能使用的设备。
- 让应用以非管理员身份运行,或通过用户命名空间改变容器内外的身份对应关系。
容器共享宿主内核,因此内核漏洞可能跨越容器边界。高风险多租户场景可能在容器外再加虚拟机边界。
最小比较¶
| 维度 | 虚拟机 | 容器 |
|---|---|---|
| 内核 | 每个客体可独立 | 共享宿主内核 |
| 启动 | 通常较慢 | 通常较快 |
| 内存开销 | 包含客体内核与服务 | 主要是应用与共享页 |
| 运行不同 OS 内核 | 可以 | 通常不可以 |
| 隔离边界 | 虚拟硬件/VMM | 宿主内核机制 |
| 设备访问 | 模拟、半虚拟化或直通 | 宿主设备接口与权限控制 |
表中的启动和内存成本是常见情况。比较具体产品时,可以分别量从请求到程序就绪要多久,以及真正多占了多少内存。
一个容器资源例子¶
假设服务的 CPU 配额是每 100 ms 最多用 100 ms 的 CPU 时间,内存硬上限为 512 MiB。CPU 时间只在核心执行这组线程时累加,两个核心各工作 1 ms 要合计 2 ms。如果同时有两条线程在不同核心满速运行约 50 ms,它们合计已用约 100 ms 的 CPU 时间,可能在该周期的剩余时间被节流。机器仍可能有空闲核心。这里配置的是一组线程能用的时间总量;若要指定它们能在哪些核心运行,需要另外指定它能用的核心,这种绑定关系叫 CPU 亲和性。
当超过内存限制时,行为可能是回收、阻塞或在该控制组内选择终止进程,取决于配置和系统。应用仍需处理分配失败、延迟升高和终止,不应把容器限额当作透明硬件。
虚拟机快照与迁移¶
快照是为以后恢复而保存的一组状态。例如,虚拟机刚把新数据写入读写缓存,但磁盘尚未更新,这时分别在两个不协调的时刻复制内存和磁盘,恢复后可能对不上。快照要尽量让内存、虚拟磁盘和设备记录对应同一个运行时刻。外部数据库和网络连接还需要另行处理。
在线迁移把正在运行的虚拟机转移到另一台宿主。可以先边运行边复制内存,再重复复制这期间又被修改过的页(脏页)。剩下的页不多时短暂停机,补齐状态再从新宿主继续,这叫预复制。若改页速度超过复制速度,剩余工作可能越积越多,要考虑限制写入速度或接受更长的停机时间。
容器不是打包格式而已¶
镜像提供文件系统内容,运行隔离还需要进程、namespace、cgroup、权限和网络配置。只解压镜像并运行进程,不会自动得到安全容器。
反过来,容器也不等于微服务。一个容器可运行单体应用,微服务也可运行在虚拟机或裸机。部署单位和软件架构是两个维度。
可观察性问题¶
虚拟化增加指标层次:
- 客体看到的 CPU 忙可能包含被 VMM 暂停后的时间解释差异。
- 容器内“可用内存”可能不同于宿主总内存和 cgroup 限额。
- 设备延迟可能来自客体队列、VMM、宿主块层和物理设备。
诊断应同时观察客体/容器和宿主,避免只在一层下结论。
权衡与适用条件¶
选择虚拟机:
- 需要不同内核或更强租户边界。
- 需要完整系统兼容和设备模型。
- 可以接受更高启动与内存成本。
选择容器:
- 应用可共享宿主内核。
- 关注快速部署、高密度和一致依赖。
- 能正确配置最小权限与资源限制。
二者可以组合:每个租户一台虚拟机,内部用容器部署应用。
用同一进程验证差异¶
选一个监听本地端口的小程序。先问三个问题:它通过谁的内核执行系统调用,能看到哪些进程和网络接口,数据写到了哪里?普通进程继承宿主系统视图,客体 VM 通过自己的内核运行,容器可改用自己的 namespace 视图。权限和资源限制仍需要逐项查看。下一节从镜像到进程会把这个例子运行起来。
自测¶
- Trap-and-emulate 为什么能让多数普通指令接近原生执行?
- 两阶段地址翻译分别由谁维护?
- namespace 与 cgroup 各解决什么问题?
- 容器镜像的只读层为什么不等于完整安全隔离?
- 设备直通提高性能时牺牲了哪些能力?
参考思路
普通非敏感指令可以在硬件上运行,遇到配置为拦截的操作或事件才退出。客体内核维护第一阶段的地址翻译,宿主侧管理程序维护第二阶段。namespace 改变进程所见,cgroup 限制和统计资源;镜像提供启动前的文件和配置。直通可以降低模拟开销,同时会限制设备共享与迁移,并依赖适当的 IOMMU 隔离。
延伸阅读:Linux KVM 接口 · Linux cgroup v2。