跳转至

地址空间与分页

程序通过地址找到代码和数据。许多程序要共用同一台机器的内存,操作系统得让它们各用各的地址,并按需安排数据真正存在哪里。

第一次读,先做下面的 16 字节算例,再读「最小地址翻译例子」和「按需分页」。第二遍再看怎样改用更大的页,以及多个进程怎样共享一页、等需要修改时再复制。

两个程序读同一个地址,为什么可以得到不同值?

设 A 和 B 是两个独立进程。它们各自执行「读地址 26」,A 应该读到自己的字节,B 也应该读到自己的字节。程序交给 CPU 的 26 是虚拟地址,真正到内存找内容时要用物理地址。程序自己能使用的一整套地址叫地址空间。内核给每个地址空间维护一份映射,CPU 执行指令时按这次运行所用的映射查找。

为了能手算,先假设每 16 字节为一页。程序那侧的一组 16 字节叫虚拟页;在物理内存里能放下一页的同样大小的一格叫页框。页表是一张从虚拟页号到页框的表。下面只列有关的表项。

页号 这页里的虚拟地址 A 的页表 B 的页表
0 0 到 15 页框 3 页框 4
1 16 到 31 页框 5 页框 2
2 32 到 47 页框 1 此处尚无可用映射

翻译地址 26 时,先看它落在哪页,再数它在这一页里往后几格。26 = 1 × 16 + 10,所以它是第 1 页的第 10 个偏移位置。用 A 的表查到页框 5,页框起点是 5 × 16 = 80,到同一偏移位置就是 90。用 B 的表则得到 2 × 16 + 10 = 42。这就是为什么同一个地址数字能在两边指向独立的存储。

虚拟地址 26 = 虚拟页 1 + 页内偏移 10
                          │
         A 的表:页 1 → 页框 5    物理地址 80 + 10 = 90
         B 的表:页 1 → 页框 2    物理地址 32 + 10 = 42

页内偏移相当于这一组里的位置。整组搬到别处,每个字节在组内的相对位置照旧。页大小固定,使相邻虚拟页能放进不相邻的物理页框,只需要在表里分别记录去向。

先算:A 从地址 31 读到 32,物理位置会差 1 吗?

31 = 1 × 16 + 15,用 A 的页表得到 5 × 16 + 15 = 95。32 = 2 × 16 + 0,得到 1 × 16 + 0 = 16。跨页后要重新查表。程序里的连续地址可以对应不连续的物理页框。

用 Python 检验手算

这段代码只模拟页表查找和地址计算。返回 None 表示这个简化页表当前没有可用页框。

def translate(address, page_table, page_size=16):
    page, offset = divmod(address, page_size)
    frame = page_table.get(page)
    if frame is None:
        return None
    return frame * page_size + offset

table_a = {0: 3, 1: 5, 2: 1}
table_b = {0: 4, 1: 2}

print(translate(26, table_a), translate(26, table_b))  # 90 42
print(translate(31, table_a), translate(32, table_a))  # 95 16
print(translate(32, table_b))                         # None

为什么直接使用物理地址不够

若程序中的地址就是物理地址,会遇到:

  • 两个程序可能使用同一地址范围而冲突。
  • 程序换一段内存装入,代码里引用的位置也要跟着改。这种调整叫重定位。
  • 一个程序可以读写另一个程序或内核的内存。
  • 物理内存不足时,很难只保留当前需要的部分。

虚拟内存通过每个进程独立的映射解决这些问题。相同虚拟地址在不同进程中可以指向不同物理页。

地址空间的直观布局

典型进程地址空间包含:

高地址
  内核保留区域或不可访问区域
  用户栈(通常向低地址增长)
  共享库与内存映射区
  堆(通常向高地址增长)
  静态数据
  程序代码
低地址

这只是概念布局。地址随机化、体系结构、可执行格式和运行时会改变实际位置。空洞并不等于占用同等大小的物理内存;虚拟空间可以稀疏。

历史路径:重定位、分段与分页

基址与界限

进程产生逻辑地址 \(x\),硬件检查 \(0\le x<limit\),再加基址:

\[ physical=base+x. \]

这提供重定位和连续区域保护。但如果一个程序需要 12 字节,而内存剩余的空间散在两个 8 字节的小空隙里,就没有足够大的连续区域。这种零散空间称为外部碎片。给每个程序分配一个连续区域,也不方便让堆和栈分别增长。

分段

分段把地址空间按代码、数据、栈等逻辑区域拆分,每段有独立基址、界限和权限。它符合程序结构,也方便共享只读代码。

问题是段大小可变,物理内存分配仍会产生外部碎片;段增长还可能需要搬迁。现代通用系统多以分页作为主机制,但“区域具有不同语义和权限”的思想仍存在于虚拟内存区域中。

分页

分页把虚拟空间切成固定大小的虚拟页,把物理内存切成同样大小的页框。虚拟页可以映射到任意页框,无需物理连续。

若页大小为 \(P=2^p\) 字节,虚拟地址可分为:

虚拟页号 | 页内偏移 p 位

地址翻译只替换页号,页内偏移保持不变。

最小地址翻译例子

假设页大小为 4096 字节,虚拟地址为 13,000:

\[ VPN=\left\lfloor\frac{13000}{4096}\right\rfloor=3, \]
\[ offset=13000\bmod4096=712. \]

若页表把虚拟页 3 映射到物理页框 20,则:

\[ physical=20\times4096+712=82632. \]

程序只使用 13,000,硬件和操作系统共同维护映射到 82,632 的关系。

用这组数字做一次跨课推演:如果页框已经在内存里,但 CPU 还没有缓存页号 3 的翻译,会先查页表;如果映射合法但尚未驻留,则进入内核的缺页处理。拿到物理地址后,还要判断数据 Cache 是否命中。三条路径的对照见组成原理的访存算例。

前面的模型页大小是 16 字节,这里换成 4096 字节。做的仍是同三步:用除法找页,用余数找组内位置,用当前进程的表换页框。第一次读能把这三步写在纸上,就可以先跳到按需分页。

页表项包含什么

页表项不仅保存物理页框号,还常包含:

  • present/valid:映射当前是否有效。
  • readable、writable、executable:访问权限。
  • user/supervisor:用户态能否访问。
  • accessed/reference:近期是否访问过。
  • dirty:映射后是否写过。
  • cache policy、global、copy-on-write 等架构或系统相关状态。

权限按页实施,使代码页可读可执行但不可写,数据页可读写但不可执行。W^X 思想避免同一页同时可写又可执行,减少代码注入风险,但 JIT 等场景需要受控切换或双映射。

内部碎片

固定页消除了进程分配的外部碎片,却可能在最后一页浪费空间。若对象大小随机分布且不考虑其他因素,平均内部浪费常粗略估为半页:

\[ E[waste]\approx\frac{P}{2}. \]

这只是直觉模型。实际映射共享、文件尾页、分配器和大页都会改变浪费情况。

按需分页

建立虚拟区域时不必立即分配所有物理页。首次访问合法但还没在物理内存里的页面时,处理器会向内核报告缺页异常。内核根据页面用途决定怎样准备内容,例如分一页并清零、从文件读取,或从磁盘上专门暂存内存数据的交换区读回来。

回到 B 访问地址 32 的例子。页表查不到可用页框时,硬件把访问交给内核。内核还要查进程的地址区域记录,才能区分两种情况:如果 32 属于刚分配且允许读写的区域,内核可以准备该页并让指令重试;如果 32 根本不属于任何允许访问的区域,或这次操作权限不符,内核可能把错误报告给进程。缺页是进入处理流程的信号,一次正常的首次访问也可能触发它。只有需要从文件或交换区读取内容时,这条路径才涉及相应的存储 I/O。

优点:

  • 程序启动更快,只装入真正访问的页面。
  • 稀疏大地址空间无需占用同等物理内存。
  • 内存可以多留给这段时间反复访问的那组页,也就是当前的工作集。

代价是首次访问延迟不可预测;内存紧张时还可能发生回收和磁盘 I/O。

共享页面

不同进程的虚拟页可映射到同一物理页:

  • 多个进程共享只读库代码。
  • 父子进程在 fork 后写时复制。
  • 进程通过共享内存通信。
  • 文件页同时被页缓存和进程映射引用。

共享提高内存效率,但写权限和一致性必须明确。共享可写页上的普通数据访问需要同步,和同一进程多线程共享内存一样。

写时复制

fork 后父子进程最初共享物理页,页表将其标记为只读和写时复制。任一方写入时:

  1. 触发写保护缺页。
  2. 内核确认当前页面按写时复制(COW)共享,这次写入需要创建副本。
  3. 分配新页框并复制原内容。
  4. 更新写入方页表为可写新页。
  5. 重试写指令。

若双方都不写,复制永不发生。代价是首次写入出现缺页和复制延迟;大进程 fork 还需复制或共享页表结构,并非完全免费。

mmap 与文件映射

文件映射把文件的一段映射进虚拟地址空间,应用通过普通加载/存储访问。首次访问可能缺页并从文件读取,写入可能进入页缓存,最终按映射类型和刷写策略持久化。

void *p = mmap(NULL, length, PROT_READ, MAP_PRIVATE, fd, 0);

MAP_PRIVATE 的写入通常采用写时复制,不回写原文件;MAP_SHARED 则建立共享文件映射,但“内存已经修改”不等于“数据已经持久化到设备”,还需理解同步与刷盘语义。

大页

增大页大小会减少页表项数量,处理器的地址翻译缓存(TLB)也能用一条记录覆盖更多地址:

\[ TLB\ coverage=N_{entries}\times P. \]

代价包括更大内部碎片、更高缺页搬运成本、内存整理需求和更粗的保护粒度。大页适合大而连续的工作集,不一定适合大量小映射。

地址随机化与保护

地址空间布局随机化改变栈、堆、库和可执行映像位置,使攻击者难以预测目标地址。它增加利用难度,却不是内存安全:信息泄漏可能暴露布局,越界写的根因仍存在。

页级不可执行、只读和用户/内核权限提供基础保护。更细对象边界通常需要语言、编译器、运行时或额外硬件机制配合。

与分配器的区别

应用调用 malloc 获得的是进程虚拟空间中的一段可用区域。用户态分配器可能先从已有 arena 切块,未必每次都发系统调用;只有需要扩展或归还大块虚拟区域时,才通过 brk 或 mmap 等接口联系内核。

内核物理页分配器管理页框,slab 类分配器再从页中提供小型内核对象。不同层都叫“内存分配”,但对象、碎片和同步问题不同。

自测

如果已经能解释 26 在两个进程里分别去哪里,可以继续读 OSTEP 的分页章节和 MIT xv6 教材的页表章。前者继续分析分页的开销,后者把页表和物理页分配放进教学内核的代码路径。

  1. 两个进程能否使用相同虚拟地址保存不同数据?
  2. 分页消除了哪类碎片,又引入哪类碎片?
  3. fork 的写时复制为什么要先把共享页设为只读?
  4. 大页怎样改善 TLB 覆盖,又有什么代价?
  5. mmap 写入成功是否表示数据已经落到非易失设备?
参考思路

每个地址空间的页表不同,所以可以。分页避免可变连续分配的外部碎片,但有页内碎片。只读写保护让首次写入可被硬件捕获。大页减少翻译项,代价是碎片和搬运粒度。内存修改与持久化是不同阶段。