地址空间与分页¶
程序通过地址找到代码和数据。许多程序要共用同一台机器的内存,操作系统得让它们各用各的地址,并按需安排数据真正存在哪里。
第一次读,先做下面的 16 字节算例,再读「最小地址翻译例子」和「按需分页」。第二遍再看怎样改用更大的页,以及多个进程怎样共享一页、等需要修改时再复制。
两个程序读同一个地址,为什么可以得到不同值?¶
设 A 和 B 是两个独立进程。它们各自执行「读地址 26」,A 应该读到自己的字节,B 也应该读到自己的字节。程序交给 CPU 的 26 是虚拟地址,真正到内存找内容时要用物理地址。程序自己能使用的一整套地址叫地址空间。内核给每个地址空间维护一份映射,CPU 执行指令时按这次运行所用的映射查找。
为了能手算,先假设每 16 字节为一页。程序那侧的一组 16 字节叫虚拟页;在物理内存里能放下一页的同样大小的一格叫页框。页表是一张从虚拟页号到页框的表。下面只列有关的表项。
| 页号 | 这页里的虚拟地址 | A 的页表 | B 的页表 |
|---|---|---|---|
| 0 | 0 到 15 | 页框 3 | 页框 4 |
| 1 | 16 到 31 | 页框 5 | 页框 2 |
| 2 | 32 到 47 | 页框 1 | 此处尚无可用映射 |
翻译地址 26 时,先看它落在哪页,再数它在这一页里往后几格。26 = 1 × 16 + 10,所以它是第 1 页的第 10 个偏移位置。用 A 的表查到页框 5,页框起点是 5 × 16 = 80,到同一偏移位置就是 90。用 B 的表则得到 2 × 16 + 10 = 42。这就是为什么同一个地址数字能在两边指向独立的存储。
页内偏移相当于这一组里的位置。整组搬到别处,每个字节在组内的相对位置照旧。页大小固定,使相邻虚拟页能放进不相邻的物理页框,只需要在表里分别记录去向。
先算:A 从地址 31 读到 32,物理位置会差 1 吗?
31 = 1 × 16 + 15,用 A 的页表得到 5 × 16 + 15 = 95。32 = 2 × 16 + 0,得到 1 × 16 + 0 = 16。跨页后要重新查表。程序里的连续地址可以对应不连续的物理页框。
用 Python 检验手算
这段代码只模拟页表查找和地址计算。返回 None 表示这个简化页表当前没有可用页框。
def translate(address, page_table, page_size=16):
page, offset = divmod(address, page_size)
frame = page_table.get(page)
if frame is None:
return None
return frame * page_size + offset
table_a = {0: 3, 1: 5, 2: 1}
table_b = {0: 4, 1: 2}
print(translate(26, table_a), translate(26, table_b)) # 90 42
print(translate(31, table_a), translate(32, table_a)) # 95 16
print(translate(32, table_b)) # None
为什么直接使用物理地址不够¶
若程序中的地址就是物理地址,会遇到:
- 两个程序可能使用同一地址范围而冲突。
- 程序换一段内存装入,代码里引用的位置也要跟着改。这种调整叫重定位。
- 一个程序可以读写另一个程序或内核的内存。
- 物理内存不足时,很难只保留当前需要的部分。
虚拟内存通过每个进程独立的映射解决这些问题。相同虚拟地址在不同进程中可以指向不同物理页。
地址空间的直观布局¶
典型进程地址空间包含:
这只是概念布局。地址随机化、体系结构、可执行格式和运行时会改变实际位置。空洞并不等于占用同等大小的物理内存;虚拟空间可以稀疏。
历史路径:重定位、分段与分页¶
基址与界限¶
进程产生逻辑地址 \(x\),硬件检查 \(0\le x<limit\),再加基址:
这提供重定位和连续区域保护。但如果一个程序需要 12 字节,而内存剩余的空间散在两个 8 字节的小空隙里,就没有足够大的连续区域。这种零散空间称为外部碎片。给每个程序分配一个连续区域,也不方便让堆和栈分别增长。
分段¶
分段把地址空间按代码、数据、栈等逻辑区域拆分,每段有独立基址、界限和权限。它符合程序结构,也方便共享只读代码。
问题是段大小可变,物理内存分配仍会产生外部碎片;段增长还可能需要搬迁。现代通用系统多以分页作为主机制,但“区域具有不同语义和权限”的思想仍存在于虚拟内存区域中。
分页¶
分页把虚拟空间切成固定大小的虚拟页,把物理内存切成同样大小的页框。虚拟页可以映射到任意页框,无需物理连续。
若页大小为 \(P=2^p\) 字节,虚拟地址可分为:
地址翻译只替换页号,页内偏移保持不变。
最小地址翻译例子¶
假设页大小为 4096 字节,虚拟地址为 13,000:
若页表把虚拟页 3 映射到物理页框 20,则:
程序只使用 13,000,硬件和操作系统共同维护映射到 82,632 的关系。
用这组数字做一次跨课推演:如果页框已经在内存里,但 CPU 还没有缓存页号 3 的翻译,会先查页表;如果映射合法但尚未驻留,则进入内核的缺页处理。拿到物理地址后,还要判断数据 Cache 是否命中。三条路径的对照见组成原理的访存算例。
前面的模型页大小是 16 字节,这里换成 4096 字节。做的仍是同三步:用除法找页,用余数找组内位置,用当前进程的表换页框。第一次读能把这三步写在纸上,就可以先跳到按需分页。
页表项包含什么¶
页表项不仅保存物理页框号,还常包含:
- present/valid:映射当前是否有效。
- readable、writable、executable:访问权限。
- user/supervisor:用户态能否访问。
- accessed/reference:近期是否访问过。
- dirty:映射后是否写过。
- cache policy、global、copy-on-write 等架构或系统相关状态。
权限按页实施,使代码页可读可执行但不可写,数据页可读写但不可执行。W^X 思想避免同一页同时可写又可执行,减少代码注入风险,但 JIT 等场景需要受控切换或双映射。
内部碎片¶
固定页消除了进程分配的外部碎片,却可能在最后一页浪费空间。若对象大小随机分布且不考虑其他因素,平均内部浪费常粗略估为半页:
这只是直觉模型。实际映射共享、文件尾页、分配器和大页都会改变浪费情况。
按需分页¶
建立虚拟区域时不必立即分配所有物理页。首次访问合法但还没在物理内存里的页面时,处理器会向内核报告缺页异常。内核根据页面用途决定怎样准备内容,例如分一页并清零、从文件读取,或从磁盘上专门暂存内存数据的交换区读回来。
回到 B 访问地址 32 的例子。页表查不到可用页框时,硬件把访问交给内核。内核还要查进程的地址区域记录,才能区分两种情况:如果 32 属于刚分配且允许读写的区域,内核可以准备该页并让指令重试;如果 32 根本不属于任何允许访问的区域,或这次操作权限不符,内核可能把错误报告给进程。缺页是进入处理流程的信号,一次正常的首次访问也可能触发它。只有需要从文件或交换区读取内容时,这条路径才涉及相应的存储 I/O。
优点:
- 程序启动更快,只装入真正访问的页面。
- 稀疏大地址空间无需占用同等物理内存。
- 内存可以多留给这段时间反复访问的那组页,也就是当前的工作集。
代价是首次访问延迟不可预测;内存紧张时还可能发生回收和磁盘 I/O。
共享页面¶
不同进程的虚拟页可映射到同一物理页:
- 多个进程共享只读库代码。
- 父子进程在
fork后写时复制。 - 进程通过共享内存通信。
- 文件页同时被页缓存和进程映射引用。
共享提高内存效率,但写权限和一致性必须明确。共享可写页上的普通数据访问需要同步,和同一进程多线程共享内存一样。
写时复制¶
fork 后父子进程最初共享物理页,页表将其标记为只读和写时复制。任一方写入时:
- 触发写保护缺页。
- 内核确认当前页面按写时复制(COW)共享,这次写入需要创建副本。
- 分配新页框并复制原内容。
- 更新写入方页表为可写新页。
- 重试写指令。
若双方都不写,复制永不发生。代价是首次写入出现缺页和复制延迟;大进程 fork 还需复制或共享页表结构,并非完全免费。
mmap 与文件映射¶
文件映射把文件的一段映射进虚拟地址空间,应用通过普通加载/存储访问。首次访问可能缺页并从文件读取,写入可能进入页缓存,最终按映射类型和刷写策略持久化。
MAP_PRIVATE 的写入通常采用写时复制,不回写原文件;MAP_SHARED 则建立共享文件映射,但“内存已经修改”不等于“数据已经持久化到设备”,还需理解同步与刷盘语义。
大页¶
增大页大小会减少页表项数量,处理器的地址翻译缓存(TLB)也能用一条记录覆盖更多地址:
代价包括更大内部碎片、更高缺页搬运成本、内存整理需求和更粗的保护粒度。大页适合大而连续的工作集,不一定适合大量小映射。
地址随机化与保护¶
地址空间布局随机化改变栈、堆、库和可执行映像位置,使攻击者难以预测目标地址。它增加利用难度,却不是内存安全:信息泄漏可能暴露布局,越界写的根因仍存在。
页级不可执行、只读和用户/内核权限提供基础保护。更细对象边界通常需要语言、编译器、运行时或额外硬件机制配合。
与分配器的区别¶
应用调用 malloc 获得的是进程虚拟空间中的一段可用区域。用户态分配器可能先从已有 arena 切块,未必每次都发系统调用;只有需要扩展或归还大块虚拟区域时,才通过 brk 或 mmap 等接口联系内核。
内核物理页分配器管理页框,slab 类分配器再从页中提供小型内核对象。不同层都叫“内存分配”,但对象、碎片和同步问题不同。
自测¶
如果已经能解释 26 在两个进程里分别去哪里,可以继续读 OSTEP 的分页章节和 MIT xv6 教材的页表章。前者继续分析分页的开销,后者把页表和物理页分配放进教学内核的代码路径。
- 两个进程能否使用相同虚拟地址保存不同数据?
- 分页消除了哪类碎片,又引入哪类碎片?
fork的写时复制为什么要先把共享页设为只读?- 大页怎样改善 TLB 覆盖,又有什么代价?
mmap写入成功是否表示数据已经落到非易失设备?
参考思路
每个地址空间的页表不同,所以可以。分页避免可变连续分配的外部碎片,但有页内碎片。只读写保护让首次写入可被硬件捕获。大页减少翻译项,代价是碎片和搬运粒度。内存修改与持久化是不同阶段。