有界队列:缓冲空间用完以后¶
格子满以后,多出的五项任务去哪儿?¶
队列只有三个空位,接下来到达八项,服务此刻还没开始。前三项可以进入,后五项可以先留在发送任务的一方(上游),也可以被明确拒绝,或由规则决定丢弃。加大队列能吸收短时间涌入的任务。如果发送方一直更快,队列最终还是会填满。这时可以把「暂时收不下」的信号传回发送方,让它放慢发送,这就是**背压**。
是丢最新项还是最旧项,能通用一个答案吗?
要看用途。实时状态可能更关心最新值,任务提交通常更关心不悄悄丢失,并希望收到明确反馈。
先修:队列。
读完能做:用一个读写位置都能从末尾回到开头的数组(环形缓冲区)手推队列,说明何时需要背压。
为什么给队列设上限¶
任务平均每秒到达 120 个,处理器每秒能完成 100 个。即使短时间内看不出问题,等待中的任务也会大致每秒增加 20 个。可用内存总有上限,持续过载会耗尽缓冲空间。可以先给缓冲区容量,再决定满时怎么办。
环形缓冲区怎样复用空间¶
用长度 3 的数组、读指针、写指针和当前元素数实现先入先出(first in, first out,FIFO)。这里的读、写指针分别记下一次该读和写哪一格。每次成功读写后,位置加 1,若超过最后一格就回到 0。写成算式就是 (位置 + 1) % 容量,其中 % 取除法的余数。例如位置在 2 时,(2 + 1) % 3 = 0。
| 动作 | 读指针 | 写指针 | 元素数 | 逻辑队列 |
|---|---|---|---|---|
| 初始 | 0 | 0 | 0 | 空 |
| 写 A、B | 0 | 2 | 2 | A、B |
| 读 A | 1 | 2 | 1 | B |
| 写 C、D | 1 | 1 | 3 | B、C、D |
读写指针相等时可能全满,也可能全空,因此这里另外记录元素数。例子假设程序里只有一条执行路线(单线程),读写一步就能完成,开销不随队列容量增长。如果有多个线程同时读写,还要规定谁可以先改位置,并保证另一个线程读到的是已经提交的更新。
满时的选择¶
阻塞生产者能把压力传回上游,但是会增加等待;拒绝可以尽快告诉客户端失败,但需要调用方处理;丢弃适合允许采样的场景,应明示丢弃规则。队列越大越能吸收短时波峰,也可能把过载变成更长的等待。按等待时间、队列深度和丢弃率一起判断。
自测¶
队列可容纳 100 个请求,初始为空。在上面的稳定速率下,持续多久接近满?如果改成 1000 个,会长期解决过载吗?
参考思路
简化模型约 5 秒。改大后约 50 秒才满,长期到达速度仍超过处理速度。需要降低到达、增加处理能力或改变服务策略。