From 36ebcc7810574c6bd6619be44a63abae929461a4 Mon Sep 17 00:00:00 2001 From: zyr Date: Thu, 12 Mar 2020 13:46:39 +0800 Subject: [PATCH 1/4] add lec7 discussion answer --- all/04-2-spoc-discussion.md | 84 +++++++++++++++++++++++++++++++++++++ 1 file changed, 84 insertions(+) diff --git a/all/04-2-spoc-discussion.md b/all/04-2-spoc-discussion.md index d78c66fab..70d31a151 100644 --- a/all/04-2-spoc-discussion.md +++ b/all/04-2-spoc-discussion.md @@ -68,3 +68,87 @@ - [LIRS journal paper](http://www.ece.eng.wayne.edu/~sjiang/pubs/papers/jiang05_LIRS.pdf) - [LIRS-replacement ppt1](http://dragonstar.ict.ac.cn/course_09/XD_Zhang/(6)-LIRS-replacement.pdf) - [LIRS-replacement ppt2](http://www.ece.eng.wayne.edu/~sjiang/Projects/LIRS/sig02.ppt) + +## 问答题 + +1. [基础] 全局和局部置换算法有何不同？分别有哪些算法？ + + 局部：置换范围仅限当前进程页面，某个进程页面数量固定。OPT、FIFO、LRU、Clock、LFU。 + + 全局：置换范围为所有允许置换的物理页面。工作集算法、缺页率算法。 + +2. [基础] 简单描述OPT、FIFO、LRU、Clock、LFU的工作过程和特点 + + * OPT： + * 换出未来最晚使用的页面。 + * 不可能实现，作为benchmark。 + * FIFO： + * 换出最早进入内存的页面 + * 开销小、实现简单（更新很少，仅在换入换出时更新），效率较低 + * LRU： + * 换出最久未使用的页面 + * 开销大、实现比较困难，较精确，实际使用仍然比较少 + * Clock: + * 设置访问位，访问时置1，缺页时循环遍历页面，访问位为1者置0，访问下一个页面，为0者换出，结束（注意换出后，指针指向下一个页面） + * 为FIFO、LRU折中，开销和效果适中 + * LFU： + * 记录每个页面的访问次数，缺页时换出访问次数最少的 + * 开销较大，硬件实现困难，多用于磁盘访问的情景 + +3. [进阶，开放，推荐]考虑置换算法的收益和开销，综合评判在何种情境下使用何种算法比较合适呢？ + + 提示：不仅限于内存和磁盘之间的置换，考虑层次存储中各个层次之间的置换。综合考虑每次访问和缺失时的开销。 + + 参考引导问题：为何LRU可以实现且效果好但不大范围使用？为何在TLB中经常使用random替换算法？ + + 参考答案：访问开销 = hit开销 + miss率 X miss开销，要综合考虑命中和不命中开销。在不同的存储层次，命中开销的基础值相差很大，在TLB层级，基础开销相当小，这时如果算法附带的命中开销稍大，那么即便缺失率很小也得不偿失，所以经常使用随机算法，另外这个层次的算法必须有硬件高效实现，这也限制了算法的选取。而访问磁盘的情境下，每次读取量大、时间长，基础开销很大，这个时候就可以选取一些基础开销稍大的算法来减少miss开销，可以使用软件算法。 + +4. [基础] Clock和LFU算法存在那些问题，如何改进？ + + * Clock： + * 问题：如果换出的是已经修改的页面，本次开销比较大（事实上这个问题所有算法都有这个问题，可能是clock可以比较方便的进行针对性优化，因为用到了页表项·） + * 改进：增加一个修改位，对于已经修改的页面先跳过不换出，等待其余机制（开销小）写出后再考虑换出。 + * LFU： + * 问题：某些页面如果累计次数很高，即便长时间不访问也不会被换出 + * 改进：定期对访问次数进行右移 + +5. [进阶-，开放] Clock算法仅仅能够记录近期是否访问过这一信息，对于访问的频度几乎没有记录，如何改进这一点？(这里针对恢复计数的LFU算法也可以提出类似问题) + + 将访问位拓宽，访问时+1，封顶不加，缺页循环时-1，到0不减，这样可以一定程度上记录已经访问过的页的访问频度。 + + 6. [基础] LRU算法的缺页率是否总是优于FIFO算法呢？为何？ + + 不是，有时候退化，甚至可能更差。这些算法都是基于局部性原理的，有些时刻可能失效。 + +7. [基础] 描述belady现象。[进阶] 哪些算法有belady现象？[困难]思考belady现象的成因，尝试给出说明OPT和LRU等没有belady现象的思路（仅仅是思路，大体有一个方向即可）。 + * 概念:可用的内存页面变多时，淘汰算法针对某些页面访问顺序，缺页次数可能变多的现象。 + * FIFO、不恢复计数的LFU、Clock算法存在belady。 + * 证明： + + LRU：https://piazza.com/class/i5j09fnsl7k5x0?cid=205 + + OPT：https://piazza.com/class/i5j09fnsl7k5x0?cid=1296 + + * 参考思路：如果能够使得页面增多时驻留内存的页面总是内存不变时的超集就可以整明没有belady，也就是说要维护所有页面的一个全序关系。考虑内存页面无限多的情况，LRU和OPT有这样一个全序关系，恢复计数的LFU也有这样的关系。但是不恢复计数的LFU页面一旦被换出，这个关系就崩了，所以它存在belady。 + +8. [进阶] 使用自映射有何优势？有何代价？ + * 优势：省一个页面的内存(这不关键)。可以通过十分简单的运算，由虚拟地址直接得到所需的二级页表项的物理地址。方便编辑页表自身。 + + * 代价：会占用一大片虚拟地址空间。 + + +9. [进阶] 考虑在 32 位 x86 下使用页表自映射。为了方便用三元组 (a, b, c) 表示虚拟/物理地址 ((a<<22) +(b<<12) + c)，其中 0<=a,b<1024，0<=c<4096。假设页目录的物理地址是 (A, B, 0)，并且页目录的第 e 项 (0<=e<1024) 是自映射项，就是说在 (A, B, 4*e) 页目录项指向页目录自己的物理地址 (A, B, 0). + + 9.1 页目录的第 i 项的物理地址是多少？通过自映射访问的虚拟地址是多少？ + + (A, B, 4*i) ; (e, e, 4*i) + + 9.2 用一句赋值语句，取消虚拟地址 (x,y,0) 所在页的地址映射。那重新映射到物理地址 (C,D,0)呢（用 flags 表示页表项的诸标志位）？ + + *(pte*) (e, x, 4*y) = 0. + + *(pte*) (e, x, 4*y) = (C,D,0) | flags. + + 9.3 页表项指向的页的物理地址可以直接从页表项的内容读出。但采用自映射后，为什么把页表项的地址（最后两位清零）左移10位，就得到了页表项指向的页的虚拟地址了？ + + 采用自映射以后，页表/页目录均在地址 (e, 0, 0) 到 (e, 1023, 0) 内存区域内。虚拟地址 (u, v, w) 对应的页表项在 (e, u, 4*v)，画图即可。 \ No newline at end of file From c29ab77f584ac03d0b01e0cf03117a9713bf8277 Mon Sep 17 00:00:00 2001 From: zyr Date: Thu, 12 Mar 2020 13:55:40 +0800 Subject: [PATCH 2/4] add lec6 discussion answer --- all/04-1-spoc-discussion.md | 79 +++++++++++++++++++++++++++++++++++++ 1 file changed, 79 insertions(+) diff --git a/all/04-1-spoc-discussion.md b/all/04-1-spoc-discussion.md index e450e281f..7d5765b46 100644 --- a/all/04-1-spoc-discussion.md +++ b/all/04-1-spoc-discussion.md @@ -204,3 +204,82 @@ Virtual Address 1e6f(0 001_11 10_011 0_1111): 如果一个用户态进程访问一个合法用户地址，产生内存访问异常后，v9-cpu会把产生异常的pc存在哪里？中断服务例程应该如何设计，可以返回到用户态产生错误的地址再次执行? + +## 问答题 + +1. 覆盖、交换和虚拟存储有何异同，虚拟存储的优势和挑战体现在什么地方？ + * 共同点：都是采取层次存储的思路，将暂时不用的内存放到外存中去，以此来缓解内存不足的问题。 + * 不同点： + * 粒度不同：覆盖置换的单位是程序模块，交换时整个进程的内存，虚拟存储可以是一个段或者一个页。 + * 自动化程度不同：覆盖需要程序自己决定模块划分和置换时机，交换和虚拟存储可由操作系统自动完成。 + * 虚拟存储的优势： + * 粒度合适，比较灵活。兼顾了覆盖和交换的好处：可以在较小粒度上置换；自动化程度高，编程简单，受程序本身影响很小。（覆盖的粒度受限于程序模块的大小，对编程技巧要求很高。交换粒度较大，受限于程序所需内存。尤其页式虚拟存储，几乎不受程序影响，一般情况下，只要置换算法合适，表现稳定、高效） + * 页式虚拟存储还可以同时解决内存外碎片。提高空间利用率。 + * 虚拟存储的挑战 + * 依赖于置换算法的性能。 + * 相比于覆盖和交换，需要比较高的硬件支持。 + * 较小的粒度在面临大规模的置换时会发生多次较小规模置换，降低效率。典型情况是程序第一次执行时的大量page fault，可配合预取技术缓解这一问题。 + +1. 什么是局部性原理？为何很多程序具有局部性？局部性原理总是正确的吗？为何局部性原理为虚拟存储提供了性能的理论保证？ + + 局部性原理：程序执行过程中的一个较短时间内，所执行的指令地址和指令的操作数地址，分别局限于一定区域（合理即可）。分为时间、空间、分支局部性。 + + 指令的顺序执行、数组的连续存放、循环的多次重复是局部性原理的主要成因。 + + 局部性原理适用于常见的、出现较多的情况，不一定总是正确的。常见反例：视频等流式数据。 + + 局部性原理表明，在段/页大小不十分小时，程序的短期访问会集中于某一个或者某几个段/页中，缺段/页不会频繁的发生，也就不会频繁访问外存，降低效率。局部性原理为小粒度置换的性能提供了理论保证。 + +1. 页访问异常的成因有那些？试描述缺页异常的执行流程。 + + 成因：内存不足被换出；尚未调入内存（第一次访问） + + 流程：略。视频中有详细介绍，合理即可。 + +1. 一条load指令，最多导致多少次页访问异常？不必纠结于答案，尝试考虑较多情况。 + + 指令和数据都可能缺页。 + + 页表缺页：MMU会首先查找页表，如果页表缺页也会出发缺页异常。这种情况下如果采用多级页表，每一级都可能发生缺页。 + + 不对齐访存：如果访存地址不对齐，可能导致访问两个页面。此时除了最高层页表，其余各层页表可能全部再次缺页。 + +1. 如果在缺页中断服务例程执行时，再次出现缺页异常，这时计算机系统（软件或硬件）会如何处理？这种情况可能出现吗？ + + 参考 + + * https://piazza.com/class/i5j09fnsl7k5x0?cid=1292 + + * https://piazza.com/class/i5j09fnsl7k5x0?cid=761 + + * https://en.wikipedia.org/wiki/Double_fault + + * https://en.wikipedia.org/wiki/Triple_fault + + 参考回答： + + （x86）硬件是允许 PFH 执行过程中又产生 PF 的。如果发生了这种情况，也就是发生了一次异常嵌套，处理器不会管你的异常是不是嵌套的，它只会按照标准异常处理流程，跳到处理例程。 + + 异常嵌套在前若干次（根据内核栈的大小，几百到几千次）都是标准的“跳到 IDT 指向的 handler、push eip/cs、读 TSS 换栈”的异常处理流程。每次嵌套，硬件和软件都会压栈，所以若干次嵌套之后会栈溢出（i.e. 到没有页表映射的地址）。这时继续嵌套，CPU 在尝试跳转到 IDT 指向的 handler 过程中发现不能压栈，因为栈溢出了，压栈会导致 page fault。也就是说，“尝试跳转到 page fault handler 的时候又触发了一个 page fault”，根据 sdm3 表 6-5 这种情况导致 CPU 触发一个 double fault 异常。触发 double fault 异常之后，处理器会按照标准流程尝试跳转到 handler 去处理这个 double fault（注意 double fault 和其他异常一样就是一个普通的异常）。但是栈已经溢出了，所以在跳转到 double fault 的时候再次发生了 page fault（硬件无法压栈 eip 等）。按照表 6-5，这种情况下处理器进入 shutdown mode。 + + 使用 qemu 的时候，qemu 默认检测到 cpu shutdown 之后会自动 reboot（可用参数 -no-reboot 修改这个行为）。 + + 可以看到，处理流程很复杂。因此，如果出现了嵌套 page fault 的情况，你应当认为你的 OS 设计/编码出错。换言之，一个 sensible 的 OS 设计要避免嵌套 page fault 的情况，例如永远不换出 PFH。 + + 注意给学生强调，double fault 不是说【执行】fault handler 的时候触发了 fault，而是【硬件跳转到】fault handler 的时候触发了 fault。并且 double fault 和 #DE #GP 一样就是一个异常。triple fault 才是不可恢复的重大错误，会导致关机。 + + +1. 在页面被换出后，如何记录被换出后算在的磁盘位置？以linux系统交换区为例进行思考。 + + 对于一个页表项，在页面驻留位被置0后，其余位随之失去意义，这是可以在这些位置中存放关于磁盘位置的信息（如交换区区号，交换区内的页槽索引等） + +1. 是否所有的页面被换出后都要置于交换区？ + + 不是。例如该数据位代码段，没有经过修改，可以直接刷掉，下次访问时再次从磁盘读取。 + +2. 发生page fault时，sepc、stval、scause 分别储存了那些内容？ + * sepc：发生异常时正在执行的指令地址 + + * stval：发生异常时访问的地址 + + * scause：发生异常的种类，缺页异常分为：instruction page fault, load page fault, store/AMO page fault （PS:amo指令表示原子操作） \ No newline at end of file From 7aeda58515483f5cc5c17c0794b2873a29b9dae8 Mon Sep 17 00:00:00 2001 From: zyr Date: Thu, 12 Mar 2020 14:09:41 +0800 Subject: [PATCH 3/4] add lec8 discussion answer --- all/04-2-spoc-discussion.md | 144 +++++++++++++++++++++++------------- 1 file changed, 91 insertions(+), 53 deletions(-) diff --git a/all/04-2-spoc-discussion.md b/all/04-2-spoc-discussion.md index 70d31a151..7025397b8 100644 --- a/all/04-2-spoc-discussion.md +++ b/all/04-2-spoc-discussion.md @@ -73,82 +73,120 @@ 1. [基础] 全局和局部置换算法有何不同？分别有哪些算法？ - 局部：置换范围仅限当前进程页面，某个进程页面数量固定。OPT、FIFO、LRU、Clock、LFU。 - - 全局：置换范围为所有允许置换的物理页面。工作集算法、缺页率算法。 - 2. [基础] 简单描述OPT、FIFO、LRU、Clock、LFU的工作过程和特点 - - * OPT： - * 换出未来最晚使用的页面。 - * 不可能实现，作为benchmark。 - * FIFO： - * 换出最早进入内存的页面 - * 开销小、实现简单（更新很少，仅在换入换出时更新），效率较低 - * LRU： - * 换出最久未使用的页面 - * 开销大、实现比较困难，较精确，实际使用仍然比较少 - * Clock: - * 设置访问位，访问时置1，缺页时循环遍历页面，访问位为1者置0，访问下一个页面，为0者换出，结束（注意换出后，指针指向下一个页面） - * 为FIFO、LRU折中，开销和效果适中 - * LFU： - * 记录每个页面的访问次数，缺页时换出访问次数最少的 - * 开销较大，硬件实现困难，多用于磁盘访问的情景 3. [进阶，开放，推荐]考虑置换算法的收益和开销，综合评判在何种情境下使用何种算法比较合适呢？ - 提示：不仅限于内存和磁盘之间的置换，考虑层次存储中各个层次之间的置换。综合考虑每次访问和缺失时的开销。 +4. [基础] Clock和LFU算法存在那些问题，如何改进？ + +5. [进阶-，开放] Clock算法仅仅能够记录近期是否访问过这一信息，对于访问的频度几乎没有记录，如何改进这一点？(这里针对恢复计数的LFU算法也可以提出类似问题) - 参考引导问题：为何LRU可以实现且效果好但不大范围使用？为何在TLB中经常使用random替换算法？ +6. [基础] LRU算法的缺页率是否总是优于FIFO算法呢？为何？ - 参考答案：访问开销 = hit开销 + miss率 X miss开销，要综合考虑命中和不命中开销。在不同的存储层次，命中开销的基础值相差很大，在TLB层级，基础开销相当小，这时如果算法附带的命中开销稍大，那么即便缺失率很小也得不偿失，所以经常使用随机算法，另外这个层次的算法必须有硬件高效实现，这也限制了算法的选取。而访问磁盘的情境下，每次读取量大、时间长，基础开销很大，这个时候就可以选取一些基础开销稍大的算法来减少miss开销，可以使用软件算法。 +7. [基础] 描述belady现象。[进阶] 哪些算法有belady现象？[困难]思考belady现象的成因，尝试给出说明OPT和LRU等没有belady现象的思路（仅仅是思路，大体有一个方向即可）。 -4. [基础] Clock和LFU算法存在那些问题，如何改进？ +8. [进阶] 使用自映射有何优势？有何代价？ - * Clock： - * 问题：如果换出的是已经修改的页面，本次开销比较大（事实上这个问题所有算法都有这个问题，可能是clock可以比较方便的进行针对性优化，因为用到了页表项·） - * 改进：增加一个修改位，对于已经修改的页面先跳过不换出，等待其余机制（开销小）写出后再考虑换出。 - * LFU： - * 问题：某些页面如果累计次数很高，即便长时间不访问也不会被换出 - * 改进：定期对访问次数进行右移 +9. [进阶] 考虑在 32 位 x86 下使用页表自映射。为了方便用三元组 (a, b, c) 表示虚拟/物理地址 ((a<<22) +(b<<12) + c)，其中 0<=a,b<1024，0<=c<4096。假设页目录的物理地址是 (A, B, 0)，并且页目录的第 e 项 (0<=e<1024) 是自映射项，就是说在 (A, B, 4*e) 页目录项指向页目录自己的物理地址 (A, B, 0). -5. [进阶-，开放] Clock算法仅仅能够记录近期是否访问过这一信息，对于访问的频度几乎没有记录，如何改进这一点？(这里针对恢复计数的LFU算法也可以提出类似问题) + 9.1 页目录的第 i 项的物理地址是多少？通过自映射访问的虚拟地址是多少？ + + 9.2 用一句赋值语句，取消虚拟地址 (x,y,0) 所在页的地址映射。那重新映射到物理地址 (C,D,0)呢（用 flags 表示页表项的诸标志位）？ - 将访问位拓宽，访问时+1，封顶不加，缺页循环时-1，到0不减，这样可以一定程度上记录已经访问过的页的访问频度。 + 9.3 页表项指向的页的物理地址可以直接从页表项的内容读出。但采用自映射后，为什么把页表项的地址（最后两位清零）左移10位，就得到了页表项指向的页的虚拟地址了？ - 6. [基础] LRU算法的缺页率是否总是优于FIFO算法呢？为何？ +1. [基础]并发进程数和CPU利用率有何关系？为什么会是这样？ - 不是，有时候退化，甚至可能更差。这些算法都是基于局部性原理的，有些时刻可能失效。 + 关系：当进程数较少时，随着进程数的增加，CPU利用率提高，当进程数到达一定数量后，CPU利用率不再提高，且如果进程数继续增加，CPU利用率迅速下降。 -7. [基础] 描述belady现象。[进阶] 哪些算法有belady现象？[困难]思考belady现象的成因，尝试给出说明OPT和LRU等没有belady现象的思路（仅仅是思路，大体有一个方向即可）。 - * 概念:可用的内存页面变多时，淘汰算法针对某些页面访问顺序，缺页次数可能变多的现象。 - * FIFO、不恢复计数的LFU、Clock算法存在belady。 - * 证明： - - LRU：https://piazza.com/class/i5j09fnsl7k5x0?cid=205 + 原因： - OPT：https://piazza.com/class/i5j09fnsl7k5x0?cid=1296 + * 程序的操作一般分为CPU密集型操作和IO密集型操作，且这两种操作交替进行。 - * 参考思路：如果能够使得页面增多时驻留内存的页面总是内存不变时的超集就可以整明没有belady，也就是说要维护所有页面的一个全序关系。考虑内存页面无限多的情况，LRU和OPT有这样一个全序关系，恢复计数的LFU也有这样的关系。但是不恢复计数的LFU页面一旦被换出，这个关系就崩了，所以它存在belady。 + * 当进程数量较少时，如果所有的进程都进入IO阶段，CPU就只能等待，利用率较低。 -8. [进阶] 使用自映射有何优势？有何代价？ - * 优势：省一个页面的内存(这不关键)。可以通过十分简单的运算，由虚拟地址直接得到所需的二级页表项的物理地址。方便编辑页表自身。 + * 当进程数量足够多，能够使得CPU不存在等待状态时，CPU利用率基本保持不变。 - * 代价：会占用一大片虚拟地址空间。 + * 当进程数过多时，各个进程的工作集数量过多，导致出现了大量缺页，CPU忙于处理缺页，导致CP降低。 +1. [进阶-，开放] 如何理解计算机整体处于均衡的繁忙状态？请从负载均衡和各个存储层次两个方面考虑。 -9. [进阶] 考虑在 32 位 x86 下使用页表自映射。为了方便用三元组 (a, b, c) 表示虚拟/物理地址 ((a<<22) +(b<<12) + c)，其中 0<=a,b<1024，0<=c<4096。假设页目录的物理地址是 (A, B, 0)，并且页目录的第 e 项 (0<=e<1024) 是自映射项，就是说在 (A, B, 4*e) 页目录项指向页目录自己的物理地址 (A, B, 0). + 负载均衡：指CPU密集的操作和IO密集的操作基本均衡，一方面，CPU不会等待IO而空闲，另一方面，IO不会等待CPU的缺页处理等而阻塞。 - 9.1 页目录的第 i 项的物理地址是多少？通过自映射访问的虚拟地址是多少？ + 各层次存储之间的均衡：指通过选取合适的替换算法，使得越"热"的数据位于层次存储的越上级，使得访问越下层存储的概率快速下降（也就是各层的miss率都比较小）。达成越底层访问次数越少（指数递减），但是读取量越大（也应该是指数递增）的情况。 - (A, B, 4*i) ; (e, e, 4*i) +1. [基础]什么是工作集？什么是常驻集？简单描述工作集算法的工作过程。 - 9.2 用一句赋值语句，取消虚拟地址 (x,y,0) 所在页的地址映射。那重新映射到物理地址 (C,D,0)呢（用 flags 表示页表项的诸标志位）？ + 工作集：（一段时间内）进程的属性。指某进程在过去一段时间内访问的所有页面构成的集合。 - *(pte*) (e, x, 4*y) = 0. + 常驻集：与置换算法相关。指当前驻留内存的页面集合。 - *(pte*) (e, x, 4*y) = (C,D,0) | flags. + 工作过程：目标是使得常驻集尽可能接近工作集。做法是淘汰前若干次访存没有访问的页面。具体过程如下： - 9.3 页表项指向的页的物理地址可以直接从页表项的内容读出。但采用自映射后，为什么把页表项的地址（最后两位清零）左移10位，就得到了页表项指向的页的虚拟地址了？ + * 维护一个数量固定访存队列（访存窗口） + + * 访存时，如果常驻集中的页面在访存窗口中没有访问，将其换出常驻集 + + * 缺页时，将新页直接加入常驻集 + +1. [基础]简单描述缺页率算法的思路。 + + 基本思路：通过控制缺页率来控制常驻集的大小。 + + 做法：规定一个期望的缺页率和时间窗口。从过两次缺页的时间间隔来估计缺页率。如果缺页率过高，则缺页时直接将新页面加入常驻集。如果过低，则将时间窗口内没有访问的页面换出常驻集。 + +1. [基础]什么是抖动？如何减少抖动的出现？ + + 概念：指进程数量过多而各个内存常驻集不足，从而内存常驻页面频繁在各个进程工作集之间切换，进而导致大量缺页的现象。 + + 方法：进行负载控制，选择合适的进程数量。 + +1. [进阶-]局部置换算法和全局置换算法有何主要区别？局部置换算法是否能作为全局置换算法来使用效果如何？为什么？ + + 区别：局部置换算法页面数量固定，会尽可能利用全部页面。全局算法针对每个进程页面内数量不固定，会主动去除不常用的页面。 + + 效果：效果不好。局部算法不会针对不同进程的特征做出自适应调整。如果不做改动，每一个进程都会近乎耗尽整个物理内存，从而导致严重进程切换后的大量缺页，而事先估计一个进程工作集的大小是困难的。 + +1. [基础]什么是缓存污染？它和内存抖动有何异同？ + + + 缓存污染概念：将不常用的数据放入缓存，挤出常用数据，从而导致缓存利用率降低的现象。 + + 相同：都存在由于新数据写入而使得原有常用数据被换出的现象。 + + 不同：成因和解决办法不相似，内存抖动无法通过有效的置换策略避免，应该进行负载控制。而缓存污染是由于换出页面选择不合理导致的。 + +1. [基础]面向缓存的置换算法是为了解决什么问题？解决的基本思路为何？ + + 传统的页面置换算法如LRU在IObuffer的情境下不能够适应常见的访问模式，会出现缓存污染的现象。这些访问模式包括：顺序访问、循环访问、时间密集访问、概率访问。 + + 视频中提到的算法主要是对LRU进行了改进，通过利用访问频度的信息，更加合理的区分页面的热度，使得换出真正不常用的页面。 + +1. [基础]简述FBR的思路和做法？（针对LRU-K也可以出类似题目） + +1. [基础]2Q算法针对LRU-K做了那些修改？ + + K = 2 + + LRU-K的访问历史队列只保存Buffer Cache的元数据信息；2Q的访问历史队列不仅仅是保存元数据（如访问时间等），也保存Buffer Cache本身了，所以，它与缓冲区都存放了BUFFER，使用FIFO策略； + + LRU-K的缓冲区采用优先级队列策略，而2Q的缓冲区简化为LRU队列策略 + + +1. 补充：LRU-K等的特点和算法 + + 我除了看论文，也参考了 http://www.itgo.me/a/x2374856251384962283/Database- 我觉得对LRU-K, 2Q, LIRS的理解还还不错 + + https://cloud.tencent.com/developer/article/1005742 对LIRS描述比较细 + + 特点： + + K指的是最后第K次访问的距离，也就是倒数第K次访问时和最近一次访问的时间差。LRU-K算法主要是对比最后第K次的访问距离，访问距离越大则代表每次的访问间隔越长，因此更容易被替换出cache。 + + 算法简要描述： - 采用自映射以后，页表/页目录均在地址 (e, 0, 0) 到 (e, 1023, 0) 内存区域内。虚拟地址 (u, v, w) 对应的页表项在 (e, u, 4*v)，画图即可。 \ No newline at end of file + 1. 数据第一次被访问，加入到访问历史列表； + 2. 如果数据在访问历史列表里后没有达到K次访问，则按照一定规则（FIFO，LRU）淘汰； + 3. 当访问历史队列中的数据访问次数达到K次后，将数据索引从历史队列删除，将数据移到缓存队列中，并缓存此数据，缓存队列重新按照时间排序； + 4. 缓存数据队列中被再次访问后，重新排序； + 5. 需要淘汰数据时，淘汰缓存队列中排在末尾的数据，即：淘汰“倒数第K次访问离现在最久”的数据。 \ No newline at end of file From 6bb765a06ccc3f9cdd1d418838cfa69d07a396bd Mon Sep 17 00:00:00 2001 From: zyr Date: Thu, 12 Mar 2020 14:20:55 +0800 Subject: [PATCH 4/4] correct lec8 discussion answer --- all/04-2-spoc-discussion.md | 10 +++++++--- 1 file changed, 7 insertions(+), 3 deletions(-) diff --git a/all/04-2-spoc-discussion.md b/all/04-2-spoc-discussion.md index 7025397b8..8783d5da9 100644 --- a/all/04-2-spoc-discussion.md +++ b/all/04-2-spoc-discussion.md @@ -92,7 +92,7 @@ 9.1 页目录的第 i 项的物理地址是多少？通过自映射访问的虚拟地址是多少？ 9.2 用一句赋值语句，取消虚拟地址 (x,y,0) 所在页的地址映射。那重新映射到物理地址 (C,D,0)呢（用 flags 表示页表项的诸标志位）？ - + 9.3 页表项指向的页的物理地址可以直接从页表项的内容读出。但采用自映射后，为什么把页表项的地址（最后两位清零）左移10位，就得到了页表项指向的页的虚拟地址了？ 1. [基础]并发进程数和CPU利用率有何关系？为什么会是这样？ @@ -151,9 +151,9 @@ 缓存污染概念：将不常用的数据放入缓存，挤出常用数据，从而导致缓存利用率降低的现象。 - + 相同：都存在由于新数据写入而使得原有常用数据被换出的现象。 - + 不同：成因和解决办法不相似，内存抖动无法通过有效的置换策略避免，应该进行负载控制。而缓存污染是由于换出页面选择不合理导致的。 1. [基础]面向缓存的置换算法是为了解决什么问题？解决的基本思路为何？ @@ -164,6 +164,10 @@ 1. [基础]简述FBR的思路和做法？（针对LRU-K也可以出类似题目） + 思路：LRU + LFU，在小尺度内使用LRU，避免密集访问导致的LFU计数暴增。大尺度上使用LFU，利用频度信息。 + + 做法：把LRU栈分为三段：新区域、中间区域、旧区域。增加引用计数，新区域被访问计数不增加，淘汰是淘汰旧区域引用计数最少的。 + 1. [基础]2Q算法针对LRU-K做了那些修改？ K = 2