16 微调内存管理子系统 #

匿名内存往往是程序堆和堆栈内存（例如 >malloc()）。匿名内存是可回收的，诸如 mlock 或没有可用的交换空间等特殊情况除外。匿名内存必须先写入交换区，然后才能回收。由于分配和访问模式的原因，交换 I/O（包括换入和换出页）的效率往往比页缓存 I/O 的效率低。

文件数据的缓存。从磁盘或网络读取文件时，内容将存储在页缓存中。如果页缓存中的内容为最新数据，则无需访问磁盘或网络。tmpfs 和共享内存段将计入页缓存中。

写入文件时，新数据会先存储在页缓存中，然后再写回到磁盘或网络（使其成为写回缓存）。当某一页包含尚未写回的新数据时，该页称为“脏页”。不属于脏页的其他页为“干净页”。当出现内存不足时，可以回收干净的页缓存页，只需将其释放即可。脏页必须先变为干净页，然后才能回收。

这是适用于块设备（例如 /dev/sda）的一种页缓存。文件系统在访问其磁盘上的元数据结构（例如 inode 表、分配位图等）时，通常会使用缓冲区缓存。可以像回收页缓存一样回收缓冲区缓存。

缓冲区头是一种小型辅助结构，往往是在访问页缓存时分配的。如果页缓存页或缓冲区缓存页是干净的，则通常可以轻松回收。

当应用程序在文件中写入数据时，页缓存会变为脏缓存，而缓冲区缓存可能也会变为脏缓存。当脏内存量达到指定的页数量（以字节为单位）(vm.dirty_background_bytes)、或者当脏内存量与总内存之比达到特定比率 (vm.dirty_background_ratio)，或者当页处于脏状态的时间超过指定的值 (vm.dirty_expire_centisecs) 时，内核将从其页最先变为脏页的文件开始完成页写回。后台字节数和比率是互斥的，设置其中一个会重写另一个。刷新程序线程在后台执行写回，允许应用程序继续运行。如果 I/O 跟不上应用程序将页缓存变脏的进度，并且脏数据达到关键设置（vm.dirty_bytes 或 vm.dirty_ratio），将会开始限制应用程序，以防止脏数据超过此阈值。

VM 会监控文件访问模式并可能尝试执行预读。预读会在尚未请求页前预先将其从文件系统读取到页缓存中。使用此功能可以使得提交的 I/O 请求更少但更大（从而提高效率）。并可使 I/O 以管道形式执行（即在运行应用程序的同时执行 I/O）。

与旧版本相比，SUSE Linux Enterprise Server 15 SP7 上运行的应用程序可分配更多内存。这是因为 glibc 在分配用户空间内存时会更改其默认行为。有关这些参数的说明，请访问 https://www.gnu.org/s/libc/manual/html_node/Malloc-Tunable-Parameters.html。

要恢复与旧版本类似的行为，应将 M_MMAP_THRESHOLD 设置为 128*1024。为此，可以从应用程序调用 mallopt()，或者在运行应用程序之前设置 MALLOC_MMAP_THRESHOLD_ 环境变量。

出现内存不足情况时，系统会自动清理可回收的内核内存（上述缓存）。其他大部分内核内存无法轻松缩减，而是为内核提供一个工作负载属性。

如果降低用户空间工作负载的要求，可以减少内核内存使用量（减少进程、减少打开的文件和套接字，等等）。

如果不需要内存 cgroup 功能，可以通过在内核命令行上传递 cgroup_disable=memory 将其关闭，这可以稍微减少内核的内存消耗。还可以略微改善性能，这是因为当内存 cgroup 可用时，即使未配置任何内存 cgroup，也会产生少量的统计开销。

从 SUSE Linux Enterprise Server 10 开始，写回行为有一个重要变更，即基于文件的 mmap() 内存发生修改后会立即被视为脏内存（可以写回）。而在以前，仅当此内存已取消映射后执行 msync() 系统调用时或处于高内存压力下，才可进行写回。

某些应用程序并不希望为 mmap 修改执行此类写回行为，因而可能会使性能下降。增加写回比率和次数可以改善这类性能下降。

dirty_background_ratio 和 dirty_ratio 共同决定页缓存写回行为。如果增加这些值，会有更多脏内存在系统中保留更长时间。系统中允许的脏内存越多，通过避免写回 I/O 和提交更佳的 I/O 模式来提高吞吐量的可能性就越大。然而，过多的脏内存可能会在以下两种情况下造成不良影响：一是需要回收内存时（会增加延迟）；二是在数据完整性节点（即“同步点”），需要将脏内存写回磁盘时。

系统必须限制系统内存中包含的需要写入磁盘的基于文件数据百分比。这保证了系统始终可以分配必要的数据结构来完成 I/O。任何时候允许处于脏状态且需要写入磁盘的最大内存量由 vm.dirty_ratio（/proc/sys/vm/dirty_ratio）控制。默认值为：

SLE-11-SP3:     vm.dirty_ratio = 40
SLE-12:         vm.dirty_ratio = 20

在 SUSE Linux Enterprise 12 中使用较低比率的主要优点是，在内存较低的情况下可以更快地完成页回收和分配，因为快速发现和丢弃旧干净页的概率较高。其次，如果系统上的所有数据都必须同步，则默认情况下，在 SUSE Linux Enterprise 12 上完成操作所需的时间比在 SUSE Linux Enterprise 11 SP3 上要少。大多数工作负载察觉不到此变化，因为应用程序会使用 fsync() 同步数据，或者数据变脏的速度还不够快，未达到限制。

但还是存在一些例外情况。如果您的应用程序受此影响，可能会在写入期间意外卡住。要证明应用程序是否受到脏数据率限制的影响，请监控 /proc/PID_OF_APPLICATION/stack，可以看到，应用程序在 balance_dirty_pages_ratelimited 中花费了大量时间。如果观察到这种情况，而且这造成了问题，请将 vm.dirty_ratio 值增至 40，以恢复 SUSE Linux Enterprise 11 SP3 行为。

重要

无论设置为何，总体 I/O 吞吐量都是相同的。唯一的区别仅在于 I/O 排入队列的时间。

下列示例使用 dd 以异步方式将 30% 的内存写入磁盘，此操作刚好受到 vm.dirty_ratio 中更改的影响：

# MEMTOTAL_MBYTES=`free -m | grep Mem: | awk '{print $2}'`
# sysctl vm.dirty_ratio=40
# dd if=/dev/zero of=zerofile ibs=1048576 count=$((MEMTOTAL_MBYTES*30/100))
2507145216 bytes (2.5 GB) copied, 8.00153 s, 313 MB/s
# sysctl vm.dirty_ratio=20
dd if=/dev/zero of=zerofile ibs=1048576 count=$((MEMTOTAL_MBYTES*30/100))
2507145216 bytes (2.5 GB) copied, 10.1593 s, 247 MB/s

该参数会影响完成命令所需的时间，以及设备的外显写入速度。如果设置 dirty_ratio=40，内核会缓存更多数据并在后台写入磁盘。在这两种情况下，I/O 的速度是相同的。下面演示了在退出之前 dd 同步数据时的结果：

# sysctl vm.dirty_ratio=40
# dd if=/dev/zero of=zerofile ibs=1048576 count=$((MEMTOTAL_MBYTES*30/100)) conv=fdatasync
2507145216 bytes (2.5 GB) copied, 21.0663 s, 119 MB/s
# sysctl vm.dirty_ratio=20
# dd if=/dev/zero of=zerofile ibs=1048576 count=$((MEMTOTAL_MBYTES*30/100)) conv=fdatasync
2507145216 bytes (2.5 GB) copied, 21.7286 s, 115 MB/s

如上所示，dirty_ratio 在此处几乎不会造成任何影响，且在命令的自然变化范围内。因此，dirty_ratio 不会直接影响 I/O 性能，但它可能会影响在未同步的情况下以异步方式写入数据的工作负载的外显性能。

利用透明大页 (THP)，可以通过进程按需动态分配大页，或者通过 khugepaged 内核线程将分配推迟到以后进行。此方法不同于使用 hugetlbfs 手动管理大页的分配和使用。THP 对于采用连续内存访问模式的工作负载很有用。在运行采用连续内存访问模式的合成工作负载时，能够发现页错误减少了 1000 倍。

在某些情况下可能不需要 THP。由于内存用量过大，采用稀疏内存访问模式的工作负载不适合使用 THP。例如，出错时可能要使用 2 MB 内存而不是 4 KB 来处理每个错误，最终导致提前回收页。在低于 SUSE Linux Enterprise 12 SP2 的版本上，尝试分配 THP 时应用程序可能会长时间处于停滞状态，因此会频繁出现禁用 THP 建议。对于 SUSE Linux Enterprise 12 SP3 和更高版本应重新评估此类建议。

可以通过 transparent_hugepage= 内核参数或 sysfs 配置 THP 的行为。例如，可以通过添加内核参数 transparent_hugepage=never，重构建 grub2 配置，然后重引导来禁用 THP。使用以下命令校验是否已禁用 THP：

# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

如已禁用，方括号中会显示值 never，如以上示例中所示。如果指定值 always，会强制在出错时尝试使用 THP，但如果分配失败，则会遵从 khugepaged。如果指定值 madvise，则只会为应用程序明确指定的地址空间分配 THP。

当 transparent_hugepage 设置为 always 或 madvise 时，khugepaged 会自动启动；当其设置为 never 时，khugepaged 会自动关闭。通常，khugepaged 以较低的频率运行，但可以微调行为。

khugepaged 的其余参数极少用于性能微调，但 /usr/src/linux/Documentation/vm/transhuge.txt 中仍然全面阐述了这些参数

有关 VM 可调参数的完整列表，请参见 /usr/src/linux/Documentation/sysctl/vm.txt（安装 kernel-source 软件包后会提供此文件）。