[[352570]]

為什么這么設(shè)計(jì)(Why’s THE Design)是一系列關(guān)于計(jì)算機(jī)領(lǐng)域中程序設(shè)計(jì)決策的文章，我們?cè)谶@個(gè)系列的每一篇文章中都會(huì)提出一個(gè)具體的問(wèn)題并從不同的角度討論這種設(shè)計(jì)的優(yōu)缺點(diǎn)、對(duì)具體實(shí)現(xiàn)造成的影響。

對(duì) Linux 稍有了解的人都知道，Linux 會(huì)將物理的隨機(jī)讀取內(nèi)存(Random Access Memory、RAM)按頁(yè)分割成 4KB 大小的內(nèi)存塊，而今天要介紹的 Swapping 機(jī)制就與內(nèi)存息息相關(guān)，它是操作系統(tǒng)將物理內(nèi)存頁(yè)中的內(nèi)容拷貝到硬盤上交換空間(Swap Space)以釋放內(nèi)存的過(guò)程，物理內(nèi)存和硬盤上的交換分區(qū)組成了操作系統(tǒng)上可用的虛擬內(nèi)存，而這些交換空間都是系統(tǒng)管理員預(yù)先配置好的[^1]。

圖 1 - Linux Swapping

正是因?yàn)?Linux 上的所有進(jìn)程都會(huì)通過(guò)虛擬內(nèi)存這一層抽象間接與物理內(nèi)存打交道，而 Swapping 也充分利用了該特性，它能夠讓應(yīng)用程序看到操作系統(tǒng)內(nèi)存充足的假象，然而并不知道它使用的部分虛擬內(nèi)存其實(shí)在磁盤上，因?yàn)閮?nèi)存和磁盤的讀寫速度上的巨大差異，這部分虛擬內(nèi)存的讀寫非常緩慢，我們?cè)? 為什么 CPU 訪問(wèn)硬盤很慢 曾經(jīng)介紹過(guò)：

在 SSD 中隨機(jī)訪問(wèn) 4KB 數(shù)據(jù)所需要的時(shí)間是訪問(wèn)主存的 1,500 倍，機(jī)械磁盤的尋道時(shí)間是訪問(wèn)主存的 100,000 倍[^2]

如此巨大的性能差異使得觸發(fā) Swapping 的進(jìn)程可能會(huì)遇到性能損失，同一個(gè)頁(yè)面的頻繁換入換出會(huì)導(dǎo)致極其明顯的性能抖動(dòng)，如果沒有相應(yīng)的背景知識(shí)，遇到類似的問(wèn)題可能會(huì)很難查到根本原因，例如 MySQL 在錯(cuò)誤配置 NUMA 時(shí)就會(huì)出現(xiàn)內(nèi)存頁(yè)頻繁換入換出，影響服務(wù)質(zhì)量的問(wèn)題。

Linux 提供了兩種不同的方法啟用 Swapping，分別是 Swap 分區(qū)(Swap Partition)和 Swap 文件(Swapfile)：

• Swap 分區(qū)是硬盤上的獨(dú)立區(qū)域，該區(qū)域只會(huì)用于交換分區(qū)，其他的文件不能存儲(chǔ)在該區(qū)域上，我們可以使用 swapon -s 命令查看當(dāng)前系統(tǒng)上的交換分區(qū);
• Swap 文件是文件系統(tǒng)中的特殊文件，它與文件系統(tǒng)中的其他文件也沒有太多的區(qū)別;

Swap 分區(qū)的大小是需要系統(tǒng)管理員手動(dòng)設(shè)定的，然而不同的場(chǎng)景最好設(shè)置不同交換分區(qū)大小，例如：桌面系統(tǒng)的交換分區(qū)大小可以是系統(tǒng)內(nèi)存的兩倍，這可以讓我們同時(shí)運(yùn)行更多的應(yīng)用程序;服務(wù)器的交換分區(qū)應(yīng)該關(guān)閉或者使用少量的交換分區(qū)，不過(guò)一旦啟用交換分區(qū)，就應(yīng)該引入監(jiān)控監(jiān)控應(yīng)用程序的性能。

我們到現(xiàn)在已經(jīng)對(duì) Linux 上的 Swapping 有了一定的了解，接下來(lái)回到這篇文章想要討論的問(wèn)題 — 『為什么 Linux 需要 Swapping』，我們將從以下兩個(gè)方面介紹 Swapping 解決的問(wèn)題、觸發(fā)入口和執(zhí)行路徑：

Swapping 可以直接將進(jìn)程中使用相對(duì)較少的頁(yè)面換出內(nèi)存，立刻給正在執(zhí)行的進(jìn)程分配內(nèi)存;

Swapping 可以將進(jìn)程中的閑置頁(yè)面換出內(nèi)存，為其他進(jìn)程未來(lái)使用內(nèi)存做好準(zhǔn)備;

內(nèi)存不足

當(dāng)系統(tǒng)需要的內(nèi)存超過(guò)了可用的物理內(nèi)存時(shí)，內(nèi)核會(huì)將內(nèi)存中不常使用的內(nèi)存頁(yè)交換到磁盤上為當(dāng)前進(jìn)程讓出內(nèi)存，保證正在執(zhí)行的進(jìn)程的可用性，這個(gè)內(nèi)存回收的過(guò)程是強(qiáng)制的直接內(nèi)存回收(Direct Page Reclaim)。

圖 2 - 直接內(nèi)存回收

直接內(nèi)存回收是在 Linux 調(diào)用 __alloc_pages_nodemask 申請(qǐng)新內(nèi)存頁(yè)時(shí)觸發(fā)的，該函數(shù)會(huì)先在空閑頁(yè)列表中查找是否有可用的頁(yè)面，如果不存在可用頁(yè)面，就會(huì)進(jìn)入 __alloc_pages_slowpath 函數(shù)分配內(nèi)存頁(yè)，與從空閑列表中直接查找內(nèi)存也相比，該函數(shù)會(huì)通過(guò)以下步驟分配內(nèi)存：

static inline struct page * __alloc_pages_slowpath(gfp_t gfp_mask, unsigned int order, struct alloc_context *ac) { 
    ... 
    if (alloc_flags & ALLOC_KSWAPD) 
        wake_all_kswapds(order, gfp_mask, ac); 
 
    page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac); 
    if (page) goto got_pg; 
 
    if (can_direct_reclaim && (costly_order || (order > 0 && ac->migratetype != MIGRATE_MOVABLE)) && !gfp_pfmemalloc_allowed(gfp_mask)) { 
        page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac, INIT_COMPACT_PRIORITY, &compact_result); 
        if (page) goto got_pg; 
        ... 
    } 
 
 retry: 
    page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac, &did_some_progress); 
    page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac, compact_priority, &compact_result); 
    page = __alloc_pages_may_oom(gfp_mask, order, ac, &did_some_progress); 
 got_pg: 
    return page; 
} 

1. 喚醒 kswapd 線程在后臺(tái)回收內(nèi)存并嘗試調(diào)用 get_page_from_freelist 從空閑列表中快速獲取內(nèi)存頁(yè);
2. 昂貴的內(nèi)存申請(qǐng)會(huì)先調(diào)用 __alloc_pages_direct_compact 嘗試壓縮內(nèi)存頁(yè)，并在壓縮后的內(nèi)存中調(diào)用 get_page_from_freelist 查找空閑的內(nèi)存頁(yè);
3. 調(diào)用 __alloc_pages_direct_reclaim 直接回收并分配新的內(nèi)存頁(yè);
4. 再次調(diào)用 __alloc_pages_direct_compact 嘗試壓縮內(nèi)存并獲取空閑內(nèi)存頁(yè);
5. 調(diào)用 __alloc_pages_may_oom 分配內(nèi)存，如果內(nèi)存分配失敗會(huì)觸發(fā)內(nèi)存不足警告隨機(jī)殺死操作系統(tǒng)上的幾個(gè)進(jìn)程;

雖然獲取內(nèi)存頁(yè)的步驟已經(jīng)經(jīng)過(guò)了大量的刪減，但是其中展示了 Linux 在內(nèi)存也不足時(shí)獲取內(nèi)存的幾個(gè)常見方法：內(nèi)存壓縮、直接回收以及觸發(fā)內(nèi)存不足錯(cuò)誤殺掉部分進(jìn)程。

內(nèi)存閑置

應(yīng)用程序在啟動(dòng)階段使用的大量?jī)?nèi)存在啟動(dòng)后往往都不會(huì)使用，通過(guò)后臺(tái)運(yùn)行的守護(hù)進(jìn)程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存的申請(qǐng)預(yù)留空間。kswapd 是 Linux 負(fù)責(zé)頁(yè)面置換(Page replacement)的守護(hù)進(jìn)程，它也是負(fù)責(zé)交換閑置內(nèi)存的主要進(jìn)程，它會(huì)在空閑內(nèi)存低于一定水位時(shí)，回收內(nèi)存頁(yè)中的空閑內(nèi)存保證系統(tǒng)中的其他進(jìn)程可以盡快獲得申請(qǐng)的內(nèi)存，如下圖所示：

圖 3 - Linux 空閑頁(yè)面水位

當(dāng)空閑頁(yè)面小于 WMARK_LOW 時(shí)，kswapd 進(jìn)程才會(huì)開始工作，它會(huì)將內(nèi)存頁(yè)交換到磁盤上直到空閑頁(yè)面的水位回到 WMARK_HIGH，不過(guò)當(dāng)空閑頁(yè)面的水位低于 WMARK_MIN 時(shí)會(huì)觸發(fā)上一節(jié)提到的內(nèi)存直接回收，而水位高于 WMARK_HIGH 則意味著空閑內(nèi)存充足，不需要進(jìn)行回收。

Linux 操作系統(tǒng)采用最近最少使用(Least Recently Used、LRU)算法置換內(nèi)存中的頁(yè)面，系統(tǒng)中的每個(gè)區(qū)都會(huì)在內(nèi)存中持有 active_list 和 inactive_list 兩種鏈表，其中前者包含活躍的內(nèi)存頁(yè)，后者中存儲(chǔ)的內(nèi)存頁(yè)都是回收的候選頁(yè)面，除此之外，Linux 還會(huì)在將 lru_list 根據(jù)內(nèi)存頁(yè)的特性分成如下幾種：

enum lru_list { 
 LRU_INACTIVE_ANON = LRU_BASE, 
 LRU_ACTIVE_ANON = LRU_BASE + LRU_ACTIVE, 
 LRU_INACTIVE_FILE = LRU_BASE + LRU_FILE, 
 LRU_ACTIVE_FILE = LRU_BASE + LRU_FILE + LRU_ACTIVE, 
 LRU_UNEVICTABLE, 
 NR_LRU_LISTS 
}; 

其中包含 ANON 的表示匿名內(nèi)存頁(yè)，這些內(nèi)存頁(yè)存儲(chǔ)了與文件無(wú)關(guān)的進(jìn)程堆棧等內(nèi)容，而包含 FILE 的表示與文件相關(guān)的內(nèi)存，也就是程序文件或者數(shù)據(jù)對(duì)應(yīng)的內(nèi)存，而最后的 LRU_UNEVICTABLE 表示禁止回收的內(nèi)存頁(yè)。

圖 4 - 活躍鏈表和不活躍鏈表

每當(dāng)內(nèi)存頁(yè)被訪問(wèn)時(shí)，Linux 都會(huì)將被訪問(wèn)的內(nèi)存頁(yè)移到鏈表的頭部，所以在活躍鏈表末尾的是鏈表中『最老的』內(nèi)存頁(yè)，守護(hù)進(jìn)程 kswapd 的作用是平衡兩個(gè)鏈表的長(zhǎng)度，將活躍鏈表末尾的內(nèi)存頁(yè)移至不活躍鏈表的隊(duì)首等待回收，而函數(shù) shrink_zones 會(huì)負(fù)責(zé)回收 LRU 鏈表中的不活躍內(nèi)存頁(yè)。

總結(jié)

很多人認(rèn)為當(dāng)系統(tǒng)內(nèi)存不足時(shí)應(yīng)該立即觸發(fā)內(nèi)存不足(Out of memory、OOM)并殺掉進(jìn)程，但是 Swapping 其實(shí)為系統(tǒng)管理員提供了另外一種選擇，利用磁盤的交換空間避免程序被直接退出，以降低服務(wù)質(zhì)量的代價(jià)換取服務(wù)的部分可用性。Linux 中的 Swapping 機(jī)制主要是為內(nèi)存不足和內(nèi)存閑置兩種常見的情況存在的

• Swapping 可以直接將進(jìn)程中使用相對(duì)較少的頁(yè)面換出內(nèi)存：當(dāng)系統(tǒng)需要的內(nèi)存超過(guò)了可用的物理內(nèi)存時(shí)，內(nèi)核會(huì)將內(nèi)存中不常使用的內(nèi)存頁(yè)交換到磁盤上為當(dāng)前進(jìn)程讓出內(nèi)存，保證正在執(zhí)行的進(jìn)程的可用性;
• Swapping 可以將進(jìn)程中的閑置頁(yè)面換出內(nèi)存：應(yīng)用程序在啟動(dòng)階段使用的大量?jī)?nèi)存在啟動(dòng)后往往都不會(huì)使用，通過(guò)后臺(tái)運(yùn)行的守護(hù)進(jìn)程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存申請(qǐng)預(yù)留空間;

關(guān)于是否應(yīng)該開啟 Swapping 的討論其實(shí)非常多，我們?cè)诮裉煲膊粦?yīng)該一刀切地認(rèn)為必須開啟或者禁用 Swapping，我們?nèi)匀恍枰治鰣?chǎng)景并利用好 Linux 為我們提供的這一機(jī)制，例如 Kubernetes 要求禁用 Swapping，我們就應(yīng)該遵循社區(qū)提出的建議，在部署 Kubernetes 的機(jī)器上關(guān)閉這一特性[^3]。到最后，我們還是來(lái)看一些比較開放的相關(guān)問(wèn)題，有興趣的讀者可以仔細(xì)思考一下下面的問(wèn)題：

• Linux 提供了哪些參數(shù)來(lái)控制 Swapping 的行為?
• 通過(guò)降低服務(wù)質(zhì)量的代價(jià)換取部分可用在哪些場(chǎng)景下是可取的?

如果對(duì)文章中的內(nèi)容有疑問(wèn)或者想要了解更多軟件工程上一些設(shè)計(jì)決策背后的原因，可以在博客下面留言，作者會(huì)及時(shí)回復(fù)本文相關(guān)的疑問(wèn)并選擇其中合適的主題作為后續(xù)的內(nèi)容。

參考資料

Kubelet/Kubernetes should work with Swap Enabled #53533 https://github.com/kubernetes/kubernetes/issues/53533

Linux Performance: Why You Should Almost Always Add Swap Space https://haydenjames.io/linux-performance-almost-always-add-swap-space/

Do we really need swap on modern systems? https://www.redhat.com/en/blog/do-we-really-need-swap-modern-systems

本文轉(zhuǎn)載自微信公眾號(hào)「真沒什么邏輯」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系真沒什么邏輯公眾號(hào)。