最近一段時間有點忙，有段時間沒更新文章了，今天我們一起完成關(guān)于內(nèi)存模塊的最后一塊拼圖，如何高效的找到Linux系統(tǒng)內(nèi)存的問題。在前面我們講了內(nèi)存的基本概念、內(nèi)存映射、分配和回收、Page Cache、內(nèi)存泄露相關(guān)的案例分析。感興趣的朋友們，可以回過頭翻閱查看。

內(nèi)存性能指標

為了分析內(nèi)存的性能瓶頸，首先你要知道，怎樣衡量內(nèi)存的性能，也就是性能指標問題。這里又可以分別從整體內(nèi)存使用情況和進程內(nèi)存使用情況去觀察內(nèi)存指標。

系統(tǒng)內(nèi)存使用

Linux系統(tǒng)free命令輸出

• Used&Free：已用內(nèi)存和剩余內(nèi)存很容易理解，就是已經(jīng)使用和還未使用的內(nèi)存。
• Shared：共享內(nèi)存是通過 tmpfs 實現(xiàn)的，所以它的大小也就是 tmpfs 使用的內(nèi)存大小。tmpfs 其實也是一種特殊的緩存
• Available：可用內(nèi)存是新進程可以使用的最大內(nèi)存，它包括剩余內(nèi)存和可回收緩存。
• Buff：緩沖區(qū)是對原始磁盤塊的臨時存儲，用來緩存將要寫入磁盤的數(shù)據(jù)。這樣，內(nèi)核就可以把分散的寫集中起來，統(tǒng)一優(yōu)化磁盤寫入。
• Cache：一部分是磁盤讀取文件的頁緩存，用來緩存從磁盤讀取的數(shù)據(jù)，可以加快以后再次訪問的速度。另一部分，則是 Slab 分配器中的可回收內(nèi)存。

進程內(nèi)存使用

• VIRT、VSZ：虛擬內(nèi)存，包括了進程代碼段、數(shù)據(jù)段、共享內(nèi)存、已經(jīng)申請的堆內(nèi)存和已經(jīng)換出的內(nèi)存等。這里要注意，已經(jīng)申請的內(nèi)存，即使還沒有分配物理內(nèi)存，也算作虛擬內(nèi)存。
• RES、RSS：常駐內(nèi)存是進程實際使用的物理內(nèi)存，不過，它不包括Swap和共享內(nèi)存。
• SHR：共享內(nèi)存，既包括與其他進程共同使用的真實的共享內(nèi)存，還包括了加載的動態(tài)鏈接庫以及程序的代碼段等
• Swap：是指通過 Swap 換出到磁盤的內(nèi)存。
• 缺頁異常：
• Majflt：主缺頁異常。需要磁盤I/O 介入（比如 Swap）來分配內(nèi)存。主缺頁異常升高，那么內(nèi)存訪問也會慢很多。
• Minflt：次缺頁異常。直接從物理內(nèi)存中分配內(nèi)存。

這些內(nèi)存的性能指標都需要我們熟記并且會用。我把它們匯總成了一個思維導(dǎo)圖供大家參考。

內(nèi)存性能工具

我們知道了內(nèi)存的性能指標后，我們還需要學(xué)會根據(jù)性能指標找工具（性能觀察命令），下面表格整理了內(nèi)存性能指標和工具的關(guān)系。

分析內(nèi)存性能瓶頸的排查套路

快速定位內(nèi)存問題，可以先從整體內(nèi)存使用情況入手，在觀察進程的內(nèi)容使用情況，找出可疑進程后，在進一步分析進程的內(nèi)存地址空間分布等等；在使用性能工具使用優(yōu)先選覆蓋面大的工具，這樣可以同時觀察到多個指標。具體的步驟可以分成以下幾步：

• 先用 free 和 top，查看系統(tǒng)整體的內(nèi)存使用情況。
• 再用 vmstat 和 pidstat，查看一段時間的趨勢，從而判斷出內(nèi)存問題的類型。
• 最后進行詳細分析：
• pidstat觀測到可疑進程，可以繼續(xù)使用pmap觀察進程內(nèi)存地址分配情況。
• 可以使用內(nèi)存分配分析工具memleak ，檢查是否存在內(nèi)存泄漏。

系統(tǒng)內(nèi)存優(yōu)化建議

• 禁用Swap：如果必須開啟 Swap，降低 swappiness 的值，減少內(nèi)存回收時 Swap 的使用傾向。
• 減少內(nèi)存的動態(tài)分配。比如，可以使用內(nèi)存池、大頁（HugePage）等。
• 盡量使用緩存和緩沖區(qū)來訪問數(shù)據(jù)。比如，可以使用堆棧明確聲明內(nèi)存空間，來存儲需要緩存的數(shù)據(jù)；或者用 Redis 這類的外部緩存組件，優(yōu)化數(shù)據(jù)的訪問。
• 使用 cgroups 等方式限制進程的內(nèi)存使用情況。這樣，可以確保系統(tǒng)內(nèi)存不會被異常進程耗盡。通過 /proc/pid/oom_adj ，調(diào)整核心應(yīng)用的 oom_score。這樣，可以保證即使內(nèi)存緊張，核心應(yīng)用也不會被 OOM 殺死。
• 根據(jù)需要優(yōu)化Linux內(nèi)核中關(guān)于內(nèi)存相關(guān)參數(shù)，一些核心參數(shù)如下。
• vm.swappiness。
• vm.overcommit_memory。
• vm.dirty_ratio、vm.dirty_background_ratio。
• vm.min_free_kbytes。
• vm.drop_caches。