[[277723]]

原因總結(jié)

產(chǎn)生的原因一句話總結(jié)就是：等待磁盤I/O完成的進(jìn)程過多，導(dǎo)致進(jìn)程隊(duì)列長度過大，但是cpu運(yùn)行的進(jìn)程卻很少，這樣就體現(xiàn)到負(fù)載過大了，cpu使用率低。

下面內(nèi)容是具體的原理分析：

在分析負(fù)載為什么高之前先介紹下什么是負(fù)載、多任務(wù)操作系統(tǒng)、進(jìn)程調(diào)度等相關(guān)概念。

什么是負(fù)載

什么是負(fù)載：負(fù)載就是cpu在一段時間內(nèi)正在處理以及等待cpu處理的進(jìn)程數(shù)之和的統(tǒng)計(jì)信息，也就是cpu使用隊(duì)列的長度統(tǒng)計(jì)信息，這個數(shù)字越小越好(如果超過CPU核心*0.7就是不正常)

負(fù)載分為兩大部分：CPU負(fù)載、IO負(fù)載

例如，假設(shè)有一個進(jìn)行大規(guī)模科學(xué)計(jì)算的程序，雖然該程序不會頻繁地從磁盤輸入輸出，但是處理完成需要相當(dāng)長的時間。因?yàn)樵摮绦蛑饕挥脕碜鲇?jì)算、邏輯判斷等處理，所以程序的處理速度主要依賴于cpu的計(jì)算速度。此類cpu負(fù)載的程序稱為“計(jì)算密集型程序”。

還有一類程序，主要從磁盤保存的大量數(shù)據(jù)中搜索找出任意文件。這個搜索程序的處理速度并不依賴于cpu，而是依賴于磁盤的讀取速度，也就是輸入輸出(input/output,I/O).磁盤越快，檢索花費(fèi)的時間就越短。此類I/O負(fù)載的程序，稱為“I/O密集型程序”。

什么是多任務(wù)操作系統(tǒng)

Linux操作系統(tǒng)能夠同時處理幾個不同名稱的任務(wù)。但是同時運(yùn)行多個任務(wù)的過程中，cpu和磁盤這些有限的硬件資源就需要被這些任務(wù)程序共享。即便很短的時間間隔內(nèi)，需要一邊在這些任務(wù)之間進(jìn)行切換到一邊進(jìn)行處理，這就是多任務(wù)。

運(yùn)行中的任務(wù)較少的情況下，系統(tǒng)并不是等待此類切換動作的發(fā)生。但是當(dāng)任務(wù)增加時，例如任務(wù)A正在CPU上執(zhí)行計(jì)算，接下來如果任務(wù)B和C也想進(jìn)行計(jì)算，那么就需要等待CPU空閑。也就是說，即便是運(yùn)行處理某任務(wù)，也要等到輪到他時才能運(yùn)行，此類等待狀態(tài)就表現(xiàn)為程序運(yùn)行延遲。 

uptime輸出中包含“load average”的數(shù)字  
[root@localhost ~]# uptime  
11:16:38 up 2:06, 4 users, load average: 0.00, 0.02, 0.05  

Load average從左邊起依次是過去1分鐘、5分鐘、15分鐘內(nèi)，單位時間的等待任務(wù)數(shù)，也就是表示平均有多少任務(wù)正處于等待狀態(tài)。在load average較高的情況下，這就說明等待運(yùn)行的任務(wù)較多，因此輪到該任務(wù)運(yùn)行的等待時間就會出現(xiàn)較大的延遲，即反映了此時負(fù)載較高。

進(jìn)程調(diào)度

什么是進(jìn)程調(diào)度：

進(jìn)程調(diào)度也被一些人稱為cpu上下文切換意思是：CPU切換到另一個進(jìn)程需要保存當(dāng)前進(jìn)程的狀態(tài)并恢復(fù)另一個進(jìn)程的狀態(tài)：當(dāng)前運(yùn)行任務(wù)轉(zhuǎn)為就緒(或者掛起、中斷)狀態(tài)，另一個被選定的就緒任務(wù)成為當(dāng)前任務(wù)。進(jìn)程調(diào)度包括保存當(dāng)前任務(wù)的運(yùn)行環(huán)境，恢復(fù)將要運(yùn)行任務(wù)的運(yùn)行環(huán)境。

在linux內(nèi)核中，每一個進(jìn)程都存在一個名為“進(jìn)程描述符”的管理表。該進(jìn)程描述符會調(diào)整為按照優(yōu)先級降序排序，已按合理的順序運(yùn)行進(jìn)程(任務(wù))。這個調(diào)整即為進(jìn)程調(diào)度器的工作。

調(diào)度器劃分并管理進(jìn)程的狀態(tài)，如：

• 等待分配cpu資源的狀態(tài)。
• 等待磁盤輸入輸出完畢的狀態(tài)。

下面在說一下進(jìn)程的狀態(tài)區(qū)別：

下面舉例來說明進(jìn)程狀態(tài)轉(zhuǎn)變：

這里有三個進(jìn)程A、B、C同時運(yùn)行。首先，每個進(jìn)程在生成后都是可運(yùn)行狀態(tài)，也就是running狀態(tài)的開始，而不是現(xiàn)在運(yùn)行狀態(tài)，由于在linux內(nèi)核中無法區(qū)別正在運(yùn)行的狀態(tài)和可運(yùn)行的等待狀態(tài)，下面將可運(yùn)行狀態(tài)和正在運(yùn)行狀態(tài)都稱為running狀態(tài)。

• 進(jìn)程A：running
• 進(jìn)程B：running
• 進(jìn)程C：running

running的三個進(jìn)程立即成為調(diào)度對象。此時，假設(shè)調(diào)度器給進(jìn)程A分配了CPU的運(yùn)行權(quán)限。

• 進(jìn)程A：running (正在運(yùn)行)
• 進(jìn)程B：running
• 進(jìn)程C：running

進(jìn)程A分配了CPU，所以進(jìn)程A開始處理。進(jìn)程B和C則在此等待進(jìn)程A遷出CPU。假設(shè)進(jìn)程A進(jìn)行若干計(jì)算之后，需要從磁盤讀取數(shù)據(jù)。那么在A發(fā)出讀取磁盤數(shù)據(jù)的請求之后，到請求數(shù)據(jù)到達(dá)之前，將不進(jìn)行任何工作。此狀態(tài)稱為“因等待I/O操作結(jié)束而被阻塞”。在I/O完成處理前，進(jìn)程A就一直處于等待中，就會轉(zhuǎn)為不可中斷睡眠狀態(tài)(uninterruptible)，并不使用CPU。于是調(diào)度器查看進(jìn)程B和進(jìn)程C的優(yōu)先級計(jì)算結(jié)果，將CPU運(yùn)行權(quán)限交給優(yōu)先級較高的一方。這里假設(shè)進(jìn)程B的優(yōu)先級高于進(jìn)程C。

• 進(jìn)程A：uninterruptible (等待磁盤輸入輸出/不可中斷狀態(tài))
• 進(jìn)程B：running (正在運(yùn)行)
• 進(jìn)程C：running

進(jìn)程B剛開始運(yùn)行，就需要等待用戶的鍵盤輸入。于是B進(jìn)入等待用戶鍵盤輸入狀態(tài)，同樣被阻塞。結(jié)果就變成了進(jìn)程A和進(jìn)程B都是等待輸出，運(yùn)行進(jìn)程C。這時進(jìn)程A和進(jìn)程B都是等待狀態(tài)，但是等待磁盤輸入輸出和等待鍵盤輸入為不同的狀態(tài)。等待鍵盤輸入是無限期的事件等待，而讀取磁盤則是必須短時間內(nèi)完成的事件等待，這是兩種不同的等待狀態(tài)。各進(jìn)程狀態(tài)如下所示：

• 進(jìn)程A：uninterruptible (等待磁盤輸入輸出/不可中斷狀態(tài))
• 進(jìn)程B：interruptible (等待鍵盤輸入輸出/可中斷狀態(tài))
• 進(jìn)程C：running (正在運(yùn)行)

這次假設(shè)進(jìn)程C在運(yùn)行的過程中，進(jìn)程A請求的數(shù)據(jù)從磁盤到達(dá)了緩沖裝置。緊接著硬盤對內(nèi)核發(fā)起中斷信號，內(nèi)核知道磁盤讀取完成，將進(jìn)程A恢復(fù)為可運(yùn)行狀態(tài)。

• 進(jìn)程A：running (正在運(yùn)行)
• 進(jìn)程B：interruptible (等待鍵盤輸入輸出/可中斷狀態(tài))
• 進(jìn)程C：running (正在運(yùn)行)

此后進(jìn)程C也會變?yōu)槟撤N等待狀態(tài)。如CPU的占用時間超出了上限、任務(wù)結(jié)束、進(jìn)入I/O等待。一旦滿足這些條件，調(diào)度器就可以完成從進(jìn)程C到進(jìn)程A的進(jìn)程狀態(tài)切換。

負(fù)載的意義

負(fù)載表示的是“等待進(jìn)程的平均數(shù)”。在上面的進(jìn)程狀態(tài)變換過程中，除了running狀態(tài)，其他都是等待狀態(tài)，那么其他狀態(tài)都會加入到負(fù)載等待進(jìn)程中嗎?

事實(shí)證明，只有進(jìn)程處于運(yùn)行態(tài)(running)和不可中斷狀態(tài)(interruptible)才會被加入到負(fù)載等待進(jìn)程中，也就是下面這兩種情況的進(jìn)程才會表現(xiàn)為負(fù)載的值。

• 即便需要立即使用CPU，也還需等待其他進(jìn)程用完CPU
• 即便需要繼續(xù)處理，也必須等待磁盤輸入輸出完成才能進(jìn)行

下面描述一種直觀感受的場景說明為什么只有運(yùn)行態(tài)(running)和可中斷狀態(tài)(interruptible)才會被加入負(fù)載。

如：在很占用CPU資源的處理中，例如在進(jìn)行動畫編碼的過程中，雖然想進(jìn)行其他相同類型的處理，結(jié)果系統(tǒng)反映卻變得很慢，還有從磁盤讀取大量數(shù)據(jù)時，系統(tǒng)的反映也同樣會變的很慢。但是另一方面，無論有多少等待鍵盤輸入輸出操作的進(jìn)程，也不會讓系統(tǒng)響應(yīng)變慢。

什么場景會造成CPU低而負(fù)載確很高呢?

通過上面的具體分析負(fù)載的意義就很明顯了，負(fù)載總結(jié)為一句話就是：需要運(yùn)行處理但又必須等待隊(duì)列前的進(jìn)程處理完成的進(jìn)程個數(shù)。具體來說，也就是如下兩種情況：

• 等待被授權(quán)予CPU運(yùn)行權(quán)限的進(jìn)程
• 等待磁盤I/O完成的進(jìn)程

cpu低而負(fù)載高也就是說等待磁盤I/O完成的進(jìn)程過多，就會導(dǎo)致隊(duì)列長度過大，這樣就體現(xiàn)到負(fù)載過大了，但實(shí)際是此時cpu被分配去執(zhí)行別的任務(wù)或空閑，具體場景有如下幾種。

場景一：磁盤讀寫請求過多就會導(dǎo)致大量I/O等待

上面說過，cpu的工作效率要高于磁盤，而進(jìn)程在cpu上面運(yùn)行需要訪問磁盤文件，這個時候cpu會向內(nèi)核發(fā)起調(diào)用文件的請求，讓內(nèi)核去磁盤取文件，這個時候會切換到其他進(jìn)程或者空閑，這個任務(wù)就會轉(zhuǎn)換為不可中斷睡眠狀態(tài)。當(dāng)這種讀寫請求過多就會導(dǎo)致不可中斷睡眠狀態(tài)的進(jìn)程過多，從而導(dǎo)致負(fù)載高，cpu低的情況。

場景二：MySQL中存在沒有索引的語句或存在死鎖等情況

我們都知道MySQL的數(shù)據(jù)是存儲在硬盤中，如果需要進(jìn)行sql查詢，需要先把數(shù)據(jù)從磁盤加載到內(nèi)存中。當(dāng)在數(shù)據(jù)特別大的時候，如果執(zhí)行的sql語句沒有索引，就會造成掃描表的行數(shù)過大導(dǎo)致I/O阻塞，或者是語句中存在死鎖，也會造成I/O阻塞，從而導(dǎo)致不可中斷睡眠進(jìn)程過多，導(dǎo)致負(fù)載過大。

具體解決方法可以在MySQL中運(yùn)行show full processlist命令查看線程等待情況，把其中的語句拿出來進(jìn)行優(yōu)化。

場景三：外接硬盤故障，常見有掛了NFS，但是NFS server故障

比如我們的系統(tǒng)掛載了外接硬盤如NFS共享存儲，經(jīng)常會有大量的讀寫請求去訪問NFS存儲的文件，如果這個時候NFS Server故障，那么就會導(dǎo)致進(jìn)程讀寫請求一直獲取不到資源，從而進(jìn)程一直是不可中斷狀態(tài)，造成負(fù)載很高。

結(jié)束語：大概內(nèi)容就是這樣，如果有朋友遇到其他場景，歡迎留言補(bǔ)充。