前言

在 Golang 的并發(fā)編程中，GMP 是一個(gè)重要的概念，它代表了 Goroutine、M（線(xiàn)程）和 P（調(diào)度器）。這個(gè)強(qiáng)大的三位一體的并發(fā)模型使得 Golang 在處理并發(fā)任務(wù)時(shí)非常高效和靈活。通過(guò) GMP 的組合，Golang 實(shí)現(xiàn)了一種高效的并發(fā)模型。它充分利用了多核處理器的優(yōu)勢(shì)，并通過(guò)輕量級(jí)的 Goroutine 實(shí)現(xiàn)了高并發(fā)的編程模式。但是GPM到底是怎么工作的呢？今天這篇文章就為您解開(kāi)GPM的神秘面紗。

調(diào)度器的由來(lái)

單進(jìn)程系統(tǒng)

早期的計(jì)算機(jī)都是單進(jìn)程操作系統(tǒng)，各個(gè)進(jìn)程之間都是順序執(zhí)行，也就是進(jìn)程A執(zhí)行完了才能執(zhí)行進(jìn)程B。

「對(duì)于cpu來(lái)說(shuō)，進(jìn)程和線(xiàn)程是一樣的，這里我們就不討論進(jìn)程和線(xiàn)程的區(qū)別了」。

存在的問(wèn)題

• 單一執(zhí)行流程，計(jì)算機(jī)只能一個(gè)任務(wù)一個(gè)任務(wù)的處理。
• 如果進(jìn)程A阻塞，會(huì)帶來(lái)很多cpu浪費(fèi)的時(shí)間。

多進(jìn)程/線(xiàn)程操作系統(tǒng)

基于以上的問(wèn)題，于是就出現(xiàn)了多進(jìn)程/線(xiàn)程操作系統(tǒng)。

• 系統(tǒng)把cpu分成了一段一段的時(shí)間片(微妙級(jí)別)。
• cpu在第一個(gè)時(shí)間片執(zhí)行進(jìn)程A，然后切換到進(jìn)程B執(zhí)行，再切換到進(jìn)程C，一直這樣輪詢(xún)的執(zhí)行。
• 因?yàn)閏pu被分成的時(shí)間片是微妙級(jí)別的，所以直觀(guān)的感覺(jué)就是進(jìn)程A，B，C是在同時(shí)執(zhí)行的。
• 多進(jìn)程/線(xiàn)程操作系統(tǒng)的確解決了阻塞的問(wèn)題，但是又出現(xiàn)了新的問(wèn)題。

存在的問(wèn)題

• 因?yàn)閏pu需要不斷地進(jìn)程A，B，C之間切換，切換肯定避免不了各種復(fù)制，計(jì)算等消耗，所以在切換過(guò)程中浪費(fèi)掉了很多時(shí)間成本，所以「進(jìn)程/線(xiàn)程越多」，切換「成本就越大」，也就越「浪費(fèi)」。
• 在這種模式下運(yùn)行CPU在切換動(dòng)作上浪費(fèi)的時(shí)間成本大概是40%，只有60%的時(shí)間是在執(zhí)行程序。



• 進(jìn)程和線(xiàn)程對(duì)內(nèi)存的占用是比較大的，在32位的操作系統(tǒng)中，進(jìn)程占用的虛擬內(nèi)存大概是4GB，現(xiàn)成占用內(nèi)存大概是4M。

協(xié)程的誕生

對(duì)于一個(gè)線(xiàn)程來(lái)說(shuō)其實(shí)分為兩部分，「用戶(hù)空間」和「內(nèi)核空間」。

• 內(nèi)核空間主要是指操作系統(tǒng)底層，包括進(jìn)程開(kāi)辟，分配物理內(nèi)存資源，磁盤(pán)資源等。
• 用戶(hù)空間主要是編碼業(yè)務(wù)邏輯部分。



• 于是有人想到能不能把線(xiàn)程的內(nèi)核空間和用戶(hù)空間分開(kāi)。并且讓他們互相綁定在一起。



• 對(duì)于cpu來(lái)說(shuō)，只需要關(guān)注內(nèi)核空間的線(xiàn)程就可以了。

當(dāng)然如果只是這樣把用戶(hù)空間的協(xié)程和內(nèi)核空間的線(xiàn)程一一綁定還是沒(méi)有解決問(wèn)題的，如果開(kāi)啟的比較多，那么對(duì)應(yīng)的線(xiàn)程也會(huì)跟著一起增加，cpu頻繁切換的問(wèn)題還是沒(méi)有解決，于是就引入了「調(diào)度器」的概念。

引入調(diào)度器來(lái)在各個(gè)協(xié)程之間切換，cpu只需要關(guān)注內(nèi)核空間的線(xiàn)程即可，這樣「解決了cpu在各個(gè)協(xié)程之間不斷切換的問(wèn)題」。

存在的問(wèn)題

這樣設(shè)計(jì)雖然解決了cpu頻繁切換的問(wèn)題，但是如果協(xié)程A發(fā)生了阻塞，肯定會(huì)導(dǎo)致協(xié)程B無(wú)法被執(zhí)行。而且如果計(jì)算機(jī)是多核，那么是無(wú)法利用到多核的優(yōu)勢(shì)的。顯然是不合理的。

對(duì)于多核的計(jì)算機(jī)，在內(nèi)核空間可以開(kāi)啟多個(gè)線(xiàn)程（具體開(kāi)啟幾個(gè)由計(jì)算內(nèi)核決定，人為無(wú)法控制），所以問(wèn)題的核心點(diǎn)就轉(zhuǎn)移到了協(xié)程調(diào)度器上面，不管是什么語(yǔ)言，「協(xié)程調(diào)度器」做的越好，相對(duì)的「cpu利用率」也就越高。

go對(duì)協(xié)程的處理

內(nèi)存控制和靈活調(diào)度

• 首先golang對(duì)協(xié)程改名為gorountine，并且把多余的空間都去掉，控制每個(gè)協(xié)程的內(nèi)存在幾KB大小，所以golang可以開(kāi)啟大量協(xié)程。
• golang對(duì)協(xié)程的調(diào)度非常靈活，可以經(jīng)常在各個(gè)協(xié)程之間切換。

go對(duì)早期調(diào)度器的處理（GM模型）

golang在早起調(diào)度器處理是比較簡(jiǎn)單的，具體流程如下：

• 首先會(huì)有一個(gè)全局的go協(xié)程隊(duì)列，并且加鎖，防止資源競(jìng)爭(zhēng)。
• M獲取鎖之后會(huì)去嘗試執(zhí)行g(shù)orountine，執(zhí)行完畢再把gorountine重新放回隊(duì)列中。

GM模型存在以下問(wèn)題

• 創(chuàng)建、銷(xiāo)毀、調(diào)度G都需要每個(gè)M獲取鎖，這就形成了激烈的鎖競(jìng)爭(zhēng)。
• M轉(zhuǎn)移G會(huì)造成延遲和額外的系統(tǒng)負(fù)載。
• 系統(tǒng)調(diào)用(cpu在M之間切換)導(dǎo)致頻繁的線(xiàn)程阻塞和取消阻塞操作增加了系統(tǒng)開(kāi)銷(xiāo)。
• 比如我再一個(gè)G中又開(kāi)辟了一個(gè)G1，那么G1和G當(dāng)然在一個(gè)M上執(zhí)行是比較合適的，因?yàn)榇嬖谝恍┕蚕韮?nèi)存，但是顯然這種調(diào)度模式是無(wú)法做到的 基于以上問(wèn)題，golang針對(duì)這塊做了一些改進(jìn)，也就是我們今天的主角，GMP模型。

GMP模型

GMP模型簡(jiǎn)介

GMP模型主要指的是G(gorountine協(xié)程)，M(thread線(xiàn)程)，P(processor處理器)之間的關(guān)系。

全局隊(duì)列

存放等待運(yùn)行的G。

P的本地隊(duì)列

• 存放等待運(yùn)行的G。
• P的本地隊(duì)列存放的G是有數(shù)量限制的，一般是不超過(guò)256G。
• 如果創(chuàng)建一個(gè)G，是會(huì)優(yōu)先放在p的本地隊(duì)列中，如果滿(mǎn)了則會(huì)放到全局隊(duì)列中去。

P列表

• 在程序啟動(dòng)的過(guò)程時(shí)創(chuàng)建。
• 最多有GOMAXPROCS個(gè)(可配置)。
• 可以通過(guò)環(huán)境變量$GOMAXPROCS來(lái)設(shè)置P的個(gè)數(shù)，也可以在程序中通過(guò)runtime.GOMAXPROCS()來(lái)設(shè)置。

M列表

• 當(dāng)前操作系統(tǒng)分配到當(dāng)前go程序的內(nèi)核線(xiàn)程數(shù)。
• go語(yǔ)言本身，限制M的最大數(shù)量是10000。
• 可以通過(guò)runtime/debug包中的setMaxThreads來(lái)設(shè)置。
• 如果有一個(gè)M阻塞，則會(huì)創(chuàng)建一個(gè)新的M。
• 如果有M空閑，那么會(huì)回收或者睡眠。

調(diào)度器的設(shè)計(jì)策略

復(fù)用線(xiàn)程

work stealing機(jī)制

• M1對(duì)應(yīng)的P上面G1正在執(zhí)行，G2和G3處于等待中的狀態(tài)。
• M2對(duì)應(yīng)的P處于空閑狀態(tài)。

這種情況下M2對(duì)應(yīng)的P會(huì)從M1對(duì)應(yīng)的P的本地隊(duì)列中把G3偷取過(guò)來(lái)執(zhí)行，提高CPU的利用率，這種機(jī)制叫做「work stealing機(jī)制」。

hand off機(jī)制

如果M1和M2都在正常執(zhí)行，但是M1對(duì)應(yīng)的G1發(fā)生了阻塞，那么勢(shì)必會(huì)影響到G2的執(zhí)行，那么GMP是如何解決的呢？

• golang會(huì)新創(chuàng)建一個(gè)M3，用來(lái)接管之前的P1剩下的G(G2)。
• M1和G1進(jìn)行綁定再繼續(xù)執(zhí)行，執(zhí)行完畢之后把M1設(shè)置為睡眠狀態(tài)等待下一次被利用，或者直接銷(xiāo)毀。

并行利用

并行利用其實(shí)比較好理解，其實(shí)也就是開(kāi)啟了多少個(gè)P，P的個(gè)數(shù)是有GOMAXPROCS來(lái)決定的，一般都會(huì)設(shè)置為 「CPU核數(shù)/2」。

搶占策略

對(duì)于傳統(tǒng)的co-routine來(lái)說(shuō),如果一個(gè)C和cpu進(jìn)行了綁定，那么只有他主動(dòng)釋放，另外一個(gè)C才能和cpu進(jìn)行綁定。但是在golang中，如果一個(gè)G和cpu進(jìn)行了綁定，那么時(shí)間限制最多為10ms，另外一個(gè)G就可以直接和cpu綁定。

搶占策略。

全局隊(duì)列

• 全局隊(duì)列的本質(zhì)是對(duì)work stealing的一種補(bǔ)充。
• 如上圖，M2對(duì)應(yīng)的本地隊(duì)列沒(méi)有G，會(huì)優(yōu)先從M1的本地隊(duì)列中偷取。
• 如果M1的本地隊(duì)列中也沒(méi)有G，那么就會(huì)從全局隊(duì)列中去偷取G3。
• 因?yàn)槿株?duì)列涉及到加鎖和解鎖，所以效率相對(duì)要低一些。

go的啟動(dòng)周期（M0和G0）

要想了解go的啟動(dòng)周期，首先得了解M0和G0的概念。

M0

• 在一個(gè)進(jìn)程中是唯一的。
• 啟動(dòng)程序后編號(hào)為0的主線(xiàn)程。
• 在全局變量runtime.m0中，不需要在heap上分配。
• 負(fù)責(zé)初始化操作和啟動(dòng)第一個(gè)G。
• 啟動(dòng)第一個(gè)G之后，M0就和其他的M一樣了。

G0

• 在一個(gè)線(xiàn)程中是唯一的。
• 每次啟動(dòng)一個(gè)M，都會(huì)第一個(gè)創(chuàng)建的gorountine，就是G0。
• G0僅僅用于負(fù)責(zé)調(diào)度其他G，G0不指向任何可執(zhí)行的函數(shù)。
• 每個(gè)M都會(huì)有一個(gè)自己的G0。
• 在調(diào)度或者系統(tǒng)調(diào)用的時(shí)候，會(huì)使用M切換到G0來(lái)調(diào)度。
• M0的G0會(huì)放在全局空間。

執(zhí)行流程

package main
import "fmt"

func main() {
 fmt.Println("Hello World")
}

比如我們看上斷代碼的執(zhí)行流程。

初始化操作

在執(zhí)行到main函數(shù)之前，會(huì)有一些初始化的操作，比如創(chuàng)建M0，創(chuàng)建G0等等。

執(zhí)行具體函數(shù)

當(dāng)執(zhí)行main函數(shù)的時(shí)候，M0已經(jīng)和其他的M是一樣的了，main函數(shù)會(huì)進(jìn)入M0對(duì)應(yīng)的p的本地隊(duì)列中，然后和M0綁定執(zhí)行，如果執(zhí)行超時(shí)(10ms)，則會(huì)重新放到M0對(duì)應(yīng)的本地隊(duì)列中。一直到執(zhí)行到exit或者panic為止。