[[381640]]

本文轉(zhuǎn)載自微信公眾號(hào)「Kirito的技術(shù)分享」，作者kiritomoe。轉(zhuǎn)載本文請(qǐng)聯(lián)系Kirito的技術(shù)分享公眾號(hào)。 

最近頻繁地在跟實(shí)習(xí)生候選人打交道，每次新接觸一個(gè)候選人，都要花上一定的時(shí)間去介紹我們團(tuán)隊(duì)，候選人問(wèn)的最多的一個(gè)問(wèn)題就是「中間件部門一般是干嘛的?」，恰好我之前也接觸過(guò)一些想從事中間件開發(fā)的小伙伴，問(wèn)過(guò)我「現(xiàn)在轉(zhuǎn)行做中間件開發(fā)還來(lái)得及嗎?」諸如此類的問(wèn)題，索性就寫一篇文章，聊聊我個(gè)人這些年做中間件開發(fā)的感受吧。

什么是中間件開發(fā)?

我大四實(shí)習(xí)時(shí)，在一個(gè) 20 多人的軟件開發(fā)團(tuán)隊(duì)第一次接觸了中間件，當(dāng)時(shí)項(xiàng)目的架構(gòu)師引入了微博開源的 RPC 框架 Motan，借助于這個(gè)框架，我們迅速構(gòu)建起了一個(gè)基于微服務(wù)架構(gòu)的內(nèi)部電商系統(tǒng)。接著在項(xiàng)目中，由于業(yè)務(wù)需求，我們又引入了 ActiveMQ...在這個(gè)階段，我已經(jīng)在使用中間件了，但似乎沒(méi)有接觸到中間件開發(fā)，更多的是使用層面上的接觸。

我畢業(yè)后的第一份工作，公司有幾百號(hào)研發(fā)，當(dāng)時(shí)的 leader 看我對(duì)中間件比較感興趣，有意把我分配在了基礎(chǔ)架構(gòu)團(tuán)隊(duì)，我第一次真正意義上成為了一名”中間件研發(fā)“，平時(shí)主要的工作，是基于開源的 Kong 和 Dubbo，進(jìn)行一些內(nèi)部的改造，以提供給業(yè)務(wù)團(tuán)隊(duì)更好地使用。這個(gè)階段，做的事還是比較雜的，業(yè)務(wù)團(tuán)隊(duì)對(duì)某些中間件有定制化的需求，都需要去了解這個(gè)中間件，熟悉源碼。這段時(shí)間，也是我成長(zhǎng)最快的一個(gè)時(shí)期，我是在這個(gè)期間學(xué)會(huì)了 Docker、Neo4j、Kong 等以前從來(lái)沒(méi)接觸過(guò)的技術(shù)，并且更加深入地了解 Dubbo 這類 RPC 框架的原理。可能坐在我旁邊的就是一個(gè)訂單部門的同學(xué)，拋了一個(gè)功能點(diǎn)讓我來(lái)改造。

現(xiàn)在，我供職于阿里云云原生中間件，相較于上一份中間件研發(fā)工作，阿里云這類互聯(lián)網(wǎng)大公司，任意一個(gè)中間件都有少則數(shù)人，多則數(shù)十人負(fù)責(zé)，中間件部門和業(yè)務(wù)部門之間也有著明確的界限。在這里，中間件團(tuán)隊(duì)的職責(zé)可以細(xì)分為三個(gè)方向：

1. 中間件團(tuán)隊(duì)會(huì)被業(yè)務(wù)團(tuán)隊(duì)的需求所驅(qū)動(dòng)，為集團(tuán)內(nèi)部提供定制化的解決方案，俗稱「自研」。所以你可能并不了解到 HSF、Diamond 這些阿里內(nèi)部的中間件。
2. 中間件團(tuán)隊(duì)會(huì)從事開源，花費(fèi)大量的精力提升中間件的極致性能，提升開源影響力，引領(lǐng)技術(shù)先進(jìn)性。這部分中間件則比較為人所熟知，例如 Dubbo、Spring Cloud Alibaba、RocketMQ、Nacos。
3. 中間件會(huì)在阿里云輸出商業(yè)化產(chǎn)品，相比開源產(chǎn)品，提供更高的 SLA、更強(qiáng)大的功能、更友好的交互。這部分商業(yè)化產(chǎn)品諸如：微服務(wù)引擎 MSE、消息隊(duì)列 RocketMQ、分布式應(yīng)用鏈路追蹤 ARMS。

我的這三段經(jīng)歷，正好反應(yīng)了不同規(guī)模的公司對(duì)中間件開發(fā)的不同需求。小公司使用中間件，例如 RPC、MQ、緩存等，基本是由業(yè)務(wù)開發(fā)人員自己維護(hù)的。但如果后臺(tái)研發(fā)達(dá)到數(shù)百人，基本就會(huì)組建自己的中間件團(tuán)隊(duì)，或者選擇使用阿里云等云廠商提供的中間件產(chǎn)品。

中間件開發(fā)和業(yè)務(wù)開發(fā)的區(qū)別

在我看來(lái)，中間件開發(fā)和業(yè)務(wù)開發(fā)并沒(méi)有什么高下之分，非要說(shuō)區(qū)別的話，有點(diǎn)像游戲里面的不同轉(zhuǎn)職，有人選擇的是魔法師，有人選擇的是戰(zhàn)士。在職場(chǎng)的練級(jí)過(guò)程中，每個(gè)人的總技能點(diǎn)數(shù)是一樣的，業(yè)務(wù)開發(fā)有點(diǎn)向全能戰(zhàn)士的方向去發(fā)展，各個(gè)點(diǎn)都涉獵一點(diǎn)，但每個(gè)方向能夠分配到技能點(diǎn)自然就少了;中間件開發(fā)就像《因?yàn)樘峦?，就全點(diǎn)防御力了》里面的主角，把技能點(diǎn)都分配到了一個(gè)方向。

假設(shè)你是在一個(gè)小公司工作，現(xiàn)階段并沒(méi)有專門的中間件團(tuán)隊(duì)，大家都是業(yè)務(wù)開發(fā)，此時(shí)我們做一個(gè)假設(shè)：公司即將成立一個(gè)中間件團(tuán)隊(duì)或者叫基礎(chǔ)架構(gòu)部，那么會(huì)是哪一類人容易被選中呢?一定是那些技術(shù)功底扎實(shí)，對(duì)中間件感興趣，研究過(guò)源碼的人。這個(gè)假設(shè)并非憑空捏造，很多互聯(lián)網(wǎng)公司的中間件團(tuán)隊(duì)都是這么一點(diǎn)點(diǎn)壯大起來(lái)的。我想說(shuō)什么呢?業(yè)務(wù)開發(fā)和中間件開發(fā)一開始并沒(méi)有明確的界限，因此，不用顧忌你現(xiàn)在是不是在從事業(yè)務(wù)開發(fā)，只要你對(duì)中間件感興趣，有過(guò)源碼級(jí)別的研究，就可以成為一個(gè)中間件開發(fā)。

中間件開發(fā)需要具備哪些素質(zhì)?

越是大的公司，大的中間件團(tuán)隊(duì)，責(zé)任分工就越垂直?；驹诖蠊?，一個(gè)中間件開發(fā)可能花幾年時(shí)間在某一個(gè)垂直方向深耕。以下是一些常見(jiàn)的中間件方向，當(dāng)然，這個(gè)分類在各個(gè)公司可能由于組織架構(gòu)的原因，略有不同。

1. 微服務(wù)治理。例如 RPC 相關(guān)中間件，注冊(cè)中心，配置中心，限流熔斷，鏈路追蹤等等。開源產(chǎn)品例如：Dubbo、SpringCloud、Nacos、Zookeeper、Sentinel、Hystrix、Zipkin。
2. 消息隊(duì)列。微服務(wù)一般強(qiáng)調(diào)的同步通信，消息隊(duì)列單獨(dú)列出來(lái)，主要是因?yàn)槠洚惒降臋C(jī)制。開源產(chǎn)品例如：RocketMQ、Kafka
3. 存儲(chǔ)中間件。例如緩存，數(shù)據(jù)庫(kù)等等，例如 Mysql、Redis。值得一提的是，由于存儲(chǔ)相關(guān)的系統(tǒng)一般都非常復(fù)雜，特別是在分布式存儲(chǔ)領(lǐng)域，體系更是繁雜，在阿里內(nèi)部一般將數(shù)據(jù)庫(kù)和緩存這種存儲(chǔ)類型的產(chǎn)品當(dāng)成是和中間件平級(jí)的存在，所以如果有人說(shuō) Mysql 和 Redis 不是中間件，也沒(méi)有啥好爭(zhēng)吵的。
4. 存儲(chǔ) Proxy。典型的如 ShardingSphere。
5. 網(wǎng)關(guān)。例如 Spring Cloud Gateway、Kong、Nginx。
6. ServiceMesh。Envoy、Istio 在阿里這邊也被劃分在中間件部門。

其實(shí)可以發(fā)現(xiàn)，中間件其實(shí)并沒(méi)有一個(gè)明確的定義，到底哪些開源產(chǎn)品可以是中間件，哪些又不是。

列舉完這些典型的中間件，繼續(xù)討論這一節(jié)的主題，一個(gè)中間件開發(fā)者需要具備哪些素質(zhì)?

語(yǔ)言基礎(chǔ)。從 Java 程序員的角度，基礎(chǔ)通常就是：集合，并發(fā)，JVM，常用工具類。

操作系統(tǒng)基礎(chǔ)。中間件開發(fā)人員經(jīng)常和操作系統(tǒng)打交道，所以計(jì)算機(jī)基礎(chǔ)也必不可少，我列舉一些關(guān)鍵詞，供各位參考

• 文件 IO。例如 pageCache，mmap，direct IO 等概念。
• 進(jìn)程線程。例如 green thread，協(xié)程等概念。
• 內(nèi)存/CPU。例如 cgroup，cache line，bound core 等概念。

網(wǎng)絡(luò)基礎(chǔ)?？梢园l(fā)現(xiàn)上述的每一個(gè)中間件都離不開網(wǎng)絡(luò)通信，一定需要對(duì) TCP 和 HTTP 的原理爛熟于心，框架層面需要熟悉 NIO、Netty、GRPC、HttpClient 等常用的網(wǎng)絡(luò)框架/工具。

分布式相關(guān)知識(shí)。了解 CAP， paxos，raft，zab，2pc/3pc，base 等理論知識(shí)，例如我看到有一些應(yīng)屆生簡(jiǎn)歷中的一個(gè)項(xiàng)目經(jīng)歷就很有意思：根據(jù) MIT 課程 Lab 實(shí)現(xiàn) Raft 協(xié)議的 POC。

源碼閱讀能力。我認(rèn)為源碼閱讀能力是一個(gè)中間件開發(fā)者必備的素質(zhì)，網(wǎng)上經(jīng)常能看到各種源碼分析文章，通過(guò)閱讀開源中間件的源碼，可以借鑒別人的設(shè)計(jì)理念，提升自身的編碼水準(zhǔn)。

保持技術(shù)熱情，擁抱變化。中間件技術(shù)日新月異，可能一個(gè)打敗一個(gè)中間件的不是同類的產(chǎn)品，而是整體的大環(huán)境，例如近幾年云原生大火，所有中間件幾乎都在擁抱變化，主動(dòng)向 K8s 對(duì)齊，在這個(gè)大背景下，就需要中間件開發(fā)者擁有 K8s 的基礎(chǔ)認(rèn)知能力，熟悉 pod、service、deployment、statefulSet、operator 這些 K8s 的基本概念。

如何成為中間件開發(fā)

看完上述這些要求，可能會(huì)有一些同學(xué)開始咋舌了，但其實(shí)也沒(méi)那么可怕，這跟最早學(xué)習(xí) Java 基礎(chǔ)是一樣的，很多東西一開始沒(méi)有接觸過(guò)，覺(jué)得很難，但熟悉之后會(huì)發(fā)現(xiàn)，也就那么回事。

我的技術(shù)交流群中經(jīng)常會(huì)有同學(xué)抱怨說(shuō)，平時(shí)只能接觸到 CRUD，根本接觸不到這些”高大上“的技術(shù)。我想說(shuō)的是，機(jī)會(huì)都是自己找的。我這里有幾個(gè)切實(shí)可行的建議：

1. 參與開源社區(qū)的項(xiàng)目，貢獻(xiàn)代碼。了解一個(gè)中間件最好的方式就是貢獻(xiàn)它，帶著問(wèn)題有的放矢地研究源碼，是我比較推薦的方式，你所需要做的是尋找一個(gè)合適的 issue，解決它。不斷重復(fù)這個(gè)過(guò)程，你其實(shí)就是一個(gè)中間件開發(fā)了!
2. 多動(dòng)手做實(shí)驗(yàn)。很多上面提到的中間件開發(fā)應(yīng)用的素質(zhì)都可以通過(guò)動(dòng)手做實(shí)驗(yàn)的方式來(lái)學(xué)習(xí)，例如動(dòng)手實(shí)現(xiàn)一個(gè)簡(jiǎn)易的 RPC 框架，實(shí)現(xiàn)一個(gè) Raft 協(xié)議的 POC，通過(guò) benchmark 對(duì)比 FileChannel 和 MMAP 的性能，相信我，這比看書、看視頻、看博客有用的多的多。
3. 參與中間件挑戰(zhàn)賽。最早是阿里會(huì)舉辦一年一度的中間件性能挑戰(zhàn)賽，后來(lái)也有一些其他公司如華為開始效仿這類比賽，參與這些挑戰(zhàn)賽也可以積累非常多的經(jīng)驗(yàn)，同時(shí)你還可以借著組隊(duì)，結(jié)交非常多的朋友。