美團(tuán)的動(dòng)態(tài)線程池,不依賴中間件可以實(shí)現(xiàn)么?
為什么寫這個(gè)項(xiàng)目?
大家好,我是龍臺。
美團(tuán)線程池文章[1] 介紹中,因?yàn)闃I(yè)務(wù)對線程池參數(shù)沒有合理配置,觸發(fā)過幾起生產(chǎn)事故,進(jìn)而引發(fā)了一系列思考。最終決定封裝線程池動(dòng)態(tài)參數(shù)調(diào)整,擴(kuò)展線程池監(jiān)控以及消息報(bào)警等功能
在開源平臺找了挺多動(dòng)態(tài)線程池項(xiàng)目,從功能性以及健壯性而言,個(gè)人感覺不滿足企業(yè)級應(yīng)用
因?yàn)閷?dòng)態(tài)線程池比較感興趣,加上想寫一個(gè)有意義的項(xiàng)目,所以決定自己來造一個(gè)輕量級的輪子
想給項(xiàng)目起一個(gè)簡單易記的名字,類似于 Eureka、Nacos、Redis;后來和朋友商量,決定以動(dòng)物命名:Hippo(河馬)
GitHub:https://github.com/acmenlt/dynamic-threadpool(建議復(fù)制到電腦查看)
- ├── dynamic-threadpool
- │ ├── dynamic-threadpool-common -- 公共模塊
- │ ├── dynamic-threadpool-config -- 配置中心
- │ ├── dynamic-threadpool-console -- 控制臺
- │ ├── dynamic-threadpool-discovery -- 注冊中心
- │ ├── dynamic-threadpool-spring-boot-starter -- Client 依賴組件
- │ ├── dynamic-threadpool-example -- 示例項(xiàng)目
- │ └── dynamic-threadpool-server -- 服務(wù)端
- │ └── dynamic-threadpool-tools -- 抽象工具類
它解決了什么問題?
線程池在業(yè)務(wù)系統(tǒng)應(yīng)該都有使用到,幫助業(yè)務(wù)流程提升效率以及管理線程,多數(shù)場景應(yīng)用于大量的異步任務(wù)處理
雖然線程池提供了我們許多便利,但也并非盡善盡美,比如下面這些問題就無法很好解決
如果線程池的配置涉及到上述問題,那么就有可能需要發(fā)布業(yè)務(wù)系統(tǒng)來解決;如果發(fā)布后參數(shù)仍不合理,繼續(xù)發(fā)布......
Hippo 很好解決了這個(gè)問題,它將業(yè)務(wù)中所有線程池統(tǒng)一管理,遇到上述問題不需要發(fā)布系統(tǒng)就可以替換線程池參數(shù)
它有什么特性?
應(yīng)用系統(tǒng)中線程池并不容易管理
參考美團(tuán)的設(shè)計(jì),Hippo 按照租戶、項(xiàng)目、線程池的維度劃分。再加上系統(tǒng)權(quán)限,讓不同的開發(fā)、管理人員負(fù)責(zé)自己系統(tǒng)的線程池操作
舉個(gè)例子,小編在一家公司的公共組件團(tuán)隊(duì),團(tuán)隊(duì)中負(fù)責(zé)消息、短鏈接網(wǎng)關(guān)等項(xiàng)目。公共組件是租戶,消息或短鏈接就是項(xiàng)目
Hippo 除去動(dòng)態(tài)修改線程池,還包含實(shí)時(shí)查看線程池運(yùn)行時(shí)指標(biāo)、負(fù)載報(bào)警、配置日志管理等。具體功能如下圖
如何運(yùn)行 Demo?
目前動(dòng)態(tài)線程池功能已經(jīng)完成,可以直接把代碼拉到本地運(yùn)行。項(xiàng)目中數(shù)據(jù)庫是作者 ECS Docker 搭建,大家直接使用即可
- 啟動(dòng) dynamic-threadpool-server 模塊下 ServerApplication 應(yīng)用類
- 啟動(dòng) dynamic-threadpool-example 模塊下 ExampleApplication 應(yīng)用類
通過接口修改線程池中的配置。HTTP POST 路徑:http://localhost:6691/v1/cs/configs,Body 請求體如下:
- {
- "ignore": "tenantId、itemId、tpId 代表唯一線程池,請不要修改",
- "tenantId": "common",
- "itemId": "message-center",
- "tpId": "message-produce",
- "coreSize": 10,
- "maxSize": 15,
- "queueType": 9,
- "capacity": 100,
- "keepAliveTime": 10,
- "rejectedType": 7,
- "isAlarm": 0,
- "capacityAlarm": 81,
- "livenessAlarm": 82
- }
接口調(diào)用成功后,觀察 dynamic-threadpool-example 控制臺日志輸出,日志輸出包括不限于此信息即為成功
- [🔥 MESSAGE-PRODUCE] Changed thread pool. coreSize :: [11=>10], maxSize :: [15=>15], queueType :: [9=>9]
- capacity :: [100=>100], keepAliveTime :: [10000=>10000], rejectedType :: [7=>7]
現(xiàn)階段已集成釘釘消息推送,后續(xù)會持續(xù)接入企業(yè)微信、郵箱、飛書、短信等通知渠道??梢酝ㄟ^添加釘釘群體驗(yàn)消息推送,群號:31764717
項(xiàng)目代碼功能還在持續(xù)開發(fā),初定發(fā)布 1.0.0 RELEASE 完成以下功能。部署了 Server 服務(wù),只需要引入 Starter 組件到業(yè)務(wù)系統(tǒng)中,即可完成動(dòng)態(tài)修改、監(jiān)控、報(bào)警等特性
查看源碼能收獲什么?
目前還沒有發(fā)布 Release 版本,小伙伴可以閱讀框架源碼,查看框架中好的設(shè)計(jì)理念或者編碼技巧
在項(xiàng)目開發(fā)過程中,借鑒了 Nacos、Eureka、Seata、ShardingSphere 等中間件項(xiàng)目的優(yōu)雅設(shè)計(jì)
總結(jié)回顧
小編是個(gè)有代碼潔癖的程序員,項(xiàng)目中的代碼開發(fā)完全遵守阿里巴巴代碼規(guī)約,也推薦大家使用,培養(yǎng)好的編碼習(xí)慣
參考資料
[1]美團(tuán)線程池文章: https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html






























