美團的動態(tài)線程池,不依賴中間件可以實現(xiàn)么?
為什么寫這個項目?
大家好,我是龍臺。
美團線程池文章[1] 介紹中,因為業(yè)務(wù)對線程池參數(shù)沒有合理配置,觸發(fā)過幾起生產(chǎn)事故,進(jìn)而引發(fā)了一系列思考。最終決定封裝線程池動態(tài)參數(shù)調(diào)整,擴展線程池監(jiān)控以及消息報警等功能
在開源平臺找了挺多動態(tài)線程池項目,從功能性以及健壯性而言,個人感覺不滿足企業(yè)級應(yīng)用
因為對動態(tài)線程池比較感興趣,加上想寫一個有意義的項目,所以決定自己來造一個輕量級的輪子
想給項目起一個簡單易記的名字,類似于 Eureka、Nacos、Redis;后來和朋友商量,決定以動物命名:Hippo(河馬)
GitHub:https://github.com/acmenlt/dynamic-threadpool(建議復(fù)制到電腦查看)
- ├── dynamic-threadpool
- │ ├── dynamic-threadpool-common -- 公共模塊
- │ ├── dynamic-threadpool-config -- 配置中心
- │ ├── dynamic-threadpool-console -- 控制臺
- │ ├── dynamic-threadpool-discovery -- 注冊中心
- │ ├── dynamic-threadpool-spring-boot-starter -- Client 依賴組件
- │ ├── dynamic-threadpool-example -- 示例項目
- │ └── dynamic-threadpool-server -- 服務(wù)端
- │ └── dynamic-threadpool-tools -- 抽象工具類
它解決了什么問題?
線程池在業(yè)務(wù)系統(tǒng)應(yīng)該都有使用到,幫助業(yè)務(wù)流程提升效率以及管理線程,多數(shù)場景應(yīng)用于大量的異步任務(wù)處理
雖然線程池提供了我們許多便利,但也并非盡善盡美,比如下面這些問題就無法很好解決
如果線程池的配置涉及到上述問題,那么就有可能需要發(fā)布業(yè)務(wù)系統(tǒng)來解決;如果發(fā)布后參數(shù)仍不合理,繼續(xù)發(fā)布......
Hippo 很好解決了這個問題,它將業(yè)務(wù)中所有線程池統(tǒng)一管理,遇到上述問題不需要發(fā)布系統(tǒng)就可以替換線程池參數(shù)
它有什么特性?
應(yīng)用系統(tǒng)中線程池并不容易管理
參考美團的設(shè)計,Hippo 按照租戶、項目、線程池的維度劃分。再加上系統(tǒng)權(quán)限,讓不同的開發(fā)、管理人員負(fù)責(zé)自己系統(tǒng)的線程池操作
舉個例子,小編在一家公司的公共組件團隊,團隊中負(fù)責(zé)消息、短鏈接網(wǎng)關(guān)等項目。公共組件是租戶,消息或短鏈接就是項目
Hippo 除去動態(tài)修改線程池,還包含實時查看線程池運行時指標(biāo)、負(fù)載報警、配置日志管理等。具體功能如下圖
如何運行 Demo?
目前動態(tài)線程池功能已經(jīng)完成,可以直接把代碼拉到本地運行。項目中數(shù)據(jù)庫是作者 ECS Docker 搭建,大家直接使用即可
- 啟動 dynamic-threadpool-server 模塊下 ServerApplication 應(yīng)用類
- 啟動 dynamic-threadpool-example 模塊下 ExampleApplication 應(yīng)用類
通過接口修改線程池中的配置。HTTP POST 路徑:http://localhost:6691/v1/cs/configs,Body 請求體如下:
- {
- "ignore": "tenantId、itemId、tpId 代表唯一線程池,請不要修改",
- "tenantId": "common",
- "itemId": "message-center",
- "tpId": "message-produce",
- "coreSize": 10,
- "maxSize": 15,
- "queueType": 9,
- "capacity": 100,
- "keepAliveTime": 10,
- "rejectedType": 7,
- "isAlarm": 0,
- "capacityAlarm": 81,
- "livenessAlarm": 82
- }
接口調(diào)用成功后,觀察 dynamic-threadpool-example 控制臺日志輸出,日志輸出包括不限于此信息即為成功
- [🔥 MESSAGE-PRODUCE] Changed thread pool. coreSize :: [11=>10], maxSize :: [15=>15], queueType :: [9=>9]
- capacity :: [100=>100], keepAliveTime :: [10000=>10000], rejectedType :: [7=>7]
現(xiàn)階段已集成釘釘消息推送,后續(xù)會持續(xù)接入企業(yè)微信、郵箱、飛書、短信等通知渠道。可以通過添加釘釘群體驗消息推送,群號:31764717
項目代碼功能還在持續(xù)開發(fā),初定發(fā)布 1.0.0 RELEASE 完成以下功能。部署了 Server 服務(wù),只需要引入 Starter 組件到業(yè)務(wù)系統(tǒng)中,即可完成動態(tài)修改、監(jiān)控、報警等特性
查看源碼能收獲什么?
目前還沒有發(fā)布 Release 版本,小伙伴可以閱讀框架源碼,查看框架中好的設(shè)計理念或者編碼技巧
在項目開發(fā)過程中,借鑒了 Nacos、Eureka、Seata、ShardingSphere 等中間件項目的優(yōu)雅設(shè)計
總結(jié)回顧
小編是個有代碼潔癖的程序員,項目中的代碼開發(fā)完全遵守阿里巴巴代碼規(guī)約,也推薦大家使用,培養(yǎng)好的編碼習(xí)慣
參考資料
[1]美團線程池文章: https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html