Node.js HTTP 模塊的內(nèi)存泄露問(wèn)題
很久沒(méi)有逛社區(qū)了,晚上回來(lái)看了一下最近的情況,突然看到一個(gè)內(nèi)存泄露問(wèn)題,作為一個(gè) APM 開(kāi)發(fā)者,自然想分析其中的原因。
問(wèn)題
下面介紹一下具體的問(wèn)題??匆幌?demo。
const http = require('http')
async function main () {
let i = 0
while (true) {
if (i % 100 === 0) {
global.gc()
}
if (i % 10000 === 0) {
console.log(process.memoryUsage().heapUsed)
}
http.createServer((req, res) => {})
i++
}
}
main()
Node.js v20.3.1 下執(zhí)行上面代碼(node --expose-gc demo.js)輸出如下。
2681120
11409488
19632792
28038016
36438104
可以看到內(nèi)存不斷在增長(zhǎng)。下面來(lái)分析這個(gè)問(wèn)題。
分析
const http = require('http');
const v8 = require('v8');
for (i = 0; i < 1000; i++) {
http.createServer((req, res) => {});
}
v8.writeHeapSnapshot('memory-leaky.heapsnapshot');
采集的快照如下。
圖片
可以看到,Server 對(duì)象沒(méi)有被釋放。看一下是誰(shuí)引用了它。
圖片
是定時(shí)器引用了 Server 對(duì)象,我們看一下定時(shí)器對(duì)象又是被誰(shuí)引用了。
圖片
有一個(gè)關(guān)鍵的變量 connectionsCheckingInterval,到 Node.js 源碼里看一下,最終發(fā)現(xiàn)是 Server 初始化時(shí)創(chuàng)建的。
function Server(options, requestListener) {
setupConnectionsTracking(this);
}
function setupConnectionsTracking(server) {
server[kConnectionsCheckingInterval] = setInterval(checkConnections.bind(server), server.connectionsCheckingInterval).unref();
}
可以看到 checkConnections.bind 返回的匿名函數(shù)持有了 Server,而匿名函數(shù)又被 setInterval 持有了,所以導(dǎo)致 Server 對(duì)象無(wú)法釋放。
修復(fù)
那么如何修復(fù)這個(gè)問(wèn)題呢?修復(fù)這個(gè)問(wèn)題,首先需要了解 setupConnectionsTracking 是做什么的,邏輯如下。
function checkConnections() {
if (this.headersTimeout === 0 && this.requestTimeout === 0) {
return;
}
const expired = this[kConnections].expired(this.headersTimeout, this.requestTimeout);
for (let i = 0; i < expired.length; i++) {
const socket = expired[i].socket;
if (socket) {
onRequestTimeout(socket);
}
}
}
可以看到,setupConnectionsTracking 是追蹤連接超時(shí),回到我們的測(cè)試?yán)又锌梢园l(fā)現(xiàn),我們并沒(méi)有執(zhí)行 listen,也就是說(shuō),Server 對(duì)象并不會(huì)處理連接,那么也就沒(méi)有連接需要追蹤,所以修復(fù)方式就是把調(diào)用 setupConnectionsTracking 的時(shí)機(jī)延遲到 listen 成功時(shí),修復(fù)代碼大致如下。
function Server(options, requestListener) {
this.on('listening', () => {
setupConnectionsTracking(this);
});
}
修改源碼重新編譯后測(cè)試結(jié)果如下。
3653552
4002680
3753400
3762976
3773088
可以看到內(nèi)存已經(jīng)不會(huì)增長(zhǎng)了,采集快照也可以看到不會(huì)再存在大量 Server 對(duì)象。
總結(jié)
這個(gè)例子雖然看起來(lái)有點(diǎn)不常見(jiàn),用法也很怪異,但是從側(cè)面說(shuō)明了雖然 JS 自帶 GC,但是因?yàn)檫壿?/ 引用關(guān)系復(fù)雜,還是很容易出現(xiàn)內(nèi)存泄露問(wèn)題,所以寫(xiě)代碼時(shí)還是需要注意,具體的 issue 可以參考 https://github.com/nodejs/node/issues/48604。