走進(jìn)異步世界:EnyimMemcached異步化改造引起的內(nèi)存泄漏
6月30日我們發(fā)布了異步化改造后的博客程序之后,出現(xiàn)了高內(nèi)存、高CPU、高線程數(shù)的不理想情況。
經(jīng)過(guò)一周的追查,終于水落日出——引起不理想情況的根源是我們修改過(guò)的EnyimMemcached代碼存在內(nèi)存泄漏問(wèn)題。
而造成內(nèi)存泄漏的根源是我們沒(méi)有對(duì)SocketAsyncEventArgs進(jìn)行Dispose,實(shí)際情況是我們當(dāng)時(shí)根本沒(méi)注意到SocketAsyncEventArgs實(shí)現(xiàn)了IDispose接口,而這個(gè)小小的疏忽竟然折騰了我們一個(gè)星期。
存在內(nèi)存泄漏問(wèn)題的代碼是這樣寫的:
a) 異步從Socket中讀取數(shù)據(jù):
- public async Task<byte[]> ReadBytesAsync(int count)
- {
- var args = new SocketAsyncEventArgs();
- args.SetBuffer(new byte[count], 0, count);
- var awaitable = new SocketAwaitable(args);
- await this.socket.ReceiveAsync(awaitable);
- return args.Buffer;
- }
b) 異步向Socket中寫入數(shù)據(jù):
- public async Task WriteSync(IList<ArraySegment<byte>> buffers)
- {
- var args = new SocketAsyncEventArgs();
- args.BufferList = buffers;
- var awaitable = new SocketAwaitable(args);
- await this.socket.SendAsync(awaitable);
- }
解決內(nèi)存泄漏問(wèn)題的方法很簡(jiǎn)單,using+Buffer.BlockCopy,代碼如下:
a) 改進(jìn)后的異步從Socket中讀取數(shù)據(jù):
- public async Task<byte[]> ReadBytesAsync(int count)
- {
- using (var args = new SocketAsyncEventArgs())
- {
- args.SetBuffer(new byte[count], 0, count);
- var awaitable = new SocketAwaitable(args);
- await this.socket.ReceiveAsync(awaitable);
- var receivedBytes = new Byte[args.BytesTransferred];
- Buffer.BlockCopy(args.Buffer, 0, receivedBytes, 0, args.BytesTransferred);
- return receivedBytes;
- }
- }
b) 改進(jìn)后的異步向Socket中寫入數(shù)據(jù):
- public async Task WriteSync(IList<ArraySegment<byte>> buffers)
- {
- using (var args = new SocketAsyncEventArgs())
- {
- args.BufferList = buffers;
- var awaitable = new SocketAwaitable(args);
- await this.socket.SendAsync(awaitable);
- }
- }
改進(jìn)后的代碼已發(fā)布至github:https://github.com/cnblogs/EnyimMemcached。
你也許會(huì)問(wèn)我們是如何監(jiān)測(cè)到內(nèi)存泄漏情況的呢?
我們借助于兩個(gè)工具:Windows任務(wù)管理器與性能監(jiān)視器。
1. 通過(guò)任務(wù)管理器,我們觀察到w3wp占用的內(nèi)存會(huì)持續(xù)增長(zhǎng),當(dāng)?shù)竭_(dá)5G左右,在8核8G的阿里云虛擬機(jī)上CPU就開始做坐過(guò)山車,只有回收程序池(重啟w3wp進(jìn)程)才能恢復(fù)正常。
2. 通過(guò)性能監(jiān)視器,我們監(jiān)測(cè)了兩個(gè)指標(biāo):
a) \.NET CLR Memory(w3wp)\# Bytes in all Heaps (針對(duì)托管內(nèi)存)
b) \Process(w3wp)\Private Bytes (針對(duì)非托管內(nèi)存)
觀察到的情況見(jiàn)下圖:
(綠色是Private Bytes)
Bytes in all Heaps與Private Bytes都會(huì)出現(xiàn)持續(xù)增長(zhǎng)。
而對(duì)SocketAsyncEventArgs進(jìn)行Dispose之后,性能監(jiān)視器看到的\.NET CLR Memory\# Bytes in all Heaps變成了這樣:
\Process\Private Bytes也與Bytes in all Heaps相映成輝:
一看到這樣的圖形,你應(yīng)該和我們一樣感覺(jué)到了GC在背后辛勤工作的身影。