.NET內(nèi)存映射文件原理、創(chuàng)建及進(jìn)程通訊
操作系統(tǒng)很早就開(kāi)始使用內(nèi)存映射文件(Memory Mapped File)來(lái)作為進(jìn)程間的共享存儲(chǔ)區(qū),這是一種非常高效的進(jìn)程通訊手段。Win32 API中也包含有創(chuàng)建內(nèi)存映射文件的函數(shù),然而,這些函數(shù)都運(yùn)行于非托管環(huán)境下,在.NET中只能通過(guò)平臺(tái)調(diào)用機(jī)制來(lái)使用它們,用起來(lái)很不方便。幸運(yùn)的是,.NET 4.0新增加了一個(gè)System.IO. MemoryMappedFiles命名空間,其中添加了幾個(gè)類和相應(yīng)的枚舉類型,從而使我們可以很方便地創(chuàng)建內(nèi)存映射文件。
1 內(nèi)存映射文件原理
所謂內(nèi)存映射文件,其實(shí)就是在內(nèi)存中開(kāi)辟出一塊存放數(shù)據(jù)的專用區(qū)域,這區(qū)域往往與硬盤(pán)上特定的文件相對(duì)應(yīng)。進(jìn)程將這塊內(nèi)存區(qū)域映射到自己的地址空間中,訪問(wèn)它就象是訪問(wèn)普通的內(nèi)存一樣。
 
圖 1 .NET內(nèi)存映射文件原理圖
在.NET中,使用MemoryMappedFile對(duì)象表示一個(gè)內(nèi)存映射文件,通過(guò)它的CreateFromFile()方法根據(jù)磁盤(pán)現(xiàn)有文件創(chuàng)建內(nèi)存映射文件,調(diào)用這一方法需要提供一個(gè)與磁盤(pán)現(xiàn)有文件相對(duì)應(yīng)的FileStream對(duì)象。
以下示例代碼動(dòng)態(tài)創(chuàng)建一個(gè)MyFile.dat文件,然后將其映射到系統(tǒng)內(nèi)存中,設(shè)定容量為1M:
- FileStream fs = new FileStream("MyFile.dat", FileMode.Create,
 - FileAccess.ReadWrite);
 - MemoryMappedFile memoryFile = MemoryMappedFile.CreateFromFile(fs, "MyFile", 1024*1024);
 
注意用于創(chuàng)建內(nèi)存映射文件的文件流必須是可讀寫(xiě)的。
擴(kuò)充閱讀:
關(guān)于內(nèi)存映射文件的容量
默認(rèn)情況下,在調(diào)用MemoryMappedFile.CreateFromFile()方法時(shí)如果不指定文件容量,那么,創(chuàng)建的內(nèi)存映射文件的容量等同于文件的大小。
在上面的示例代碼中,由于磁盤(pán)文件是臨時(shí)生成的,其長(zhǎng)度為0,所以,必須在創(chuàng)建內(nèi)存映射文件時(shí)同時(shí)指定其容量。
在設(shè)定內(nèi)存映射文件的容量時(shí),其值不能小于磁盤(pán)文件的現(xiàn)有長(zhǎng)度,但可以比它大。但要注意這將導(dǎo)致一個(gè)戲劇化的結(jié)果:磁盤(pán)文件自動(dòng)增長(zhǎng)到聲明的容量大小!
可以多次調(diào)用MemoryMappedFile.CreateFromFile(),每次傳給它一個(gè)更大的容量數(shù)值以不斷擴(kuò)充磁盤(pán)文件的大小。
當(dāng)不再使用一個(gè)MemoryMappedFile對(duì)象時(shí),注意應(yīng)該及時(shí)地調(diào)用其Dispose()方法釋放它所占有的系統(tǒng)資源。因?yàn)镸emoryMappedFile實(shí)際上對(duì)應(yīng)著運(yùn)行操作系統(tǒng)核心的核心對(duì)象,如果不及時(shí)關(guān)閉,會(huì)造成操作系統(tǒng)核心資源(比如句柄)的浪費(fèi),要等到MemoryMappedFile對(duì)象被CLR垃圾回收,或者整個(gè)進(jìn)程中止時(shí),這些資源才會(huì)被操作系統(tǒng)回收再利用。
另外,內(nèi)存映射文件的容量其實(shí)是指***允許分配給內(nèi)存映射文件的內(nèi)存存儲(chǔ)區(qū)字節(jié)數(shù),并不意味著系統(tǒng)會(huì)馬上分配指定容量的內(nèi)存。進(jìn)程中訪問(wèn)這塊映射到磁盤(pán)文件中的存儲(chǔ)區(qū)時(shí),操作系統(tǒng)如果發(fā)現(xiàn)其內(nèi)容還未裝入內(nèi)存,就會(huì)從磁盤(pán)文件中裝入相應(yīng)內(nèi)容到內(nèi)存中。因此,不用擔(dān)心聲明一個(gè)大的內(nèi)存映射文件容量會(huì)導(dǎo)致內(nèi)存的浪費(fèi)。
當(dāng)MemoryMappedFile對(duì)象創(chuàng)建之后,我們并不能直接對(duì)其進(jìn)行讀寫(xiě),必須通過(guò)一個(gè)MemoryMappedViewAccessor對(duì)象來(lái)訪問(wèn)這個(gè)內(nèi)存映射文件。
MemoryMappedFile. CreateViewAccessor()方法可以創(chuàng)建MemoryMappedViewAccessor對(duì)象,而此對(duì)象提供了一系列讀寫(xiě)的方法,用于向內(nèi)存映射文件中讀取和寫(xiě)入數(shù)據(jù)。
以下示例代碼創(chuàng)建了一個(gè)內(nèi)存映射文件訪問(wèn)對(duì)象并使用它寫(xiě)入數(shù)據(jù):
- FileStream fs =…; //創(chuàng)建FileStream對(duì)象
 - MemoryMappedFile memoryFile=…; //創(chuàng)建內(nèi)存映射文件
 - //創(chuàng)建內(nèi)存映射文件訪問(wèn)對(duì)象
 - MemoryMappedViewAccessor accessor=
 - memoryFile.CreateViewAccessor(0, 1024);
 - for (int i = 0; i < 1024; i+=2)
 - accessor.Write(i, ‘c’);
 
上述代碼中要注意,在創(chuàng)建內(nèi)存映射文件訪問(wèn)對(duì)象需要指定它所能訪問(wèn)的內(nèi)存映射文件的內(nèi)容范圍,這個(gè)“范圍”稱為“內(nèi)存映射視圖(Memory Mapped View)”??梢詫⑺c“放大鏡”類比,當(dāng)使用一個(gè)放大鏡閱讀書(shū)籍時(shí),一次只能放大指定部分的文字。類似地,我們只能在內(nèi)存映射視圖所規(guī)定的范圍內(nèi)存取內(nèi)存映射文件。
在上述代碼中,我們看到內(nèi)存映射視圖對(duì)象accessor只提取了內(nèi)存映射文件開(kāi)頭1024個(gè)字節(jié)的內(nèi)容,然后,向其中寫(xiě)入了512個(gè)“c”字符。
當(dāng)調(diào)用內(nèi)存映射視圖對(duì)象的Write()方法時(shí),需要指明從哪個(gè)位置(即方法的***個(gè)參數(shù))開(kāi)始寫(xiě)入數(shù)據(jù),并且需要計(jì)算清楚要寫(xiě)入的數(shù)據(jù)占幾個(gè)字節(jié),這樣,當(dāng)寫(xiě)入下一個(gè)數(shù)據(jù)時(shí),就知道應(yīng)該從哪個(gè)位置開(kāi)始。
注意,Write()方法中的位置是相對(duì)視圖對(duì)象而非內(nèi)存映射文件本身,因此,此位置數(shù)值再加上視圖距內(nèi)存映射文件開(kāi)頭的位置數(shù)據(jù)才是寫(xiě)入的數(shù)據(jù)在文件中的真實(shí)位置。
Write()方法有多個(gè)重載形式,可以向內(nèi)存映射文件中寫(xiě)入多種類型的數(shù)據(jù),但要注意計(jì)算清楚其寫(xiě)入的位置,避免造成數(shù)據(jù)覆蓋問(wèn)題。
類似地,內(nèi)存映射視圖對(duì)象提供了多個(gè)重載的Read()方法,可以從內(nèi)存映射文件中讀取數(shù)據(jù)。
比較有趣的是,在同一個(gè)進(jìn)程中可以針對(duì)同一個(gè)內(nèi)存映射文件創(chuàng)建多個(gè)視圖對(duì)象,從而允許我們同時(shí)修改同一個(gè)文件的不同部分,在關(guān)閉視圖對(duì)象時(shí)由操作系統(tǒng)保證將所有修改都寫(xiě)回到原始文件中。
下面我們來(lái)看一個(gè)示例。
2 在同一進(jìn)程內(nèi)同時(shí)讀寫(xiě)同一內(nèi)存映射文件
示例項(xiàng)目UseMMFInProcess運(yùn)行時(shí)會(huì)在程序的當(dāng)前目錄下創(chuàng)建一個(gè)“MyFile.dat”文件,然后,創(chuàng)建了兩個(gè)內(nèi)存映射視圖對(duì)象,分別向文件的前半部分和后半部分寫(xiě)入不同的數(shù)據(jù),然后再?gòu)闹凶x出來(lái)(圖 2)。
 
圖 2 .NET內(nèi)存映射文件示例項(xiàng)目UseMMFInProcess
這個(gè)示例展示的技術(shù)很基礎(chǔ),請(qǐng)讀者自行查看源碼。
3 使用內(nèi)存映射文件在進(jìn)程間傳送值類型數(shù)據(jù)
在前面的例子中,內(nèi)存映射文件直接與某個(gè)特定的磁盤(pán)文件相對(duì)應(yīng),事實(shí)上,我們也可以不用創(chuàng)建磁盤(pán)文件而直接使用Windows的分頁(yè)文件。這種方式是實(shí)現(xiàn)進(jìn)程間互傳數(shù)據(jù)的典型方式。
調(diào)用MemoryMappedFile.CreateNew()或MemoryMappedFile.CreateOrOpen()方法可以在系統(tǒng)內(nèi)存(System Memory)中直接創(chuàng)建一個(gè)內(nèi)存映射文件,這個(gè)內(nèi)存映射文件所對(duì)應(yīng)的“物理文件”是Windows的系統(tǒng)分頁(yè)文件。兩個(gè)方法都需要給映射文件指定一個(gè)唯一的名稱。不同之處在于CreateOrOpen ()方法在指定名稱的映射文件存在時(shí)就直接將其返回給進(jìn)程,而CreateNew()方法始終是新創(chuàng)建一個(gè)內(nèi)存映射文件。
擴(kuò)充閱讀:
Windows的系統(tǒng)分頁(yè)文件和休眠文件
默認(rèn)情況下,在安裝Windows的分區(qū)根目錄下,會(huì)找到兩個(gè)具有“隱藏”屬性的pagefile.sys和hiberfil.sys文件,前者(pagefile.sys)就是Windows的分頁(yè)文件,用于保存從物理內(nèi)存中換出的內(nèi)存頁(yè),我們可以用它的一部分來(lái)創(chuàng)建內(nèi)存映射文件。后者(hiberfil.sys)則是“系統(tǒng)休眠”文件,當(dāng)Windows啟用了休眠功能時(shí),就會(huì)在硬盤(pán)上找到這個(gè)文件,它的內(nèi)容是系統(tǒng)休眠時(shí)物理內(nèi)存中的數(shù)據(jù),當(dāng)計(jì)算機(jī)從休眠中“醒”過(guò)來(lái)時(shí),通過(guò)從此文件中加載信息以恢復(fù)上次工作的狀態(tài)。
內(nèi)存映射文件創(chuàng)建好以后,可以如同前面介紹的方法一樣創(chuàng)建視圖對(duì)象,然后使用Read和Write系列方法存取。
只要指定同一個(gè)名字,那么,多個(gè)進(jìn)程就可以使用同一個(gè)內(nèi)存映射文件交換數(shù)據(jù)。示例UseMMFBetweenProcess展示了在兩個(gè)進(jìn)程間相互交換一個(gè)結(jié)構(gòu)體變量的情況:
 
圖 3 .NET內(nèi)存映射文件示例項(xiàng)目UseMMFBetweenProcess
兩個(gè)進(jìn)程要交換的數(shù)據(jù)格式如下:
- public struct MyStructure
 - {
 - public int IntValue
 - { get; set; }
 - public float FloatValue
 - { get; set; }
 - }
 
啟動(dòng)UseMMFBetweenProcess程序的兩個(gè)實(shí)例,在其中一個(gè)窗體上輸入兩個(gè)數(shù)字之后,點(diǎn)擊“保存”按鈕,然后在另一個(gè)進(jìn)程的窗體上點(diǎn)擊“提取”,可以看到另一個(gè)進(jìn)程寫(xiě)入的信息出現(xiàn)在本進(jìn)程的文本框中。
示例程序采用MemoryMappedFile.CreateOrOpen()方法創(chuàng)建或打開(kāi)一個(gè)內(nèi)存映射文件,然后調(diào)用MemoryMappedViewAccessor類的泛型方法Write<T>()和Read<T>()向內(nèi)存映射文件中寫(xiě)入和讀取數(shù)據(jù)。
注意,泛型方法Write<T>()和Read<T>()中的泛型參數(shù)T必須是值類型(比如整型int和結(jié)構(gòu)體struct),特別地,對(duì)于用戶自定義的結(jié)構(gòu)體,要求其成員也必須是值類型。
例如,以下結(jié)構(gòu)體將無(wú)法寫(xiě)入到內(nèi)存映射文件中,因?yàn)槠涑蓡TInfo是string類型的,這是一個(gè)引用類型。
- public struct ErrorStruct
 - {
 - public string Info;
 - }
 
之所以要求泛型參數(shù)不能是引用類型,其道理非常簡(jiǎn)單,如果結(jié)構(gòu)體中的某個(gè)成員是引用類型,那么在程序運(yùn)行時(shí),計(jì)算機(jī)無(wú)法知道應(yīng)該向內(nèi)存映射文件中寫(xiě)入多少個(gè)字節(jié),因?yàn)橐妙愋偷淖兞克玫膶?duì)象位于托管堆中,其占用存儲(chǔ)空間的大小不經(jīng)過(guò)計(jì)算是難以確定的,而完成這個(gè)計(jì)算工作將花費(fèi)不少的系統(tǒng)資源(想想一個(gè)對(duì)象可能又會(huì)引用到另一個(gè)對(duì)象就明白了),這會(huì)嚴(yán)重影響內(nèi)存映射文件讀寫(xiě)操作效率。
兩個(gè)進(jìn)程不能交換引用類型的數(shù)據(jù),這個(gè)限制似乎還不小,但事實(shí)上,我們完成可以通過(guò)對(duì)象序列化技術(shù)來(lái)突破這個(gè)限制,在兩個(gè)進(jìn)程間交換任意大小的對(duì)象(只要內(nèi)存映射文件有足夠的容量)。請(qǐng)看下一小節(jié)的示例UseMMFBetweenProcess2。
4 利用序列化技術(shù)通過(guò)內(nèi)存映射文件實(shí)現(xiàn)進(jìn)程通訊
 
圖4 .NET內(nèi)存映射文件示例:UseMMFBetweenProcess2
如圖 4所示,運(yùn)行示例程序的多個(gè)實(shí)例,加載圖片并輸入圖片說(shuō)明,點(diǎn)擊相應(yīng)按鈕后,可以在多個(gè)進(jìn)程間直接交換以下格式的信息:
- [Serializable]
 - class MyPic
 - {
 - public Image pic;//圖片
 - public string picInfo; //圖片信息說(shuō)明
 - }
 
請(qǐng)注意這是一個(gè)引用類型的數(shù)據(jù)對(duì)象,并且它附加了可序列化“[Serializable]”的代碼屬性。
如果要向內(nèi)存映射文件中序列化對(duì)象,必須將內(nèi)存映射文件轉(zhuǎn)換為可順序讀取的流。幸運(yùn)的是,MemoryMappedFile類的CreateViewStream()方法可以創(chuàng)建一個(gè)MemoryMappedViewStream對(duì)象,通過(guò)它即可序列化對(duì)象,其代碼框架如下:
- //創(chuàng)建或打開(kāi)內(nèi)存映射文件
 - MemoryMappedFile memoryFile = MemoryMappedFile.CreateOrOpen(...);
 - //創(chuàng)建內(nèi)存映射流
 - MemoryMappedViewStream stream = memoryFile.CreateViewStream();
 - //創(chuàng)建要在進(jìn)程間交換的信息對(duì)象
 - MyPic obj =...;
 - //向內(nèi)存映射流中序列化對(duì)象
 - IFormatter formatter = new BinaryFormatter();
 - stream.Seek(0, SeekOrigin.Begin);
 - formatter.Serialize(stream, obj);
 
本文來(lái)自bitfan(數(shù)字世界一凡人)的專欄:《.NET 4.0中使用內(nèi)存映射文件實(shí)現(xiàn)進(jìn)程通訊》。
【編輯推薦】















 
 
 








 
 
 
 