.NET內(nèi)存映射文件原理、創(chuàng)建及進(jìn)程通訊
操作系統(tǒng)很早就開始使用內(nèi)存映射文件(Memory Mapped File)來作為進(jìn)程間的共享存儲(chǔ)區(qū),這是一種非常高效的進(jìn)程通訊手段。Win32 API中也包含有創(chuàng)建內(nèi)存映射文件的函數(shù),然而,這些函數(shù)都運(yùn)行于非托管環(huán)境下,在.NET中只能通過平臺(tái)調(diào)用機(jī)制來使用它們,用起來很不方便。幸運(yùn)的是,.NET 4.0新增加了一個(gè)System.IO. MemoryMappedFiles命名空間,其中添加了幾個(gè)類和相應(yīng)的枚舉類型,從而使我們可以很方便地創(chuàng)建內(nèi)存映射文件。
1 內(nèi)存映射文件原理
所謂內(nèi)存映射文件,其實(shí)就是在內(nèi)存中開辟出一塊存放數(shù)據(jù)的專用區(qū)域,這區(qū)域往往與硬盤上特定的文件相對(duì)應(yīng)。進(jìn)程將這塊內(nèi)存區(qū)域映射到自己的地址空間中,訪問它就象是訪問普通的內(nèi)存一樣。
圖 1 .NET內(nèi)存映射文件原理圖
在.NET中,使用MemoryMappedFile對(duì)象表示一個(gè)內(nèi)存映射文件,通過它的CreateFromFile()方法根據(jù)磁盤現(xiàn)有文件創(chuàng)建內(nèi)存映射文件,調(diào)用這一方法需要提供一個(gè)與磁盤現(xiàn)有文件相對(duì)應(yīng)的FileStream對(duì)象。
以下示例代碼動(dòng)態(tài)創(chuàng)建一個(gè)MyFile.dat文件,然后將其映射到系統(tǒng)內(nèi)存中,設(shè)定容量為1M:
- FileStream fs = new FileStream("MyFile.dat", FileMode.Create,
- FileAccess.ReadWrite);
- MemoryMappedFile memoryFile = MemoryMappedFile.CreateFromFile(fs, "MyFile", 1024*1024);
注意用于創(chuàng)建內(nèi)存映射文件的文件流必須是可讀寫的。
擴(kuò)充閱讀:
關(guān)于內(nèi)存映射文件的容量
默認(rèn)情況下,在調(diào)用MemoryMappedFile.CreateFromFile()方法時(shí)如果不指定文件容量,那么,創(chuàng)建的內(nèi)存映射文件的容量等同于文件的大小。
在上面的示例代碼中,由于磁盤文件是臨時(shí)生成的,其長度為0,所以,必須在創(chuàng)建內(nèi)存映射文件時(shí)同時(shí)指定其容量。
在設(shè)定內(nèi)存映射文件的容量時(shí),其值不能小于磁盤文件的現(xiàn)有長度,但可以比它大。但要注意這將導(dǎo)致一個(gè)戲劇化的結(jié)果:磁盤文件自動(dòng)增長到聲明的容量大??!
可以多次調(diào)用MemoryMappedFile.CreateFromFile(),每次傳給它一個(gè)更大的容量數(shù)值以不斷擴(kuò)充磁盤文件的大小。
當(dāng)不再使用一個(gè)MemoryMappedFile對(duì)象時(shí),注意應(yīng)該及時(shí)地調(diào)用其Dispose()方法釋放它所占有的系統(tǒng)資源。因?yàn)镸emoryMappedFile實(shí)際上對(duì)應(yīng)著運(yùn)行操作系統(tǒng)核心的核心對(duì)象,如果不及時(shí)關(guān)閉,會(huì)造成操作系統(tǒng)核心資源(比如句柄)的浪費(fèi),要等到MemoryMappedFile對(duì)象被CLR垃圾回收,或者整個(gè)進(jìn)程中止時(shí),這些資源才會(huì)被操作系統(tǒng)回收再利用。
另外,內(nèi)存映射文件的容量其實(shí)是指***允許分配給內(nèi)存映射文件的內(nèi)存存儲(chǔ)區(qū)字節(jié)數(shù),并不意味著系統(tǒng)會(huì)馬上分配指定容量的內(nèi)存。進(jìn)程中訪問這塊映射到磁盤文件中的存儲(chǔ)區(qū)時(shí),操作系統(tǒng)如果發(fā)現(xiàn)其內(nèi)容還未裝入內(nèi)存,就會(huì)從磁盤文件中裝入相應(yīng)內(nèi)容到內(nèi)存中。因此,不用擔(dān)心聲明一個(gè)大的內(nèi)存映射文件容量會(huì)導(dǎo)致內(nèi)存的浪費(fèi)。
當(dāng)MemoryMappedFile對(duì)象創(chuàng)建之后,我們并不能直接對(duì)其進(jìn)行讀寫,必須通過一個(gè)MemoryMappedViewAccessor對(duì)象來訪問這個(gè)內(nèi)存映射文件。
MemoryMappedFile. CreateViewAccessor()方法可以創(chuàng)建MemoryMappedViewAccessor對(duì)象,而此對(duì)象提供了一系列讀寫的方法,用于向內(nèi)存映射文件中讀取和寫入數(shù)據(jù)。
以下示例代碼創(chuàng)建了一個(gè)內(nèi)存映射文件訪問對(duì)象并使用它寫入數(shù)據(jù):
- FileStream fs =…; //創(chuàng)建FileStream對(duì)象
- MemoryMappedFile memoryFile=…; //創(chuàng)建內(nèi)存映射文件
- //創(chuàng)建內(nèi)存映射文件訪問對(duì)象
- MemoryMappedViewAccessor accessor=
- memoryFile.CreateViewAccessor(0, 1024);
- for (int i = 0; i < 1024; i+=2)
- accessor.Write(i, ‘c’);
上述代碼中要注意,在創(chuàng)建內(nèi)存映射文件訪問對(duì)象需要指定它所能訪問的內(nèi)存映射文件的內(nèi)容范圍,這個(gè)“范圍”稱為“內(nèi)存映射視圖(Memory Mapped View)”??梢詫⑺c“放大鏡”類比,當(dāng)使用一個(gè)放大鏡閱讀書籍時(shí),一次只能放大指定部分的文字。類似地,我們只能在內(nèi)存映射視圖所規(guī)定的范圍內(nèi)存取內(nèi)存映射文件。
在上述代碼中,我們看到內(nèi)存映射視圖對(duì)象accessor只提取了內(nèi)存映射文件開頭1024個(gè)字節(jié)的內(nèi)容,然后,向其中寫入了512個(gè)“c”字符。
當(dāng)調(diào)用內(nèi)存映射視圖對(duì)象的Write()方法時(shí),需要指明從哪個(gè)位置(即方法的***個(gè)參數(shù))開始寫入數(shù)據(jù),并且需要計(jì)算清楚要寫入的數(shù)據(jù)占幾個(gè)字節(jié),這樣,當(dāng)寫入下一個(gè)數(shù)據(jù)時(shí),就知道應(yīng)該從哪個(gè)位置開始。
注意,Write()方法中的位置是相對(duì)視圖對(duì)象而非內(nèi)存映射文件本身,因此,此位置數(shù)值再加上視圖距內(nèi)存映射文件開頭的位置數(shù)據(jù)才是寫入的數(shù)據(jù)在文件中的真實(shí)位置。
Write()方法有多個(gè)重載形式,可以向內(nèi)存映射文件中寫入多種類型的數(shù)據(jù),但要注意計(jì)算清楚其寫入的位置,避免造成數(shù)據(jù)覆蓋問題。
類似地,內(nèi)存映射視圖對(duì)象提供了多個(gè)重載的Read()方法,可以從內(nèi)存映射文件中讀取數(shù)據(jù)。
比較有趣的是,在同一個(gè)進(jìn)程中可以針對(duì)同一個(gè)內(nèi)存映射文件創(chuàng)建多個(gè)視圖對(duì)象,從而允許我們同時(shí)修改同一個(gè)文件的不同部分,在關(guān)閉視圖對(duì)象時(shí)由操作系統(tǒng)保證將所有修改都寫回到原始文件中。
下面我們來看一個(gè)示例。
2 在同一進(jìn)程內(nèi)同時(shí)讀寫同一內(nèi)存映射文件
示例項(xiàng)目UseMMFInProcess運(yùn)行時(shí)會(huì)在程序的當(dāng)前目錄下創(chuàng)建一個(gè)“MyFile.dat”文件,然后,創(chuàng)建了兩個(gè)內(nèi)存映射視圖對(duì)象,分別向文件的前半部分和后半部分寫入不同的數(shù)據(jù),然后再從中讀出來(圖 2)。
圖 2 .NET內(nèi)存映射文件示例項(xiàng)目UseMMFInProcess
這個(gè)示例展示的技術(shù)很基礎(chǔ),請(qǐng)讀者自行查看源碼。
3 使用內(nèi)存映射文件在進(jìn)程間傳送值類型數(shù)據(jù)
在前面的例子中,內(nèi)存映射文件直接與某個(gè)特定的磁盤文件相對(duì)應(yīng),事實(shí)上,我們也可以不用創(chuàng)建磁盤文件而直接使用Windows的分頁文件。這種方式是實(shí)現(xiàn)進(jìn)程間互傳數(shù)據(jù)的典型方式。
調(diào)用MemoryMappedFile.CreateNew()或MemoryMappedFile.CreateOrOpen()方法可以在系統(tǒng)內(nèi)存(System Memory)中直接創(chuàng)建一個(gè)內(nèi)存映射文件,這個(gè)內(nèi)存映射文件所對(duì)應(yīng)的“物理文件”是Windows的系統(tǒng)分頁文件。兩個(gè)方法都需要給映射文件指定一個(gè)唯一的名稱。不同之處在于CreateOrOpen ()方法在指定名稱的映射文件存在時(shí)就直接將其返回給進(jìn)程,而CreateNew()方法始終是新創(chuàng)建一個(gè)內(nèi)存映射文件。
擴(kuò)充閱讀:
Windows的系統(tǒng)分頁文件和休眠文件
默認(rèn)情況下,在安裝Windows的分區(qū)根目錄下,會(huì)找到兩個(gè)具有“隱藏”屬性的pagefile.sys和hiberfil.sys文件,前者(pagefile.sys)就是Windows的分頁文件,用于保存從物理內(nèi)存中換出的內(nèi)存頁,我們可以用它的一部分來創(chuàng)建內(nèi)存映射文件。后者(hiberfil.sys)則是“系統(tǒng)休眠”文件,當(dāng)Windows啟用了休眠功能時(shí),就會(huì)在硬盤上找到這個(gè)文件,它的內(nèi)容是系統(tǒng)休眠時(shí)物理內(nèi)存中的數(shù)據(jù),當(dāng)計(jì)算機(jī)從休眠中“醒”過來時(shí),通過從此文件中加載信息以恢復(fù)上次工作的狀態(tài)。
內(nèi)存映射文件創(chuàng)建好以后,可以如同前面介紹的方法一樣創(chuàng)建視圖對(duì)象,然后使用Read和Write系列方法存取。
只要指定同一個(gè)名字,那么,多個(gè)進(jìn)程就可以使用同一個(gè)內(nèi)存映射文件交換數(shù)據(jù)。示例UseMMFBetweenProcess展示了在兩個(gè)進(jìn)程間相互交換一個(gè)結(jié)構(gòu)體變量的情況:
圖 3 .NET內(nèi)存映射文件示例項(xiàng)目UseMMFBetweenProcess
兩個(gè)進(jìn)程要交換的數(shù)據(jù)格式如下:
- public struct MyStructure
- {
- public int IntValue
- { get; set; }
- public float FloatValue
- { get; set; }
- }
啟動(dòng)UseMMFBetweenProcess程序的兩個(gè)實(shí)例,在其中一個(gè)窗體上輸入兩個(gè)數(shù)字之后,點(diǎn)擊“保存”按鈕,然后在另一個(gè)進(jìn)程的窗體上點(diǎn)擊“提取”,可以看到另一個(gè)進(jìn)程寫入的信息出現(xiàn)在本進(jìn)程的文本框中。
示例程序采用MemoryMappedFile.CreateOrOpen()方法創(chuàng)建或打開一個(gè)內(nèi)存映射文件,然后調(diào)用MemoryMappedViewAccessor類的泛型方法Write<T>()和Read<T>()向內(nèi)存映射文件中寫入和讀取數(shù)據(jù)。
注意,泛型方法Write<T>()和Read<T>()中的泛型參數(shù)T必須是值類型(比如整型int和結(jié)構(gòu)體struct),特別地,對(duì)于用戶自定義的結(jié)構(gòu)體,要求其成員也必須是值類型。
例如,以下結(jié)構(gòu)體將無法寫入到內(nèi)存映射文件中,因?yàn)槠涑蓡TInfo是string類型的,這是一個(gè)引用類型。
- public struct ErrorStruct
- {
- public string Info;
- }
之所以要求泛型參數(shù)不能是引用類型,其道理非常簡單,如果結(jié)構(gòu)體中的某個(gè)成員是引用類型,那么在程序運(yùn)行時(shí),計(jì)算機(jī)無法知道應(yīng)該向內(nèi)存映射文件中寫入多少個(gè)字節(jié),因?yàn)橐妙愋偷淖兞克玫膶?duì)象位于托管堆中,其占用存儲(chǔ)空間的大小不經(jīng)過計(jì)算是難以確定的,而完成這個(gè)計(jì)算工作將花費(fèi)不少的系統(tǒng)資源(想想一個(gè)對(duì)象可能又會(huì)引用到另一個(gè)對(duì)象就明白了),這會(huì)嚴(yán)重影響內(nèi)存映射文件讀寫操作效率。
兩個(gè)進(jìn)程不能交換引用類型的數(shù)據(jù),這個(gè)限制似乎還不小,但事實(shí)上,我們完成可以通過對(duì)象序列化技術(shù)來突破這個(gè)限制,在兩個(gè)進(jìn)程間交換任意大小的對(duì)象(只要內(nèi)存映射文件有足夠的容量)。請(qǐng)看下一小節(jié)的示例UseMMFBetweenProcess2。
4 利用序列化技術(shù)通過內(nèi)存映射文件實(shí)現(xiàn)進(jìn)程通訊
圖4 .NET內(nèi)存映射文件示例:UseMMFBetweenProcess2
如圖 4所示,運(yùn)行示例程序的多個(gè)實(shí)例,加載圖片并輸入圖片說明,點(diǎn)擊相應(yīng)按鈕后,可以在多個(gè)進(jìn)程間直接交換以下格式的信息:
- [Serializable]
- class MyPic
- {
- public Image pic;//圖片
- public string picInfo; //圖片信息說明
- }
請(qǐng)注意這是一個(gè)引用類型的數(shù)據(jù)對(duì)象,并且它附加了可序列化“[Serializable]”的代碼屬性。
如果要向內(nèi)存映射文件中序列化對(duì)象,必須將內(nèi)存映射文件轉(zhuǎn)換為可順序讀取的流。幸運(yùn)的是,MemoryMappedFile類的CreateViewStream()方法可以創(chuàng)建一個(gè)MemoryMappedViewStream對(duì)象,通過它即可序列化對(duì)象,其代碼框架如下:
- //創(chuàng)建或打開內(nèi)存映射文件
- MemoryMappedFile memoryFile = MemoryMappedFile.CreateOrOpen(...);
- //創(chuàng)建內(nèi)存映射流
- MemoryMappedViewStream stream = memoryFile.CreateViewStream();
- //創(chuàng)建要在進(jìn)程間交換的信息對(duì)象
- MyPic obj =...;
- //向內(nèi)存映射流中序列化對(duì)象
- IFormatter formatter = new BinaryFormatter();
- stream.Seek(0, SeekOrigin.Begin);
- formatter.Serialize(stream, obj);
本文來自bitfan(數(shù)字世界一凡人)的專欄:《.NET 4.0中使用內(nèi)存映射文件實(shí)現(xiàn)進(jìn)程通訊》。
【編輯推薦】