二十幾年前學習DOS內(nèi)核的時候，是可以直接寫程序控制磁盤步進電機的，磁頭放在什么位置，讀寫到盤片的哪兒都可以控制。但看看現(xiàn)在的SAN存儲，恍若已是隔世。

我們就以一條簡單的linux cat 讀文件命令，看看要經(jīng)歷怎樣的千山萬水，才能到達物理磁盤，取到真正的數(shù)據(jù)。

首先，在linux 命令行中輸入cat 命令，系統(tǒng)會調(diào)用相應的system call, 進入內(nèi)核態(tài)。在內(nèi)核里最早接受請求的是VFS（virtual file system)層， VFS 是一層抽象的文件接口，當它發(fā)現(xiàn)實際請求是要訪問一個磁盤文件時，就會調(diào)用對應的真正的文件系統(tǒng)接口，在linux中通常是Ext3. 在這個時候，如果該文件之前已經(jīng)被讀過，還放在buffer 中，那么恭喜你，你可以直接拿到數(shù)據(jù)了。

[[219483]]

如果沒有，對不起，繼續(xù)往下調(diào)用塊設備存儲的驅(qū)動，塊設備存儲驅(qū)動會把讀取文件的指令轉(zhuǎn)換成讀取某個塊存儲設備的某個數(shù)據(jù)塊，這也是SCSI子系統(tǒng)的最高層接口，系統(tǒng)把存取指令按照SCSI協(xié)議命令打包，發(fā)給SCSI 控制器。如果linux是非虛擬機，這個時候工作就交給硬件。

但是，如果linux還是臺虛擬機（現(xiàn)在大部分情況都是這樣，假設這臺linux是運行在Vmware 的 EXSi host 上），讀取指令則會傳遞給一個虛擬的SCSI 控制器，這個虛擬SCSI控制器再傳遞給VMkernel, 對VMkernel而言，虛擬機的一個磁盤其實只是一個文件（datastore), 所以VMkernel還要二次轉(zhuǎn)換，轉(zhuǎn)成物理設備真正的位置，再把這些指令通過調(diào)用HBA驅(qū)動發(fā)給HBA卡。

HBA卡（host bus adapter)是光傳輸設備，它與光交換機，SAN存儲一起構(gòu)成光纖傳輸網(wǎng)絡，把讀取指令傳輸?shù)较鄳拇鎯υO備上。

好，總算到目的地了。且慢，這還是萬里長征第一步，現(xiàn)在的SAN存儲可不僅僅是幾塊磁盤，就拿IBM8870來說，它其實是由兩臺高端P系列服務器組成的集群。當我們的讀取指令到達SAN 存儲，SAN存儲會重新解析這些指令，如果該數(shù)據(jù)塊已經(jīng)放在存儲服務器龐大的內(nèi)存(Cache)中，則這些數(shù)據(jù)就會經(jīng)光傳輸網(wǎng)絡返回。否則，就要遍歷在linux端同樣的過程，一級一級調(diào)用底層接口，最后通過SCSI驅(qū)動，發(fā)出指令來操作實際的物理硬盤。

在這個過程中，存儲服務器已經(jīng)將數(shù)據(jù)的具體物理位置做了兩層封裝。首先是做RAID，比如IBM8870 中8個盤為一組，用RAID5，6，或10，實現(xiàn)數(shù)據(jù)冗余和高性能。所以看似連續(xù)的數(shù)據(jù)塊實際可能分布在一組磁盤上。第二層是extend pool, IBM8870可以將SSD盤，SAS盤，SATA 盤都放到同一個extend pool, 再分到同一個邏輯盤里。也就是說我們操作的邏輯盤其實際數(shù)據(jù)可能放在完全不同類型的盤中，而且，由于IBM78870提供了自動Easy tier 功能，系統(tǒng)可以根據(jù)數(shù)據(jù)的使用頻率調(diào)整使用不同的盤。如果某數(shù)據(jù)塊頻繁地被訪問，則該數(shù)據(jù)塊就會從 SAS盤轉(zhuǎn)到SSD盤 。所有這一切都是自動在后臺進行，對用戶完全不可見。

現(xiàn)在還有一項流行的技術(shù)，就是在服務器和物理存儲系統(tǒng)間再嵌入一層虛擬層，由它來管理控制所有存儲并對服務器提供存儲服務。比如IBM SVC （storage volume controller). linux 發(fā)出的數(shù)據(jù)讀取指令會先到SVC, SVC 實質(zhì)也是一臺服務器，同時對各物理存儲系統(tǒng)的盤有做了一層封裝。所有連SVC 的存儲系統(tǒng)將自己的磁盤呈現(xiàn)給 SVC組成 MDG （managed disk group)，SVC 再將這些盤映射為自己的 VDISK. 當用戶需要讀取某VDISK 中的數(shù)據(jù)時，SVC再翻譯成對應的實際物理存儲系統(tǒng)的的位置，然后通知該物理存儲系統(tǒng)讀取相應的數(shù)據(jù)。

我們可以看到，現(xiàn)代基于 SAN 的存儲系統(tǒng)其實已經(jīng)對物理磁盤做了多層封裝和虛擬化。在用戶這一層幾經(jīng)無法實際定位某一段數(shù)據(jù)真正放在物理磁盤上的哪個位置。