存儲虛擬化助新疆油田整合異構環(huán)境
為了消除數(shù)據(jù)孤島，新疆油田通過存儲虛擬化技術整合了異構存儲平臺，實現(xiàn)了數(shù)據(jù)資源的集中管理。
新疆油田公司是新疆油田中國西部最大的石油生產企業(yè)，隸屬于中國石油天然氣集團公司，主要從事準噶爾盆地及其外圍盆地油氣資源的勘探開發(fā)、集輸、銷售等業(yè)務。
新疆油田是新中國成立后開發(fā)建設的第一個大油田，原油產量居中國陸上油田第四位、連續(xù)25年保持穩(wěn)定增長，累計產油2億多噸。2002年原油年產突破1000萬噸，成為中國西部第一個千萬噸大油田。
當前，新疆油田的發(fā)展目標是數(shù)字油田、綠色油田、人文油田，其中數(shù)字油田就是實現(xiàn)管理現(xiàn)代化、達到管理系統(tǒng)化、生產自動化、信息網(wǎng)絡化、分析智能化。公司領導歷來十分重視信息化建設，加大了在信息方面的投入，經(jīng)過15年信息化持續(xù)建設，于2008年12月31日實現(xiàn)了數(shù)字新疆油田。
兩個數(shù)據(jù)孤島
自2002年以來，新疆油田的信息化建設取得了長足進展，確立了“急用先建、邊建邊用、建用結合、以用促進”的工作思路，建立了由決策層、管理層、執(zhí)行層和支撐層構成信息化管理體系，成功研發(fā)了油田數(shù)據(jù)管理平臺、油田空間數(shù)字平臺、業(yè)務流程管理平臺等數(shù)字油田信息平臺。
2004年，在《油田公司數(shù)據(jù)中心軟件建設規(guī)劃》指導下，油田公司數(shù)據(jù)中心軟硬件建設取得了長足進展，先后購置了1臺容量為6TB的HDS9585數(shù)據(jù)存儲和3臺Sun E4900數(shù)據(jù)庫服務器，實現(xiàn)了中心數(shù)據(jù)庫集群，數(shù)據(jù)處理能力達64個CPU和128GbMEM，公司勘探、開發(fā)、經(jīng)營、管理數(shù)據(jù)已實現(xiàn)集中管理。
數(shù)據(jù)中心的硬件架構為SAN架構，且以數(shù)據(jù)存儲為中心，所有系統(tǒng)都從HDS9585存取數(shù)據(jù)，服務器自身沒有數(shù)據(jù)存儲硬盤。目前，有10臺服務器數(shù)據(jù)存儲在HSD9595上，共有近70套應用系統(tǒng)從這些服務器上提取數(shù)據(jù)。HDS裸存容量為6TB，系統(tǒng)做了RAID和熱備后可用容量為4.5TB，存儲空間已經(jīng)分配完畢，沒有剩下多余的空間。
另外，由股份公司組織實施的地球科學與鉆井系統(tǒng)(A1系統(tǒng))和上游生產信息系統(tǒng)(A2系統(tǒng))，由6臺套設備組成，總價值超過3000萬元。A1A2系統(tǒng)架構也是SAN架構，以EMC CX700數(shù)據(jù)存儲為中心，所有系統(tǒng)皆從EMC CX700存取數(shù)據(jù)，服務器自身沒有數(shù)據(jù)存儲硬盤，目前有15臺設備連接到該存儲系統(tǒng)上，A1A2系統(tǒng)也從該存儲上存儲數(shù)據(jù)。EMC CX700裸存容量為24TB，系統(tǒng)做了RAID和熱備后可用容量為16TB，存儲空間也已分配完畢，已經(jīng)沒有剩余空間。
整體而言，目前油田公司數(shù)據(jù)中心存儲設備共4套，除了容量為6TB的HDS9585和容量為24TB的EMC CX700外，還有一套IBM3584自動帶庫和一套IBM3494自動帶庫。由于HDS9585和EMC CX700分屬不同的存儲廠商，因而形成了兩個數(shù)據(jù)孤島，資源不能互通和有效利用，同時為系統(tǒng)的維護管理、性能優(yōu)化、故障排查、數(shù)據(jù)遷移、容災備份等都帶來了不便和困難。
集中管理“六大原則”
最近，新疆油田公司收集整理了過去五十年以來的油田生產數(shù)據(jù)，目前公司擁有78TB海量數(shù)據(jù)，各類應用系統(tǒng)120套及強大的數(shù)據(jù)庫服務器公司和應用服務器。為了實現(xiàn)油田數(shù)據(jù)的共享，充分發(fā)揮數(shù)據(jù)在油田各行業(yè)的作用，各二級單位數(shù)據(jù)和應用需要逐漸實現(xiàn)集中管理，需要對現(xiàn)有資源進行整合。
但是，目前的數(shù)據(jù)資源呈現(xiàn)兩個孤立分散的島嶼，如何通過技術途徑把兩者整合到一起，形成一個統(tǒng)一的數(shù)據(jù)資源池，成為新疆油田現(xiàn)實而迫切的考量。
由于HDS9585和EMC CX700存儲設備相互獨立，并且各個系統(tǒng)發(fā)展不均衡性，導致某些系統(tǒng)建設之初規(guī)劃了很大的容量和很高的性能，但是實際運行過程中卻沒有那么大的需要。如中心集群數(shù)據(jù)庫建設之初規(guī)劃了2TB，但目前只使用了822Gb，未來3年可能使用2TB，A1A2系統(tǒng)中LMK項目環(huán)境服務器規(guī)劃了6TB,未來3年實際可能使用1.5Tb;而另一些應用建設之初卻是陷入了容量和性能不足的困境，其他系統(tǒng)有富裕的資源卻不能拿來使用，導致HDS9585存儲必須升級擴容而EMC CX700存儲資源卻被閑置的局面，各存儲資源不能做到統(tǒng)一規(guī)劃，協(xié)調利用。
因此，油田公司需要建設一套集中統(tǒng)一的高性能高可靠性的存儲平臺。新平臺必須能夠對原有的異構存儲環(huán)境進行整合，能夠將原有的存儲設備作為新存儲平臺的外部存儲設備，使新的存儲設備和原有的存儲設備形成一個統(tǒng)一完整的存儲池，由新的存儲設備進行統(tǒng)一管理，最大限度發(fā)揮原有存儲資源的再利用能力。新的平臺能夠提高原有存儲環(huán)境的整體運行性能，整個存儲環(huán)境對各個業(yè)務透明，存儲平臺可以根據(jù)各個業(yè)務的特性和需要，靈活的分配存儲容量、處理能力等各種資源，確保關鍵業(yè)務的穩(wěn)定可靠運行。同時借助新的存儲平臺，存儲設備能方便擴容，各個存儲設備能夠方便進行無縫的數(shù)據(jù)遷移，并且實現(xiàn)集中的存儲備份和未來的容災需要。
應該說，存儲整合為油田公司數(shù)據(jù)的大規(guī)模集中奠定了基礎，所以對整合后存儲的性能、安全性、容量動態(tài)分配等指標提出了很高要求，因此在整合過程中，需要著重考慮以下六大原則。
平臺整合：整合不但要滿足數(shù)據(jù)中心目前和未來開展油田公司數(shù)據(jù)中心集中存儲需要，還要對已有系統(tǒng)的存儲環(huán)境進行最大限度的整合，實現(xiàn)服務器的集中訪問、數(shù)據(jù)資源的集中存儲和處理、存儲設備的集中管理和維護。
高性能：新的存儲平臺整合了所有的應用之后，必須具備強大的處理能力，能夠消除原有存儲設備的性能瓶頸。
可擴充性：在系統(tǒng)設計時應充分考慮可擴充性，從而確保新功能、新業(yè)務的增加在原有的系統(tǒng)平臺上擴展和實現(xiàn)。
高可靠性：存儲平臺具有高可靠性，支持服務器平臺的高可用性集群技術;具備先進的容災的設計;充分保證系統(tǒng)的高擴展能力和高容錯能力，具有通道負載自動均衡能力和存儲系統(tǒng)性能調節(jié)能力，提供極為充分的可靠性各項指標設計。
高可用性：在盡量不停存儲和其它應用系統(tǒng)情況下，實現(xiàn)擴容、維護、升級等服務，提高性能以滿足新的業(yè)務需求，具備7×24連續(xù)工作的能力，系統(tǒng)的可用性應能達到100%，可以實現(xiàn)磁盤數(shù)據(jù)的在線不停機備份。
可管理性：要求配置實時性能監(jiān)測管理軟件?？蓪PU使用率、內存使用率、交換區(qū)使用情況、I/O操作、隊列狀態(tài)、磁盤空間、卷磁盤錯誤、系統(tǒng)事件、系統(tǒng)中各進程對系統(tǒng)資源占用等性能和操作數(shù)據(jù)等服務器性能進行實時監(jiān)控、管理和調配。
技術先進性：系統(tǒng)設計采用當前先進而成熟的技術，不僅可以滿足現(xiàn)實工作的需求，也應把握未來存儲整合的發(fā)展方向。
“虛擬化”整合
基于以上要求，新疆油田采用了HDS的TagmaStore NSC55 網(wǎng)絡存儲控制器或Universal Storage Platform V(USP V)作為數(shù)據(jù)中心存儲整合的核心設備，同時，配合 HDS的存儲管理軟件、數(shù)據(jù)快照鏡像軟件形成一套完整的存儲整合解決方案。由于該存儲系統(tǒng)具備嵌入式虛擬化功能，因此可以不依賴于外部交換機、設備或基于主機的軟件，支持異構存儲。
項目采用了存儲區(qū)域網(wǎng)——SAN 架構進行整個存儲系統(tǒng)的建設，整個存儲網(wǎng)絡將分為服務器層、網(wǎng)絡交換層和集中存儲平臺三個層次。
服務器層：需要對現(xiàn)在油田公司數(shù)據(jù)中心各個業(yè)務系統(tǒng)的服務器進行改造，增加光纖通道主機卡——HBA，使這些主機具有訪問存儲網(wǎng)絡的能力;為保證鏈路的冗余消除單點故障，每臺主機最少配置2塊HBA卡;對于那些業(yè)務特別繁忙的主機系統(tǒng)可以配置更多的HBA卡和多路經(jīng)管理軟件以實現(xiàn)O/I負載的均衡分配。
網(wǎng)絡交換層：采用Brocade企業(yè)級大吞吐量的SAN交換機，保證服務器和外部存儲設備到網(wǎng)絡存儲控制器的高速連接，本期配置32個4GB光纖端口。
集中存儲平臺：這是本次存儲整合系統(tǒng)建設最核心的部分。在采用HDS TagmaStore USP V網(wǎng)絡存儲控制器的同時，為其配置1塊前后端混合處理板，提供16個4GB的前端主機接口和8個后端磁盤接口，為其配置5GB控制緩存和16GB數(shù)據(jù)緩存，在其內部配置20塊300GB FC磁盤共計6TB裸容量，作為整個集中存儲環(huán)境的基礎。
對于油田公司數(shù)據(jù)中心正在使用的HDS 9585和EMC CX700等設備，則通過SAN交換機直接連接到USP V的后端，作為它的外部存儲設備，通過HDS UVM通用卷管理軟件，可以把外部存儲設備的邏輯卷直接映射到USP V上去，由USP V統(tǒng)一管理和使用，而對前端服務器來說所有的工作都是透明的。
通過USP V的存儲整合，整個存儲平臺提供給服務器訪問的是由USP V統(tǒng)一管理的存儲空間，存儲容量包括6Tb 的USP V內部容量和30TB外部容量(分布在HDS 9585的6TB、EMC CX700的24TB)，最大限度的保護了油田公司的投資。而且，未來可以根據(jù)各個業(yè)務的繁忙程度、數(shù)據(jù)量增長情況、性能需求等靈活地進行存儲資源的再分配，實現(xiàn)數(shù)據(jù)分級存儲和應用優(yōu)化存儲。
由于采用USP V進行了存儲環(huán)境的整合，就可以通過USP V對原來異構的存儲設備進行集中的數(shù)據(jù)備份和容災?，F(xiàn)在備份中心用IBM 3494(40TB)作為近線備份設備，用AMS 200作為遠程實時數(shù)據(jù)備份的存儲設備，將AMS 200通過油田公司已有的光纖鏈路直接連接到數(shù)據(jù)中心的SAN交換機上，并且將 AMS 200 也作為USP V的外部設備來管理和使用。
也就是說，USP V可無縫地管理高達247 PB的內外部異構存儲，包括EMC、IBM、日立數(shù)據(jù)、HP、Sun等公司提供的高端存儲系統(tǒng)和中型存儲系統(tǒng)。
【編輯推薦】
