微軟BI方案參考---來(lái)自這些年的工作經(jīng)驗(yàn)
自我介紹：
在學(xué)校的時(shí)候從asp轉(zhuǎn)到asp.net從而接觸了c#和.net，期間為學(xué)校和社會(huì)做過(guò)很多的門(mén)面網(wǎng)站和一個(gè)BS的政務(wù)系統(tǒng)。畢業(yè)后從事BI的開(kāi)發(fā)工作，主要關(guān)注SSAS往上的部分，包括復(fù)雜的動(dòng)態(tài)報(bào)表的開(kāi)發(fā)，后期發(fā)現(xiàn)Silverlight的優(yōu)勢(shì)所以研究RIA在BI中的應(yīng)用，并把地圖數(shù)據(jù)也應(yīng)用進(jìn)項(xiàng)目。第一個(gè)項(xiàng)目就取得了意想不到的效果，也成為了在BI圈里應(yīng)用RIA方案里比較早的一批吃螃蟹的人。先后經(jīng)歷過(guò)公安，保險(xiǎn)，廣告以及電信行業(yè)的BI。
題外話：為什么博客園id是aspnetx而從事的確實(shí)BI以及silverlight相關(guān)的工作，大致的原因就是如此吧。
正題：
為什么BI，海量數(shù)據(jù)的統(tǒng)計(jì)和分析通過(guò)BI的方案，相比于純TSQL的統(tǒng)計(jì)，可以提高查詢和分析的性能，另外通過(guò)多維分析的方式可以幫助客戶更好的去理解數(shù)據(jù)。
最近總被問(wèn)到相關(guān)的類(lèi)似問(wèn)題，所以平時(shí)就總結(jié)了一些，逐漸有了不成形的積累，大致記錄如下。
微軟可能受到些制約，所以很多產(chǎn)品在國(guó)內(nèi)的支持力度并不是很給力，從事相關(guān)開(kāi)發(fā)的人也相對(duì)少一些。本文主要根據(jù)我這些年的經(jīng)驗(yàn)總結(jié)，給各位做評(píng)估的項(xiàng)目一些參考。
根據(jù)情況的不同，文中提及的產(chǎn)品名稱沒(méi)有標(biāo)注版本，但通常都指其最新版本。后續(xù)版本可能會(huì)略有變化，但根據(jù)筆者的經(jīng)驗(yàn)不會(huì)出現(xiàn)在未來(lái)三年中。
微軟的BI產(chǎn)品體系：
SQL Server
BI的核心，其中從下到上包括三個(gè)部分，SSIS，SSAS，SSRS
SSIS負(fù)責(zé)ETL以及整體BI的調(diào)度。圖形話界面比較直觀。
SSAS，分析服務(wù)，包括Cube和數(shù)據(jù)挖掘。它也是跟我們通常所見(jiàn)的表和庫(kù)相同的另外一種獨(dú)立的庫(kù)。
SSRS，報(bào)表，包括訂閱和發(fā)布等功能，最新的版本集成了dundas的一些東西，比之前效果好那么一點(diǎn)。
以上三個(gè)模塊的開(kāi)發(fā)都是通過(guò)visual studio shell。
附屬產(chǎn)品體系
Office
體現(xiàn)在Excel中，Visio也有一些，但未見(jiàn)過(guò)應(yīng)用。
MOSS
Sharepoint的收費(fèi)版本，微軟的門(mén)戶解決方案。
PPS被集成到了新版中，就是以前的普科。
按照微軟的產(chǎn)品架構(gòu)的解決方案：
Windows Server
IIS
SQLServer->SSIS-SSAS-SSRA
MOSS->PPS
Office
優(yōu)點(diǎn)，全套微軟的解決方案，各部分無(wú)縫集成。前端客戶培訓(xùn)成本低，都是其比較熟悉的Office工具。
缺點(diǎn)，完全依賴于微軟的體系方案。比如要用PPS的一個(gè)功能，那么就被迫要部署MOSS以及購(gòu)買(mǎi)MOSS整個(gè)的授權(quán)，對(duì)MOSS的維護(hù)又是一定的成本。
建議，除非你已經(jīng)決定了采購(gòu)微軟的這些產(chǎn)品，否則還是建議你閱讀完本文。
比較常見(jiàn)的方案：
Windows Server
IIS
SQLServer->SSAS
ETL層自定義框架
前端利用第三方組件自行開(kāi)發(fā)
優(yōu)點(diǎn)，ETL和UI自己開(kāi)發(fā)，可以解決比較復(fù)雜的需求。相對(duì)來(lái)說(shuō)對(duì)于UI層差別很大，比如據(jù)說(shuō)微軟內(nèi)部很多部門(mén)就是自己用Excel去連數(shù)據(jù)。
缺點(diǎn)，開(kāi)發(fā)維護(hù)的成本高。
值得提一句的是，我所最近經(jīng)歷的項(xiàng)目ETL都是由團(tuán)隊(duì)自己封裝的框架，完全不用SSIS。這個(gè)方案微軟美國(guó)總部的某些專家也有提到。而我之前團(tuán)隊(duì)的兄弟們，除非數(shù)據(jù)量在1000萬(wàn)以內(nèi)，否則都是寧可自己去實(shí)現(xiàn)ETL。
關(guān)于為什么舍棄SSIS，先前團(tuán)隊(duì)的兄弟們?cè)从尺^(guò)一個(gè)細(xì)節(jié)，就是在抽取Oracle數(shù)據(jù)的時(shí)候經(jīng)常半路死掉，一直找不到問(wèn)題。后來(lái)咨詢過(guò)一些DBA，他們說(shuō)是由于Oracle的驅(qū)動(dòng)版本造成的問(wèn)題。我相信這么一個(gè)比較折騰人的細(xì)節(jié)，就足夠讓很多兄弟拋棄SSIS這個(gè)平臺(tái)了。
我推薦的方案：
Windows Server
IIS
SQLServer->SSAS
ASP.NET->WebServices
Silverlight
GIS
這個(gè)是我一直推薦的BI+RIA+GIS的方案。也就是利用商業(yè)智能，加富客戶端比較強(qiáng)的展現(xiàn)能力，并通過(guò)地圖的輔組來(lái)為客戶更好的展現(xiàn)數(shù)據(jù)。
#p#
需要的知識(shí)體系：
操作系統(tǒng)，最基本的操作和維護(hù)安裝等。
數(shù)據(jù)庫(kù)，BI最基本的技能。
IIS，BS的方案現(xiàn)在已經(jīng)成為方案的首選，另外某些情況下SSAS也要依賴一下IIS
SQL，主要在ETL層用到，而且工作量要超過(guò)整個(gè)BI的一半以上。
MDX，這個(gè)是用來(lái)查CUBE的，如果可以數(shù)據(jù)挖掘，那么還需要DMX。
Powershell，某些東西用它來(lái)做會(huì)省很多事兒。
.net，Powershell依賴這個(gè)，而且下面幾樣也依賴這個(gè)。
C#，封裝服務(wù)，和silverlight開(kāi)發(fā)用。
Silverlight，相比Flash的話，有經(jīng)驗(yàn)的.net開(kāi)發(fā)人員接觸這個(gè)更快。
項(xiàng)目里根據(jù)需要可能需要一些第三方商業(yè)組件的支持，比如silverlight的chart組件，這個(gè)購(gòu)買(mǎi)一套現(xiàn)成的絕對(duì)比投入幾個(gè)人月去開(kāi)發(fā)合算的多。
國(guó)內(nèi)BI 的現(xiàn)狀：
首先，數(shù)據(jù)質(zhì)量。這個(gè)在很多行業(yè)內(nèi)都存在，數(shù)據(jù)的質(zhì)量都比較愁人，比如外鍵的數(shù)值字段居然能出現(xiàn)全角的數(shù)字字段。IT力度實(shí)施不夠也是一個(gè)原因，就像教老婆記賬一樣，老婆不會(huì)或者不愿意去做，最后即使做了，得到的數(shù)據(jù)也是沒(méi)有意義的。
其次，需求。需求的混亂原因很多，對(duì)BI的不了解和對(duì)自己本身業(yè)務(wù)的認(rèn)知程度。所謂知己知彼百戰(zhàn)百勝，但很多行業(yè)以及項(xiàng)目實(shí)際上并不“知己”。
總之，項(xiàng)目很多，成功的少，大多都是為了報(bào)表和面子問(wèn)題而去BI。
微軟的方案適合你嗎?
相對(duì)于其它解決方案，可以說(shuō)微軟的產(chǎn)品確實(shí)存在些不足的地方，但是，隨著SQLServer的版本演進(jìn)，目前的版本來(lái)說(shuō)這個(gè)差距應(yīng)該已經(jīng)說(shuō)很小了，當(dāng)然也不存在其它產(chǎn)品解決的了，而微軟的產(chǎn)品解決不了的情況。
如果是遇到實(shí)在解決不了的問(wèn)題，那么我覺(jué)得應(yīng)該首先審視一下BI的建模，然后審視一下需求，因?yàn)榇蠖鄶?shù)你費(fèi)勁去解決的東西，實(shí)際上后來(lái)都不是用戶所關(guān)注的，后者是純粹的面子工程。
實(shí)現(xiàn)我的功能需要多長(zhǎng)時(shí)間?
這個(gè)是經(jīng)常被問(wèn)到的問(wèn)題?？紤]這個(gè)問(wèn)題主要還是要從幾個(gè)方面來(lái)分析：數(shù)據(jù)的情況，比如數(shù)據(jù)量和數(shù)據(jù)質(zhì)量等，此外還有需求的復(fù)雜程度以及業(yè)務(wù)的復(fù)雜程度，都決定時(shí)間的長(zhǎng)短。當(dāng)然這些確定了，項(xiàng)目才可以繼續(xù)做計(jì)劃。
另項(xiàng)目基本上都是以螺旋上升的形式來(lái)開(kāi)發(fā)，很少說(shuō)有第一版就成功的，這個(gè)過(guò)程是需要不斷探索和積累的。
相關(guān)人員好招聘否以及Team的構(gòu)建
很少有直接就做BI的人，但基本上都有兩種情況，一種是從DBA轉(zhuǎn)過(guò)來(lái)的，一種是從開(kāi)發(fā)轉(zhuǎn)過(guò)來(lái)的。我想我是后者。前者偏重底層，后者偏重表層。招聘的時(shí)候可以根據(jù)這個(gè)特點(diǎn)以及項(xiàng)目的情況來(lái)選擇。
關(guān)于Team的構(gòu)建，我見(jiàn)過(guò)比較多的是后邊和前邊分開(kāi)的那種。也就是說(shuō)數(shù)據(jù)庫(kù)層的BI開(kāi)發(fā)是管“后邊”的人，做.net開(kāi)發(fā)的是“前邊”的人。我不反對(duì)這種劃分，但是按照我的經(jīng)驗(yàn)來(lái)說(shuō)，一定要注意前后的銜接，雖然兩個(gè)部分是兩個(gè)隊(duì)伍，但是一定要有一個(gè)認(rèn)知就是大家是一個(gè)隊(duì)伍，共同承擔(dān)著項(xiàng)目的成敗。而這里也需要一個(gè)天平來(lái)做一些決策，有些東西通過(guò)后邊來(lái)解決，可以省很多前邊的人的事，而有些東西如果前邊稍微處理下，能給后邊的人少很多麻煩。
BI有比較合適的參考資源嗎?
我建議看SQLServer的Books on line，盡量看英文版吧，中文版有些細(xì)節(jié)翻譯的實(shí)在不敢恭維。此外，微軟的webcast也很值得在參考，雖然每節(jié)課都很長(zhǎng)而且比較枯燥和抽象，但還是建議沒(méi)事看看。
總結(jié)：
從某一個(gè)產(chǎn)品的角度來(lái)講，也許微軟在這小的方面做的不是很好，但是整體來(lái)說(shuō)跟其它方案已經(jīng)沒(méi)有什么太大的差距，對(duì)，是太大的差距，差距還是有的，但是他的某些優(yōu)點(diǎn)又足以彌補(bǔ)。此文從一個(gè)從業(yè)人員的經(jīng)驗(yàn)角度出發(fā)，盡量不帶任何感情色彩。部分可能帶有本人在某些領(lǐng)域的短見(jiàn)，或者存在著錯(cuò)誤以至于誤人子弟，還請(qǐng)各位高手們指出。BI是個(gè)有潛力的領(lǐng)域，是個(gè)有價(jià)值的領(lǐng)域，國(guó)內(nèi)也算個(gè)新生領(lǐng)域吧，圈子很小，還望有高人給予指點(diǎn)。
原文鏈接：http://www.cnblogs.com/aspnetx/archive/2011/10/10/2206713.html
【編輯推薦】
