大數(shù)據(jù)及其應(yīng)用迅速發(fā)展，已經(jīng)滲透到各個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，2015年8月國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，將大數(shù)據(jù)提升為國家戰(zhàn)略。

項目背景

大數(shù)據(jù)及其應(yīng)用迅速發(fā)展，已經(jīng)滲透到各個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，2015年8月國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，將大數(shù)據(jù)提升為國家戰(zhàn)略。在未來的5-10年，我國將把大數(shù)據(jù)作為提升政府治理能力的重要手段，大力推進(jìn)大數(shù)據(jù)在政府管理中創(chuàng)新應(yīng)用。為此，《交通運輸信息化”十三五”發(fā)展規(guī)劃》中提出要”運用大數(shù)據(jù)分析技術(shù)，開展交通運輸經(jīng)濟(jì)運行分析、政策實施效果評價、交通發(fā)展趨勢研判等分析工作，提高交通運輸宏觀掌控能力”。《交通運輸統(tǒng)計發(fā)展綱要》也提出要”充分利用大數(shù)據(jù)、云計算等現(xiàn)代信息技術(shù)，變革統(tǒng)計生產(chǎn)方式，再造統(tǒng)計業(yè)務(wù)流程，豐富統(tǒng)計服務(wù)產(chǎn)品，不斷提升統(tǒng)計生產(chǎn)能力、管理能力和服務(wù)能力，開創(chuàng)交通運輸統(tǒng)計發(fā)展新局面”。

“十二五”以來，信息化逐漸融入行業(yè)管理的方方面面，作為大數(shù)據(jù)應(yīng)用的基礎(chǔ)，交通運輸行業(yè)數(shù)據(jù)資源日益豐富。隨著以高速公路聯(lián)網(wǎng)收費、運輸車輛聯(lián)網(wǎng)聯(lián)控、智能公交、物流信息平臺等為代表的行業(yè)信息化重大工程的穩(wěn)步實施，交通運輸行業(yè)管理部門所掌握的交通大數(shù)據(jù)規(guī)模爆發(fā)性增長，這為推進(jìn)交通運輸行業(yè)大數(shù)據(jù)的應(yīng)用，以大數(shù)據(jù)支撐行業(yè)管理決策，提高交通行業(yè)管理自動化、智能化水平提供了基礎(chǔ)性條件。

2012年以來，受交通運輸部委托，交通運輸部科學(xué)研究院以行業(yè)中信息化基礎(chǔ)最好的高速公路聯(lián)網(wǎng)收費業(yè)務(wù)為示范，通過建立全國統(tǒng)一的數(shù)據(jù)采集規(guī)范和數(shù)據(jù)治理標(biāo)準(zhǔn)，開發(fā)基于大數(shù)據(jù)技術(shù)的全國高速公路通行數(shù)據(jù)動態(tài)監(jiān)測平臺，實現(xiàn)了全國29個省高速公路通行數(shù)據(jù)(源于高速公路聯(lián)網(wǎng)收費系統(tǒng))的動態(tài)采集，并利用該數(shù)據(jù)開展行業(yè)大數(shù)據(jù)應(yīng)用，顯著提升了交通運輸行業(yè)應(yīng)用大數(shù)據(jù)的能力，為行業(yè)管理決策提供了有力的支撐，成為行業(yè)大數(shù)據(jù)應(yīng)用創(chuàng)新的典范。

項目概況

主要建設(shè)內(nèi)容

“基于大數(shù)據(jù)技術(shù)的全國高速公路通行數(shù)據(jù)動態(tài)監(jiān)測平臺建設(shè)”屬于交通運輸行業(yè)”十二五”信息化重大工程的重要內(nèi)容，其主要任務(wù)是要從全國29個實現(xiàn)了省級高速公路聯(lián)網(wǎng)收費省份，動態(tài)采集其高速公路聯(lián)網(wǎng)收費數(shù)據(jù)，并以大數(shù)據(jù)平臺為支撐，在交通運輸部實現(xiàn)對全國數(shù)據(jù)的集中存儲與管理，結(jié)合行業(yè)管理的需要建立業(yè)務(wù)模型，對全國高速公路聯(lián)網(wǎng)收費數(shù)據(jù)進(jìn)行分析與挖掘，提升行業(yè)管理部門的動態(tài)監(jiān)測能力和科學(xué)決策水平。

主要問題和挑戰(zhàn)

各省高速公路聯(lián)網(wǎng)收費系統(tǒng)獨立建設(shè)，系統(tǒng)架構(gòu)和數(shù)據(jù)指標(biāo)差異大

交通行業(yè)信息化由交通運輸部進(jìn)行行業(yè)指導(dǎo)，各省結(jié)合業(yè)務(wù)管理需要自行進(jìn)行建設(shè)。在高速公路管理信息化領(lǐng)域，各省建設(shè)進(jìn)程差異巨大，東部發(fā)達(dá)省份高速公路建設(shè)起步早，信息化程度相對較高，許多省份在“十一五”期間已經(jīng)實現(xiàn)了省級高速公路聯(lián)網(wǎng)收費，而西部許多省份例如新疆、青海等省則在近幾年才開始建設(shè)省級高速公路聯(lián)網(wǎng)收費系統(tǒng)。由于管理體制的差異，各省在建設(shè)過程中所采用的技術(shù)架構(gòu)不一、數(shù)據(jù)管理模式千差萬別。大部分省高速公路聯(lián)網(wǎng)收費系統(tǒng)采用ORACLE進(jìn)行數(shù)據(jù)存儲與管理，而一些發(fā)達(dá)省份，由于數(shù)據(jù)量龐大，已經(jīng)逐步采用大數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)管理工具。這些差異對從各省的系統(tǒng)中按照統(tǒng)一的技術(shù)標(biāo)準(zhǔn)采集數(shù)據(jù)帶來巨大的困難。

各省高速公路聯(lián)網(wǎng)收費數(shù)據(jù)指標(biāo)體系不一，數(shù)據(jù)質(zhì)量參差不齊

在數(shù)據(jù)指標(biāo)方面，由于不同省份的高速公路聯(lián)網(wǎng)收費系統(tǒng)都是獨立建設(shè)，各省結(jié)合所采集的指標(biāo)也存在較大差異，所采集的數(shù)據(jù)指標(biāo)和內(nèi)容也不盡一致，例如，涉及高速公路收費數(shù)據(jù)的核心數(shù)據(jù)表，有些省份采集了80多項指標(biāo)，至有一些省份則拆分成100多項指標(biāo)。在數(shù)據(jù)質(zhì)量方面，不同省份也存在較大差異，例如，數(shù)據(jù)質(zhì)量較好的省份，所采集的車牌號信息完整、規(guī)范，而一些省份所采集的車牌號，僅僅只錄入了車牌號的后3位數(shù)字。由于高速公路數(shù)據(jù)指標(biāo)體系不統(tǒng)一，數(shù)據(jù)質(zhì)量層次不齊，導(dǎo)致數(shù)據(jù)分析工作難以開展。

交通運輸行業(yè)缺乏對大數(shù)據(jù)的處理和分析能力

在交通運輸行業(yè)，”十三五”之前大量的應(yīng)用系統(tǒng)建設(shè)采用傳統(tǒng)的技術(shù)架構(gòu)傳輸、存儲，大數(shù)據(jù)技術(shù)應(yīng)用在行業(yè)管理中的應(yīng)用處于起步研究階段。而全國高速公路聯(lián)網(wǎng)收費數(shù)據(jù)規(guī)模龐大，目前每個月數(shù)據(jù)量接近10億條，在全國平臺上實現(xiàn)29個省市的高速公路數(shù)據(jù)的采集，傳輸，匯聚，對平臺的數(shù)據(jù)承載能力以及穩(wěn)定性提出了挑戰(zhàn)。此外，日益提升的高速公路數(shù)據(jù)分析需求，對平臺數(shù)據(jù)建模以及計算效率也提出新的要求。

技術(shù)方案

針對上述的需求以及技術(shù)挑戰(zhàn)，自2012年開始，交通運輸部科學(xué)研究院結(jié)合各省高速公路聯(lián)網(wǎng)收費系統(tǒng)建設(shè)的進(jìn)度以及行業(yè)管理決策能力提升的需求對平臺進(jìn)行建設(shè)。主要從以下幾個方面著手： 1、構(gòu)建高速公路大數(shù)據(jù)指標(biāo)體系，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。2、構(gòu)建跨省的數(shù)據(jù)采集系統(tǒng)，實現(xiàn)部省之間、不同技術(shù)架構(gòu)系統(tǒng)之間的數(shù)據(jù)的統(tǒng)一采集、質(zhì)量控制與數(shù)據(jù)匯聚。3、利用大數(shù)據(jù)技術(shù)，建立全國高速公路通行數(shù)據(jù)的管理平臺，實現(xiàn)對全國數(shù)據(jù)的集中存儲、管理以及大數(shù)據(jù)分析挖掘。

統(tǒng)一的數(shù)據(jù)指標(biāo)體系

根據(jù)交通運輸部開展交通運輸行業(yè)動態(tài)監(jiān)測，進(jìn)行全國公路運輸量測算、分析路網(wǎng)運行特點的需要，經(jīng)過分析各省所采集的高速公路收費明細(xì)數(shù)據(jù)，我院制定了統(tǒng)一的部級數(shù)據(jù)采集指標(biāo)體系，其主要內(nèi)容包括高速公路公路收費明細(xì)數(shù)據(jù)、高速公路收費站信息、車輛信息以及高速公路電子地圖等，核心內(nèi)容如下：

①明細(xì)數(shù)據(jù)。

包括入口網(wǎng)絡(luò)編號、入口站編號、入口時間、出口網(wǎng)絡(luò)編號、出口站編號、出口時間、出口車道編號、車牌號、車型代碼、車種代碼、里程、總軸數(shù)、軸型及軸重、車貨總重、限重、超限率、是否綠色通道車輛代碼、免費類型代碼、路徑標(biāo)識、是否ETC車輛代碼、ETC車輛電子標(biāo)簽OBU編號、支付方式代碼等22項信息。

②數(shù)據(jù)字典。包括以下5項：

一是高速公路收費站字典。包括網(wǎng)絡(luò)編號、收費站編號、收費站名稱、所在線路編號、所在線路名稱、是否省界站、開通時間、所屬地市名稱、是否開放式收費站、收費站狀態(tài)、收費站經(jīng)度、收費站緯度、備注等信息。二是高速公路收費車型字典。包括收費車型代碼、車種代碼、收費車型定義等信息。三是高速公路貨車軸型字典。包括單軸組軸型代碼、軸型定義等。四是高速公路免費類型代碼字典。包括免費類型代碼、免費類型定義等。五是高速公路標(biāo)識站字典。包括標(biāo)識站編號、標(biāo)識站名稱、所處路段名稱。

此外，高速公路電子地圖則以GIS地圖的形式采集。

基本業(yè)務(wù)流程

總體業(yè)務(wù)主要包括數(shù)據(jù)報送以及數(shù)據(jù)分析兩部分，數(shù)據(jù)報送業(yè)務(wù)主要實現(xiàn)各省原始數(shù)據(jù)的采集，審核，清洗，存儲。數(shù)據(jù)分析業(yè)務(wù)則實現(xiàn)了對于數(shù)據(jù)的分析，查詢以及可視化的展示。

總體業(yè)務(wù)流程如圖所示

??

系統(tǒng)總體架構(gòu)

整體架構(gòu)分為6層，數(shù)據(jù)源層，數(shù)據(jù)采集層，數(shù)據(jù)存儲層，數(shù)據(jù)處理層，數(shù)據(jù)分析層，數(shù)據(jù)應(yīng)用層。

數(shù)據(jù)源層是指各省高速公路聯(lián)網(wǎng)收費系統(tǒng)，在數(shù)據(jù)采集層，利用ETL工具和數(shù)據(jù)傳輸中間件從各省的前置機(jī)采集數(shù)據(jù)。系統(tǒng)實施時在每個省都部署了數(shù)據(jù)采集的前置機(jī)，在前置機(jī)上，通過ETL來對數(shù)據(jù)進(jìn)行采集、清洗和標(biāo)準(zhǔn)化，數(shù)據(jù)傳回部里后，利用關(guān)系數(shù)據(jù)庫開展常規(guī)的統(tǒng)計工作，利用分布式的大數(shù)據(jù)平臺，來進(jìn)行數(shù)據(jù)的分析挖掘以及與其他數(shù)據(jù)之間的關(guān)聯(lián)分析。在數(shù)據(jù)存儲層，采用基于大數(shù)據(jù)的混合式數(shù)據(jù)存儲架構(gòu)，利用基于hadoop的分布式文件系統(tǒng)來管理高速公路明細(xì)數(shù)據(jù)，利用關(guān)系型數(shù)據(jù)庫存儲來存儲ods層、dw層和dm層的數(shù)據(jù)，形成完善的數(shù)據(jù)倉庫架構(gòu)，在數(shù)據(jù)處理層，支持批處理、流式處理和混合處理三種方式的數(shù)據(jù)處理，在數(shù)據(jù)分析層：利用impala、spark等技術(shù)支持即席查詢、信息檢索，深度挖掘，在數(shù)據(jù)應(yīng)用層，以地圖、報表的形式展現(xiàn)分析成果。

系統(tǒng)總體框架如圖所示：

??

下圖所示為系統(tǒng)數(shù)據(jù)采集的流程示意圖：

??

系統(tǒng)主要功能

平臺主要功能包括數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)統(tǒng)計與查詢、專題分析、系統(tǒng)管理、動態(tài)配置4個部分，系統(tǒng)的總體功能框架如下圖所示：

數(shù)據(jù)質(zhì)量監(jiān)控

通過內(nèi)置數(shù)據(jù)審核規(guī)則，對各省上報的高速公路通行數(shù)據(jù)進(jìn)行質(zhì)量審核，保證數(shù)據(jù)的有效性和完整性，對異常數(shù)據(jù)進(jìn)行系統(tǒng)報警，提示數(shù)據(jù)管理人員進(jìn)行相應(yīng)處理。數(shù)據(jù)質(zhì)量審核包括數(shù)據(jù)傳輸監(jiān)控、數(shù)據(jù)異常情況預(yù)警、數(shù)據(jù)文件入庫情況監(jiān)控、數(shù)據(jù)動態(tài)監(jiān)測等。

數(shù)據(jù)傳輸監(jiān)控

數(shù)據(jù)傳輸過程監(jiān)控功能監(jiān)視ETL工具從各省前置機(jī)采集數(shù)據(jù)以及數(shù)據(jù)從各省向部傳輸?shù)倪^程中是否存在數(shù)據(jù)丟失的情況。

??

數(shù)據(jù)異常情況預(yù)警

數(shù)據(jù)異常情況預(yù)警對數(shù)據(jù)指標(biāo)按照設(shè)定的審核規(guī)則進(jìn)行審核，如有異常則預(yù)警提示。審核規(guī)則包括入口網(wǎng)絡(luò)編號+入口站編號不在枚舉字典中、貨車總軸數(shù)為空、貨車車貨總重為空等多項規(guī)則。

??

數(shù)據(jù)入庫情況監(jiān)控

根據(jù)數(shù)據(jù)記錄數(shù)、最小記錄時間、最大記錄時間等條件實時監(jiān)控當(dāng)前數(shù)據(jù)入庫進(jìn)度，確保數(shù)據(jù)完整，不存在丟失的情況。

數(shù)據(jù)動態(tài)監(jiān)測

數(shù)據(jù)量監(jiān)測功能對每月各省數(shù)據(jù)量指標(biāo)進(jìn)行監(jiān)控，從數(shù)據(jù)指標(biāo)的角度，通過與上年、上月數(shù)據(jù)的變化情況監(jiān)測各省報送的數(shù)據(jù)質(zhì)量是否存在問題，主要包括數(shù)據(jù)量監(jiān)測、車流量預(yù)警、行駛量預(yù)警等。

??

數(shù)據(jù)統(tǒng)計與查詢

根據(jù)交通運輸部開展運輸量統(tǒng)計以及行業(yè)經(jīng)濟(jì)運行分析的需要，在系統(tǒng)中自動生成客車(分車型)的車流量、行駛量，省內(nèi)的流量流量等;貨車(分軸數(shù))的車流量、行駛量、貨物發(fā)送量、貨物周轉(zhuǎn)量、省內(nèi)的流量流量等;貨車的車貨總重、超限率情況;免費車情況、ETC車流量占比情況等40余張監(jiān)測報表，用于經(jīng)濟(jì)運行分析、向國務(wù)院報送的交通運輸簡明月報等相關(guān)分析材料中。

數(shù)據(jù)分析與挖掘

OD分析

該功能對省內(nèi)城市與城市之間客流、貨流的趨勢和遷移規(guī)律，在地圖中用可視化的方式反映某一個城市到其他城市的車輛遷徙特點，或者一個省全部城市之間的車輛遷移特點。

??

車籍地分析

根據(jù)高速公路通行數(shù)據(jù)中的車牌號信息，在地圖中按照”外地車來本省”和”本省車去外地”兩個維度，反映省與省之間高速公路車輛行駛的特點和聯(lián)系情況。

??

熱點收費站分析

該功能主要對全國各省收費站通行量進(jìn)行統(tǒng)計分析，通過預(yù)設(shè)不同的篩選條件，如省份，開始時間、結(jié)束時間、車輛類型等條件，對通行量排名前10的收費站進(jìn)行圖、表多維展示，對某一個收費站，還支持直接查看其24小時的車流量情況。

??

??

收費站流量分析

該功能主要對全國各省高速公路收費站流量數(shù)據(jù)進(jìn)行統(tǒng)計分析，通過預(yù)設(shè)不同的篩選條件，如省份，開始時間、結(jié)束時間、車輛類型等條件，對通行量進(jìn)行圖、表多維展示。

??

??

通行量時空分析

該功能主要用于分析高速公路上行駛車輛的時間和空間分布的特征，反映車輛在高速公路上行駛的時間和距離特點。

??

高速公路車流量分析

該功能主要從高速公路車流量角度出發(fā)，對不同省份(區(qū)域或全國)、不同時間段、不同車型的通行量情況進(jìn)行統(tǒng)計，利用地圖和曲線進(jìn)行多維展示。

??

高速公路行駛量分析

該功能主要從車輛的行駛量角度出發(fā)，對不同省份(區(qū)域或全國)、不同時間段、不同車型的行駛量情況進(jìn)行統(tǒng)計，利用地圖和曲線進(jìn)行多維展示。

??

高速公路周轉(zhuǎn)量分析

該功能主要從車輛的周轉(zhuǎn)量(收費里程*車貨總重)角度出發(fā)，對不同省份(區(qū)域或全國)、不同時間段、不同車型的周轉(zhuǎn)量情況進(jìn)行統(tǒng)計，利用地圖和曲線進(jìn)行多維展示。

??

應(yīng)用效果

本案例的應(yīng)用已經(jīng)采集了全國29個省的數(shù)據(jù)，已實現(xiàn)聯(lián)網(wǎng)收費的高速公路基本都已經(jīng)納入數(shù)據(jù)監(jiān)測范圍，共涉及高速13萬公里，收費站接近9000個，截至到2017年8月，總數(shù)據(jù)量已經(jīng)接近10TB，記錄數(shù)超過350億條，并且，每個月還在以9億條的數(shù)據(jù)量在高速增長。利用所采集的全國高速公路通行數(shù)據(jù)，我院深入開展大數(shù)據(jù)分析與建模，在交通運輸統(tǒng)計、路網(wǎng)運行監(jiān)測等方面取得了顯著的效果。

有效提升了交通運輸統(tǒng)計的能力和水平

一、自2016年開始，利用該平臺按月監(jiān)測不同口徑下的高速公路客貨車流量、7座以下小客車流量、貨運量、周轉(zhuǎn)量等主要指標(biāo)的變化情況，并已在在交通運輸經(jīng)濟(jì)運行分析、公路水路交通運輸統(tǒng)計數(shù)據(jù)質(zhì)量核查評估、高速公路運輸量旬報等工作中得到了直接應(yīng)用，相關(guān)成果形成后直接向國務(wù)院、交通運輸部相關(guān)領(lǐng)導(dǎo)報送，為行業(yè)管理決策提供了有力支撐。

二、2017年，基于該平臺開發(fā)了《高速公路運輸統(tǒng)計監(jiān)測月報》、《高速公路運輸統(tǒng)計監(jiān)測報告》等新的行業(yè)統(tǒng)計產(chǎn)品，是交通運輸部首次以大數(shù)據(jù)技術(shù)為支撐，利用行政業(yè)務(wù)記錄直接轉(zhuǎn)換生成統(tǒng)計數(shù)據(jù)，填補(bǔ)了我國高速公路運輸量和區(qū)域運輸量統(tǒng)計的空白。

為行業(yè)管理決策以及高速公路路網(wǎng)運行監(jiān)測提供了有力支撐

利用該平臺為支撐，通過大數(shù)據(jù)建模與分析，我院實現(xiàn)了全國高速公路交通流量分配、高速公路跨省車輛追蹤、高速公路貨運通道分析、壓力路段分析等行業(yè)重點關(guān)注的業(yè)務(wù)分析，為行業(yè)管理部門動態(tài)掌握高速公路運行趨勢和特點、制定物流發(fā)展政策、監(jiān)控路網(wǎng)運行態(tài)勢提供了有力的支撐。如下圖所示，針對11條物流通道進(jìn)行流量分配，結(jié)果顯示國家推進(jìn)的11條物流通道所涵蓋的24條高速公路，車流量及貨運承載量是高速路網(wǎng)平均水平1.5-1.6倍?？v向通道運輸需求更強(qiáng)，平均貨運承載量是橫向的1.2倍，日均貨運承載量前5位中有4條縱向通道。

??

編制了系列分析報告，大大提升了開展交通行業(yè)大數(shù)據(jù)分析的水平

從2016年4月開始，對全國高速公路通行數(shù)據(jù)進(jìn)行挖掘分析，與高德合作開展數(shù)據(jù)分析，按季度發(fā)布中國主要城市交通分析報告，至今已合作發(fā)布5期分析報告，每期報告均得到央視、人民網(wǎng)、頭條新聞、環(huán)球咨詢廣播、中國新聞網(wǎng)等主流媒體報道，央視財經(jīng)頻道對分析內(nèi)容進(jìn)行2次專題報道。2017年8月，以該平臺為支撐，我院還編制發(fā)布了《2016年度中國高速公路運行大數(shù)據(jù)分析報告》，報告發(fā)布后，受到了行業(yè)內(nèi)外廣泛關(guān)注，央視新聞聯(lián)播對報告內(nèi)容進(jìn)行了專題報道。這些系列報告的編寫和發(fā)布對于交通運輸部開展綜合交通大數(shù)據(jù)的分析與實踐分析、宣傳交通運輸行業(yè)大數(shù)據(jù)分析成果發(fā)揮了重要作用。

??

??

經(jīng)驗總結(jié)

本項目對高速公路收費數(shù)據(jù)的采集與大數(shù)據(jù)分析是對交通運輸行業(yè)管理和業(yè)務(wù)以及信息化建設(shè)技術(shù)等的方面的重大創(chuàng)新

在本平臺建成之前，交通運輸部主要依托于各類靜態(tài)統(tǒng)計數(shù)據(jù)開展行業(yè)經(jīng)濟(jì)運行分析、支撐行業(yè)管理決策。本平臺的建設(shè)，從業(yè)務(wù)方面來看，創(chuàng)新性的將傳統(tǒng)的匯總數(shù)據(jù)的采集轉(zhuǎn)化為業(yè)務(wù)明細(xì)數(shù)據(jù)的采集，通過明細(xì)數(shù)據(jù)對傳統(tǒng)統(tǒng)計數(shù)據(jù)的校核，并開展進(jìn)一步的數(shù)據(jù)分析挖掘;從技術(shù)方面來看，在采集端用前置機(jī)的結(jié)構(gòu)化數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行預(yù)處理，分擔(dān)了部級數(shù)據(jù)中心的壓力，在中心端，采用了基于hadoop的混合式分布式計算架構(gòu)和存儲架構(gòu)，利用大數(shù)據(jù)技術(shù)適應(yīng)對海量數(shù)據(jù)的存儲和快速處理與計算，在數(shù)據(jù)模型設(shè)計時，借鑒了數(shù)據(jù)倉庫的設(shè)計理念，合理的建立了數(shù)據(jù)模型，在數(shù)據(jù)分析挖掘過程中，采用BI前臺展現(xiàn)，以適應(yīng)業(yè)務(wù)多變的需要。

在滿足業(yè)務(wù)需求的前提下，充分利用自上而下管理體制的優(yōu)勢，制定技術(shù)標(biāo)準(zhǔn)，降低技術(shù)方案的實施難度

案例涉及29個省交通運輸主管部門和聯(lián)網(wǎng)收費管理部門，由于各省交通運輸廳信息化水平參差不齊，因此，很難直接采用統(tǒng)一的技術(shù)方案實現(xiàn)對各省的數(shù)據(jù)采集，在技術(shù)方案設(shè)計時，利用交通運輸管理部門自上而下的管理體制，通過行政管理手段制定并下發(fā)了省級數(shù)據(jù)采集的標(biāo)準(zhǔn)規(guī)范，盡量使數(shù)據(jù)采集方案標(biāo)準(zhǔn)統(tǒng)一，大大降低了平臺的建設(shè)難度。

技術(shù)方案注重加強(qiáng)對數(shù)據(jù)的質(zhì)量監(jiān)控，提高數(shù)據(jù)質(zhì)量

平臺建設(shè)過程中面臨著29個省的聯(lián)網(wǎng)收費系統(tǒng)，其中所生產(chǎn)的數(shù)據(jù)，結(jié)構(gòu)不一、質(zhì)量差異也很大，同時，數(shù)據(jù)需要經(jīng)過收費站——區(qū)域收費分中心——省級聯(lián)網(wǎng)收費中心——省廳信息中心——交通運輸部這樣一系列的傳輸流程，才能傳回部級系統(tǒng)，在數(shù)據(jù)采集和傳輸過程中，由于網(wǎng)絡(luò)的因素存在數(shù)據(jù)漏傳、重傳等現(xiàn)象，因此，項目技術(shù)方案在設(shè)計時注重加強(qiáng)對數(shù)據(jù)質(zhì)量的監(jiān)控，對所有采集字段都設(shè)置了質(zhì)量標(biāo)準(zhǔn)，從不同階段數(shù)據(jù)量的監(jiān)控、字段邏輯合理性的監(jiān)控、數(shù)據(jù)傳輸過程的監(jiān)控等多個方面控制數(shù)據(jù)質(zhì)量。

效益評估

本案例研究提出的基于大數(shù)據(jù)技術(shù)的交通運輸監(jiān)測數(shù)據(jù)采集和處理方案，為交通運輸監(jiān)測大數(shù)據(jù)的采集與處理提供了新的技術(shù)途徑。研究成果推動大數(shù)據(jù)技術(shù)在行業(yè)管理中的應(yīng)用，大大提升交通運輸行業(yè)對大數(shù)據(jù)的綜合處理能力，解決現(xiàn)行制約行業(yè)數(shù)據(jù)發(fā)揮綜合效益的技術(shù)瓶頸，為充分挖掘和發(fā)揮行業(yè)數(shù)據(jù)效益提供可靠的技術(shù)手段，推動行業(yè)信息化發(fā)展水平不斷提升，進(jìn)一步提升行業(yè)管理效率。同時，基于大數(shù)據(jù)技術(shù)的交通運輸監(jiān)測數(shù)據(jù)采集和處理方案，其技術(shù)基礎(chǔ)是目前各類開源大數(shù)據(jù)技術(shù)，利用該方案建設(shè)行業(yè)大數(shù)據(jù)采集和處理的信息系統(tǒng)，將不需要再采購價格昂貴的Oracle、DB2等數(shù)據(jù)庫軟件，可以大大節(jié)省系統(tǒng)的建設(shè)經(jīng)費，具有較強(qiáng)的經(jīng)濟(jì)效益。