數(shù)據(jù)驅(qū)動是企業(yè)數(shù)字化轉(zhuǎn)型的一個重要特點。隨著企業(yè)對數(shù)據(jù)分析和使用的不斷增長，數(shù)據(jù)來源多，數(shù)據(jù)工具復(fù)雜，參與數(shù)據(jù)工作的人多，數(shù)據(jù)開發(fā)的工作量越來越大，同時還要求周期短、質(zhì)量高。對此，數(shù)據(jù)團(tuán)隊持續(xù)優(yōu)化數(shù)據(jù)開發(fā)流程、應(yīng)用，借鑒了DevOps、精益管理等方法，形成了DataOps方法和實踐，旨在讓數(shù)據(jù)在企業(yè)內(nèi)快速流動，服務(wù)于數(shù)據(jù)分析甚至業(yè)務(wù)運(yùn)營。

DataOps的概念最早出現(xiàn)于2014年，由Lenny Liebmann提出，到2018年被Gartner納入到技術(shù)成熟度曲線，標(biāo)志著DataOps正式被業(yè)界接受。

如果不好理解DataOps，不妨先看看Twitter的例子。Twitter是一家數(shù)據(jù)驅(qū)動型的公司，從2011年的300人，發(fā)展到2014年的4000人，大數(shù)據(jù)平臺從80臺服務(wù)器的Hadoop集群，擴(kuò)展到8000臺服務(wù)器的核心數(shù)據(jù)處理平臺，它的底層支撐就是一個全局共享的大數(shù)據(jù)平臺。當(dāng)業(yè)務(wù)和組織快速擴(kuò)張時，能做到統(tǒng)一數(shù)據(jù)規(guī)范、消除數(shù)據(jù)和應(yīng)用孤島。

與DevOps類似，DataOps要實現(xiàn)的是數(shù)據(jù)的持續(xù)集成、持續(xù)開發(fā)和持續(xù)部署。智領(lǐng)云聯(lián)合創(chuàng)始人&CEO彭鋒表示，要構(gòu)建 DataOps 所需的通用平臺，一般需要以下技術(shù)：云原生架構(gòu)，容器，實時和流處理，多分析引擎，集成的應(yīng)用程序和數(shù)據(jù)管理，多租戶和安全性，DevOps 工具。

當(dāng)然，DataOps的使用和發(fā)展也需要有正確的工具和正確的思維加持，借助平臺及工具的力量來實現(xiàn)“數(shù)據(jù)、數(shù)據(jù)平臺、DataOps”的成功。智領(lǐng)云自主研發(fā)的即開即用，快速搭建數(shù)據(jù)工程的輕量級云原生大數(shù)據(jù)開發(fā)平臺--BDOS Online就是這樣一個平臺。

云原生解決傳統(tǒng)大數(shù)據(jù)平臺的痛點

BDOS Online是智領(lǐng)云自主研發(fā)的一款云原生Data Platform as a Service (DPaaS)產(chǎn)品，旨在為需要高效快速實現(xiàn)多源異構(gòu)數(shù)據(jù)應(yīng)用開發(fā)、發(fā)布，運(yùn)維的企業(yè)級用戶提供一個在線協(xié)同數(shù)據(jù)應(yīng)用開發(fā)及運(yùn)營平臺。

BDOS Online 的底層是純K8s云原生的，這是因為現(xiàn)有大數(shù)據(jù)平臺及數(shù)據(jù)中臺建設(shè)方式效率低，開發(fā)發(fā)布流程復(fù)雜，無法形成客戶的自主數(shù)據(jù)能力，系統(tǒng)性能低下，容易造成數(shù)據(jù)孤島，應(yīng)用孤島，云原生體系則可以解決這些痛點。

首先，純K8s的數(shù)據(jù)平臺，去除了對Hadoop的依賴，可以直接在K8s運(yùn)行現(xiàn)有工作負(fù)載，統(tǒng)一資源管理，提升資源使用率，便于多租戶計費(fèi)管理，大幅降低運(yùn)維成本。

第二，類似于K8s對于集群管理的改造，將數(shù)據(jù)流水線的運(yùn)行改造成代碼式管理，集成開發(fā)，一次編寫，隨處運(yùn)行。

第三，在云原生架構(gòu)下提供模塊化的數(shù)據(jù)工程，以產(chǎn)品形式提供面向場景的解決方案，用戶可以自助使用、分別購買，按使用量付費(fèi)。

100%云原生改造之后的優(yōu)勢

據(jù)彭鋒介紹，作為國內(nèi)第一個K8s在線?數(shù)據(jù)平臺，BDOS Online的核心優(yōu)勢有：

首先，BDOS Online是純K8s的大數(shù)據(jù)平臺，端到端的，以在線方式提供Serverless方式的大數(shù)據(jù)開發(fā)功能，用戶面對的直接是大數(shù)據(jù)應(yīng)用和開發(fā)工具，而不是底層大數(shù)據(jù)系統(tǒng)。比如，用戶要運(yùn)行一個Spark程序，他們看到的是Spark程序本身運(yùn)行的情況，花費(fèi)的資源是這個Spark程序所花費(fèi)的資源，而無需安裝一個完整的大數(shù)據(jù)平臺，更無需考慮底層組件的運(yùn)維管理。

第二，允許用戶以數(shù)據(jù)工程方式管理數(shù)據(jù)應(yīng)用開發(fā)，真正實現(xiàn)數(shù)據(jù)即產(chǎn)品（Data as a product）。無論是實時大屏，數(shù)據(jù)看板，數(shù)倉ETL，數(shù)據(jù)服務(wù)，機(jī)器學(xué)習(xí)模型，還是通用的Docker應(yīng)用，BDOS Online允許用戶在一個數(shù)據(jù)項目里集成開發(fā)和運(yùn)行這些步驟，而不是散布在各個子系統(tǒng)中，最終數(shù)據(jù)能力可以方便的共享和復(fù)用。

第三，在K8s體系下實現(xiàn)了多租戶，資源隔離，混合調(diào)度，精準(zhǔn)計費(fèi)這些在傳統(tǒng)大數(shù)據(jù)體系下很難完成，但是對企業(yè)級數(shù)據(jù)平臺至關(guān)重要的功能，其主要基礎(chǔ)就是因為BDOS Online將所有的大數(shù)據(jù)組件做了K8s改造和系統(tǒng)繼承，一個機(jī)構(gòu)的所有應(yīng)用，不管是Hive ETL程序，還是Spark 機(jī)器學(xué)習(xí)程序，都在同一個機(jī)構(gòu)的命名空間中管理，便于設(shè)置用戶資源限額以及使用情況。

不少廠商，包括云計算廠商，也在K8s和大數(shù)據(jù)方面做了很多工作，智領(lǐng)云的差異化在于BDOS Online將所有組建，都用K8s進(jìn)行了改造，而不是改造一部分。同時，BDOS Online可以在線上直接使用，因為它完成了多租戶，授權(quán)健全的打通，計費(fèi)等功能。

中小企業(yè)和大型機(jī)構(gòu)都適用的平臺

彭鋒表示，云原生大數(shù)據(jù)平臺是一個基礎(chǔ)架構(gòu)的服務(wù)，并沒有行業(yè)屬性。使用BDOS Online的客戶，在云上有兩種云原生的方式。針對中小客戶，或者大客戶中的創(chuàng)新團(tuán)隊，他們不希望自己來管理一個復(fù)雜的大數(shù)據(jù)開發(fā)平臺，但是有數(shù)據(jù)分析的需求，需要大數(shù)據(jù)業(yè)務(wù)開發(fā)的管理方式。這樣的客戶可以在公有云上直接使用BDOS Online。

針對內(nèi)部已經(jīng)有大數(shù)據(jù)平臺，或者需要搭建大數(shù)據(jù)平臺，但是需要提供更高效的數(shù)據(jù)應(yīng)用開發(fā)能力的客戶，希望能夠把整個開發(fā)統(tǒng)一管理起來，然后與現(xiàn)有的集群混排一起使用，這也是BDOS Online的一個目標(biāo)使用場景。不少大企業(yè)內(nèi)部的大數(shù)據(jù)平臺，因為缺乏多租戶的隔離和統(tǒng)一的開發(fā)管理，以及統(tǒng)一的開發(fā)流程的管理，使得內(nèi)部大數(shù)據(jù)的平臺運(yùn)維、運(yùn)營、數(shù)據(jù)使用比較困難。在使用了BDOS Online這種純云原生的大數(shù)據(jù)平臺之后，可以直接使用K8s技術(shù)管理功能，大大降低了集群的運(yùn)維、開發(fā)、使用成本。

結(jié)語

此前我們較為熟知的是，智領(lǐng)云BDOS產(chǎn)品，作為企業(yè)級大數(shù)據(jù)操作系統(tǒng)，以獨特的優(yōu)勢，已經(jīng)打造了包括零售、金融、物聯(lián)網(wǎng)、醫(yī)療等多個行業(yè)的標(biāo)桿案例。而BDOS Online作為BDOS的線上簡化版本，本次采訪我們了解到它更為強(qiáng)大的功能，幾乎完全不需要借助其他工具平臺，所有的工作都可以在BDOS Online線上完成，無需關(guān)心各種復(fù)雜的大數(shù)據(jù)組件，只需專注實現(xiàn)業(yè)務(wù)即可。

掃碼即可試用