Docker很熱，怎么形容?感覺(jué)開(kāi)源除了spark技術(shù)，就是docker了，甚至把Go語(yǔ)言也帶火了，把Go在TIOBE的排名從百名外帶入主流語(yǔ)言的行列。

Docker快成救世主了，這么牛逼的技術(shù)，docker和hadoop碰撞出什么火花來(lái)呢，是不是得趕緊用上呢?

就不介紹具體什么是docker了，不是一門(mén)全新的技術(shù)，是基于LXC的高級(jí)容器引擎，從linux內(nèi)核發(fā)展出來(lái)的輕量隔離技術(shù)。相比單純的隔離，核心是標(biāo)準(zhǔn)化了鏡像打包，部署和發(fā)布這個(gè)過(guò)程，相當(dāng)于標(biāo)準(zhǔn)化了開(kāi)發(fā)過(guò)程。就運(yùn)行態(tài)來(lái)說(shuō)，相比VM，核心優(yōu)勢(shì)就是輕量，劣勢(shì)也明顯，安全性不足，容易攻破。下圖是一個(gè)VM和容器的對(duì)比：

關(guān)于LXC，google的大規(guī)模集群管理工具borg號(hào)稱(chēng)十年前就使用上了，使用場(chǎng)景就是大數(shù)據(jù)場(chǎng)景，而且批量/實(shí)時(shí)場(chǎng)景號(hào)稱(chēng)都支持的很好，集群資源利用率也非常高，所以照這個(gè)說(shuō)起來(lái)，大數(shù)據(jù)和docker淵源很深。

但是現(xiàn)實(shí)的情況是，docker在hadoop領(lǐng)域用的并不是很好。目前主流兩種用法：

第一種方法是用Docker來(lái)直接運(yùn)行Hadoop。例如hortonworks，收購(gòu)了一家叫SequenceIQ的公司，通過(guò)叫Cloudbreak的技術(shù)，將Hortonworks Data Platform(HDP)打包成Docker鏡像，好處是可以在微軟Azure、亞馬遜AWS、谷歌云平臺(tái)等任何主流云平臺(tái)上啟動(dòng)HDP。這種解決的是在多云平臺(tái)部署的問(wèn)題。但是這個(gè)公司被收購(gòu)之后也沒(méi)有更多的消息了。Github上的最后一次更新也在5個(gè)月之前。

這個(gè)至多只是解決開(kāi)發(fā)環(huán)境的問(wèn)題，hadoop很難在不同的環(huán)境下，不調(diào)優(yōu)而跑出一致的表現(xiàn)，天生的使用場(chǎng)景受限，價(jià)值有限。

第二種方法是通過(guò)YARN來(lái)使用Docker容器進(jìn)行應(yīng)用部署，yarn是支持docker的，具體可以看看：

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html

yarn作為資源管理，由于其擴(kuò)展能力，一直被壓縮在了大數(shù)據(jù)領(lǐng)域，如果為了任務(wù)級(jí)別更高資源利用，通過(guò)FAIR調(diào)度算法足于，更強(qiáng)的隔離反而限制了資源的彈性使用。

當(dāng)前資源調(diào)度更火是k8s(google主推，號(hào)稱(chēng)從borg發(fā)展而來(lái))和mesos(伯克利大學(xué)主推)。瞄準(zhǔn)的場(chǎng)景也更多的是應(yīng)用級(jí)別，yarn支持docker處在一個(gè)很尷尬的地步。

綜合來(lái)說(shuō)，hadoop體系有自己的一套資源管理系統(tǒng)，要解決的問(wèn)題是多個(gè)服務(wù)器并行調(diào)度起來(lái)當(dāng)一個(gè)服務(wù)器使用的問(wèn)題。而docker技術(shù)本質(zhì)上和VM一樣，是將一個(gè)服務(wù)器拆成多份給更多的應(yīng)用使用。Docker和hadoop體系在云下物理機(jī)的場(chǎng)景非常有限，未來(lái)在云上替代VM解決彈性伸縮問(wèn)題應(yīng)該有發(fā)展。

【本文為51CTO專(zhuān)欄作者“大數(shù)據(jù)和云計(jì)算”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過(guò)微信公眾號(hào)獲取聯(lián)系和授權(quán)】

戳這里，看該作者更多好文