2013年4月26日-27日，由51CTO傳媒集團(tuán)旗下WOT（World Of Tech）品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬麗酒店召開。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng)，解決大規(guī)模數(shù)據(jù)引發(fā)的問題，探索大數(shù)據(jù)基礎(chǔ)的解決方案，激發(fā)數(shù)據(jù)挖掘帶來的競爭力，讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方，將全程視頻、圖文直播報(bào)道這場數(shù)據(jù)的盛宴，更多內(nèi)容請(qǐng)點(diǎn)擊專題：2013大數(shù)據(jù)全球技術(shù)峰會(huì)。

2013大數(shù)據(jù)全球技術(shù)峰會(huì)專題

Hadoop落地之所以難，是因?yàn)橛幸幌聨c(diǎn)問題：1. Hadoop集群部署管理難，麻煩；2. 想辦法在工作上偷懶才是王道；3. 解決的問題和為人民服務(wù)。

在安裝方面的問題：

安裝問題一：熟悉Linux和Shell嗎？Hadoop需要在Linux或者Unix下運(yùn)行，且涉及SSH，防火墻等具體細(xì)節(jié)的操作

安裝問題二：3臺(tái)跟30臺(tái)及300臺(tái)的區(qū)別？完全Linux命令行操作，費(fèi)時(shí)間，易出錯(cuò)。安裝配置3臺(tái)很好辦，熟練工10分鐘一臺(tái)，半小時(shí)。安裝配置30臺(tái)有點(diǎn)費(fèi)時(shí)間，大約5小時(shí)搞定。300臺(tái)，50小時(shí)？還是找10個(gè)人每人5小時(shí)？

Puppet還是別的什么工具？Puppet是不錯(cuò)的玩意，但是我要說但是了。需要安裝Ruby，需要學(xué)習(xí)Puppet配置腳本，但仍不失為后期維護(hù)的好工具。某些商業(yè)Hadoop Manager 數(shù)千刀 / Node / 年，或者只能用他發(fā)行版的Hadoop。

安裝問題三：集群實(shí)時(shí)監(jiān)控，日志跟蹤？幾十?dāng)?shù)百臺(tái)服務(wù)器，監(jiān)控和日志跟蹤是個(gè)問題
Cacti Ganglia 使用RRD繪圖。不足的地方在于：RRD無法實(shí)時(shí)監(jiān)控和自動(dòng)刷新服務(wù)器信息，無法隨時(shí)查看日志，必須登錄服務(wù)器

在Hive方面的問題

Hive問題一：數(shù)據(jù)分析師會(huì)用Linux命令行嗎？SQL != CLI

Hive問題二：Hive語言不熟悉，管理困難。MANAGED,EXTERNAL表很頭痛、要映射HDFS路徑、設(shè)置編解碼器、增減字段，表改名...等問題。

以上是51CTO.com記者從一線為您帶來的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道，敬請(qǐng)關(guān)注。