[[264630]]

 CarbonData在數(shù)據(jù)查詢的性能表現(xiàn)比Parquet好很多，在寫一次讀多次的場景下非常適合使用;社區(qū)比較活躍，響應(yīng)也很及時。目前官網(wǎng)發(fā)布版本1.3.0與***的spark穩(wěn)定版Spark2.2.1集成，增加了支持標(biāo)準(zhǔn)的Hive分區(qū)，支持流數(shù)據(jù)準(zhǔn)實(shí)時入庫等新特性，相信會有越來越多的項(xiàng)目會使用到。

一、評測環(huán)境

1)網(wǎng)絡(luò)拓?fù)鋱D

2)配置參數(shù)

Ø 服務(wù)器配置

二、性能對比

目前主流hadoop的文件存儲格式有行存儲的CSV格式，列式存儲的ORC和Parquet等。本章給出的是Parquet+Spark和CarbonData+Spark在過濾查詢場景和聚合計(jì)算場景的性能測試結(jié)果。

1)測試數(shù)據(jù)

創(chuàng)建沈陽社保的數(shù)據(jù)倉庫，導(dǎo)入、集成1年的測試數(shù)據(jù)，如下表：

生成CarbonData格式文件，如下表：

2)過濾查詢場景測試

Parquet和CarbonData在過濾查詢場景下的性能對比

3)聚合計(jì)算場景測試

Parquet和CarbonData在聚合計(jì)算場景下的性能對比

4)總結(jié)分析

在過濾查詢中，CarbonData的查詢效率比parquet效率好，主要體現(xiàn)在列數(shù)據(jù)的索引查詢，極大地提高了精確查詢的性能。在聚合查詢中，CarbonData通過使用全局字典編碼來加快計(jì)算速度，這使得處理、查詢引擎可以直接在編碼好的數(shù)據(jù)上進(jìn)行處理而不需要轉(zhuǎn)換數(shù)據(jù)，數(shù)據(jù)只有在返回結(jié)果給用戶的時候才轉(zhuǎn)換成用戶可讀的形式，通過索引有效過濾文件數(shù)據(jù)塊減少磁盤的IO，提高查詢性能。

三、小結(jié)

CarbonData在數(shù)據(jù)查詢的性能表現(xiàn)比Parquet好很多，在寫一次讀多次的場景下非常適合使用;社區(qū)比較活躍，響應(yīng)也很及時。目前官網(wǎng)發(fā)布版本1.3.0與***的spark穩(wěn)定版Spark2.2.1集成，增加了支持標(biāo)準(zhǔn)的Hive分區(qū)，支持流數(shù)據(jù)準(zhǔn)實(shí)時入庫等新特性，相信會有越來越多的項(xiàng)目會使用到。