偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

比Hive快十倍的大數(shù)據(jù)查詢(xún)利器，你知道嗎？

作者：數(shù)據(jù)庫(kù)干貨鋪
數(shù)據(jù)庫(kù) 其他數(shù)據(jù)庫(kù)
創(chuàng)造了Hive的Facebook不負(fù)眾望，創(chuàng)造了新神器---Presto，其查詢(xún)速度平均比Hive快10倍，現(xiàn)在就來(lái)部署體驗(yàn)一下吧。

目前最流行的大數(shù)據(jù)查詢(xún)引擎非hive莫屬，它是基于MR的類(lèi)SQL查詢(xún)工具，會(huì)把輸入的查詢(xún)SQL解釋為MapReduce，能極大的降低使用大數(shù)據(jù)查詢(xún)的門(mén)檻， 讓一般的業(yè)務(wù)人員也可以直接對(duì)大數(shù)據(jù)進(jìn)行查詢(xún)。但因其基于MR，運(yùn)行速度是一個(gè)弊端，通常運(yùn)行一個(gè)查詢(xún)需等待很久才會(huì)有結(jié)果。對(duì)于此情況，創(chuàng)造了hive的facebook不負(fù)眾望，創(chuàng)造了新神器---presto，其查詢(xún)速度平均比hive快10倍，現(xiàn)在就來(lái)部署體驗(yàn)一下吧。

一、 準(zhǔn)備工作

操作系統(tǒng)： centos7

JAVA: JDK8（155版本及以上），我使用的是jdk1.8.0_191

presto server：presto-server-0.221.tar.gz

presto client： presto-cli-0.221-executable.jar

注：

1、本次是基于hive來(lái)進(jìn)行部署使用,因此相關(guān)節(jié)點(diǎn)已部署hadoop、hive。

2、presto官網(wǎng)地址為https://prestodb.github.io presto server、client及jdbc jar均可以從官網(wǎng)下載。

二、 部署階段

1、 將jdk、 presto server presto client 上傳至各服務(wù)器上

jdk包我上傳至/usr/local 目錄，并解壓、配置軟鏈接，配置環(huán)境變量，如不配置環(huán)境變量，也可在launcher里修改。

presto server及client上傳至 /opt/presto下，同時(shí)解壓server包。

2、各節(jié)點(diǎn)信息如下

其中包含一個(gè)Coordinator節(jié)點(diǎn)及8個(gè)worker節(jié)點(diǎn)。

ip

節(jié)點(diǎn)角色

節(jié)點(diǎn)名

192.168.11.22

Coordinator

node22

192.168.11.50

Worker

node50

192.168.11.51

Worker

node51

192.168.11.52

Worker

node52

192.168.11.53

Worker

node53

192.168.11.54

Worker

node54

192.168.11.55

Worker

node55

192.168.11.56

Worker

node56

192.168.11.57　

Worker

node57

3、創(chuàng)建presto數(shù)據(jù)及日志目錄

以下操作各節(jié)點(diǎn)均相同，只有配置文件處需根據(jù)各節(jié)點(diǎn)情況，對(duì)應(yīng)修改。

mkdir -p /data/presto

4、創(chuàng)建etc目錄

cd  /opt/presto/presto-server-0.221

mkdir etc

5、創(chuàng)建所需的配置文件

（1）創(chuàng)建并配置 config.properties

如果是Coordinator節(jié)點(diǎn)，建議如下配置（內(nèi)存大小根據(jù)實(shí)際情況修改）

vim   config.properties
## 添加如下內(nèi)容
coordinator=true
datasources=hive
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080

如果是worker 節(jié)點(diǎn)：

vim config.properties ## 添加如下內(nèi)容
coordinator=false
#datasources=hive
#node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
#discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080

參數(shù)說(shuō)明:

coordinator：是否運(yùn)行該實(shí)例為coordinator（接受client的查詢(xún)和管理查詢(xún)執(zhí)行）。
node-scheduler.include-coordinator:coordinator是否也作為work。對(duì)于大型集群來(lái)說(shuō)，在coordinator里做worker的工作會(huì)影響查詢(xún)性能。
http-server.http.port:指定HTTP端口。Presto使用HTTP來(lái)與外部和內(nèi)部進(jìn)行交流。
query.max-memory: 查詢(xún)能用到的最大總內(nèi)存
query.max-memory-per-node: 查詢(xún)能用到的最大單結(jié)點(diǎn)內(nèi)存
discovery-server.enabled: Presto使用Discovery服務(wù)去找到集群中的所有結(jié)點(diǎn)。每個(gè)Presto實(shí)例在啟動(dòng)時(shí)都會(huì)在Discovery服務(wù)里注冊(cè)。這樣可以簡(jiǎn)化部署， 不需要額外的服務(wù)，Presto的coordinator內(nèi)置一個(gè)Discovery服務(wù)。也是使用HTTP端口。
discovery.uri: Discovery服務(wù)的URI。將192.168.11.22:8080替換為coordinator的host和端口。這個(gè)URI不能以斜杠結(jié)尾，這個(gè)錯(cuò)誤需特別注意，不然會(huì)報(bào)404錯(cuò)誤。
另外還有以下屬性：
jmx.rmiregistry.port: 指定JMX RMI的注冊(cè)。JMX client可以連接此端口
jmx.rmiserver.port: 指定JXM RMI的服務(wù)器?？赏ㄟ^(guò)JMX監(jiān)聽(tīng)。

（2）配置 jvm.config

vim jvm.config
#  添加如下內(nèi)容
-server
-Xmx20G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p

JVM配置文件包含啟動(dòng)Java虛擬機(jī)時(shí)的命令行選項(xiàng)。格式是每一行是一個(gè)命令行選項(xiàng)。此文件數(shù)據(jù)是由shell解析，所以選項(xiàng)中包含空格或特殊字符會(huì)被忽略。

（3）配置log.properties

vim log.properties

# 添加如下內(nèi)容

com.facebook.presto=INFO

日志級(jí)別有四種，DEBUG, INFO, WARN and ERROR。

（4）配置node.properties

vim  node.properties
## 添加如下內(nèi)容
node.environment=presto_ocean
node.id=node22
node.data-dir=/data/presto

參數(shù)說(shuō)明：

node.environment: 環(huán)境名字，Presto集群中的結(jié)點(diǎn)的環(huán)境名字都必須是一樣的。
node.id: 唯一標(biāo)識(shí)，每個(gè)結(jié)點(diǎn)的標(biāo)識(shí)都必須是為一的。就算重啟或升級(jí)Presto都必須還保持原來(lái)的標(biāo)識(shí)。
node.data-dir: 數(shù)據(jù)目錄，Presto用它來(lái)保存log和其他數(shù)據(jù)

（5）配置catalog及hive.properties

創(chuàng)建 catalog目錄，因本次使用的hive,因此在此目錄下創(chuàng)建hive.properties 并配置對(duì)應(yīng)參數(shù)

mkdir  catalog
vim hive.properties
# 添加如下內(nèi)容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.11.22:9083
hive.config.resources=/opt/hadoop/hadoop-3.2.0/etc/hadoop/core-site.xml,/opt/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hive.allow-drop-table=true

至此 相關(guān)配置文件配置完成。

三、 啟動(dòng)presto-server并連接

進(jìn)入/opt/presto/presto-server-0.221/bin，有l(wèi)auncher命令。

如果需要配置JAVA等環(huán)境變量也可以在此文件里修改。在此處修改的好處在于可以與不同版本的jdk共存 而不影響原有業(yè)務(wù)。

1、啟動(dòng)presto-server

./launcher start

此時(shí)如果/data/presto/var日志生成，且無(wú)報(bào)錯(cuò)信息，代表啟動(dòng)正常。

2、presto-cli 連接

把下載的jar包：
presto-cli-0.221-executable.jar 重命名為：presto 并且賦予權(quán)限。

ln -s presto-cli-0.221-executable.jar   presto
chmod +x presto
./presto --server localhost:8080 --catalog hive --schema default

此時(shí)可以查看到hive里的庫(kù)及表。

3、查看web界面

登錄??http://192.168.11.22:8080/ui/可查看整體狀態(tài)。??

至此，presto部署就完成了。其與hive的性能對(duì)比、工作原理及使用建議等后續(xù)有機(jī)會(huì)再介紹。

責(zé)任編輯：姜華 來(lái)源： 今日頭條
Hive數(shù)據(jù)查詢(xún)
相關(guān)推薦

2022-10-27 07:09:34

DjangoAPIRedis

2024-03-08 07:58:13

QPShttpsync

2023-11-02 10:22:29

gRPC后端通信

2021-02-20 08:21:18

Hive動(dòng)態(tài)分區(qū)

2025-04-24 09:31:09

Visio畫(huà)圖工具

2018-01-29 05:38:20

5G4G運(yùn)營(yíng)商

2025-04-07 00:49:00

WindowsmacOS微軟

2023-06-13 13:52:00

Java 7線(xiàn)程池

2022-09-29 12:20:48

CSS容器查詢(xún)

2022-09-14 08:11:06

分頁(yè)模糊查詢(xún)

2025-03-03 13:12:33

C#代碼Python

2013-03-01 14:31:06

iOSAndroidApp

2014-01-22 09:17:12

2020-12-31 08:11:22

大數(shù)據(jù)趨勢(shì)大數(shù)據(jù)

2023-12-12 08:41:01

2022-01-08 20:03:20

數(shù)據(jù)庫(kù)特點(diǎn)架構(gòu)

2022-01-05 11:40:36

Go特性語(yǔ)言

2016-08-09 21:18:31

5G4G5G網(wǎng)絡(luò)

2024-12-03 00:38:37

數(shù)據(jù)湖存儲(chǔ)COS

2019-12-12 09:23:29

Hello World操作系統(tǒng)函數(shù)庫(kù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)