偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

從Starrocks安裝說起和Oracle的OLAP殊途同歸

數(shù)據(jù)庫 Oracle
從技術(shù)分類來說Oracle、MySQL是數(shù)據(jù)庫。Redis、MongoDB、influxdb、neo4j、Elasticsearch也是數(shù)據(jù)庫。Hadoop技術(shù)棧也是數(shù)據(jù)庫。區(qū)塊鏈也是數(shù)據(jù)庫。Impala、StarRocks等也是數(shù)據(jù)庫。所以最終有問題都會涉及到我。本著這個思路我也嘗試著進(jìn)行一下安裝。雖然也有容器化部署的方式,但是自己手工安裝一遍收獲是不一樣的。

StarRocks是一款分析型數(shù)據(jù)庫(他的定語也很多,分布式存算分離等等)。作為數(shù)據(jù)庫他的運(yùn)行和維護(hù)遲早也是落在我這里的。對于做數(shù)據(jù)庫的人都知道什么是交易型數(shù)據(jù)庫,什么是分析型數(shù)據(jù)庫。以及什么是事務(wù)分析混合型數(shù)據(jù)庫。但是對于非這塊領(lǐng)域的人根本不知道為什么選擇某個產(chǎn)品。某些產(chǎn)品是好,但是為什么好不知道。只是傻子過年看街坊,別人這樣用了,那我也這樣用。至于為什么不知道。

其實(shí)行式存儲對交易友好,因?yàn)閷懭牒托薷氖且孕袨榛A(chǔ)。而列式存儲對分析友好,是因?yàn)榫酆隙际菍α羞M(jìn)行運(yùn)算的。而如果大家熟悉我國的實(shí)際業(yè)務(wù)場景就會發(fā)現(xiàn)。幾乎沒有單純的OLTP,單純的OLAP。都會發(fā)現(xiàn)是事務(wù)分析混合的。這也就是為什么2021年時候信通院白皮書定了數(shù)據(jù)庫七大趨勢之一就是HTAP。

從技術(shù)分類來說Oracle、MySQL是數(shù)據(jù)庫。Redis、MongoDB、influxdb、neo4j、Elasticsearch也是數(shù)據(jù)庫。Hadoop技術(shù)棧也是數(shù)據(jù)庫。區(qū)塊鏈也是數(shù)據(jù)庫。Impala、StarRocks等也是數(shù)據(jù)庫。所以最終有問題都會涉及到我。本著這個思路我也嘗試著進(jìn)行一下安裝。雖然也有容器化部署的方式,但是自己手工安裝一遍收獲是不一樣的。

考慮到大家說我排版問題(不會墨天輪的排版,然后就到處復(fù)制了)這次用截圖。

圖片圖片

下載好安裝包傳上去。將近3G啊。下載了一會。

不少yum安裝的,看上去容易。正式環(huán)境時候怎么辦?還能yum嗎?

解壓以后該有的目錄都有了。不用自己創(chuàng)建(自己創(chuàng)建的還亂,官方的目錄層級挺好的)

然后就編輯fe的配置文件。Fe是前臺的意思。FE(Frontend)負(fù)責(zé)管理元數(shù)據(jù)、管理客戶端連接、進(jìn)行查詢規(guī)劃、查詢調(diào)度等工作。每個 FE 節(jié)點(diǎn)都會在內(nèi)存保留一份完整的元數(shù)據(jù),這樣每個 FE 節(jié)點(diǎn)都能夠提供無差別的服務(wù)。

圖片圖片

所以要建立這個元數(shù)據(jù)目錄。(本次體驗(yàn)為單機(jī)部署)

然后設(shè)置環(huán)境變量(為了以后打命令偷懶)

圖片圖片

這里遇到一個問題,一定要在環(huán)境變量中設(shè)置JAVA_HOME。開始以為安裝了他能自己識別。

啟動前臺進(jìn)程。

圖片圖片

然后配置后臺進(jìn)程。BE (Backend)。這里需要把相應(yīng)的路徑寫到配置文件中去。

圖片

BE 是 StarRocks 的后端節(jié)點(diǎn),負(fù)責(zé)數(shù)據(jù)存儲和 SQL 計算等工作。

數(shù)據(jù)存儲方面,BE 節(jié)點(diǎn)都是完全對等的。FE 按照一定策略將數(shù)據(jù)分配到對應(yīng)的 BE 節(jié)點(diǎn),BE 負(fù)責(zé)將導(dǎo)入數(shù)據(jù)寫成對應(yīng)的格式存儲下來,并生成相關(guān)索引。

在執(zhí)行 SQL 計算時,一條 SQL 語句首先會按照語義規(guī)劃成邏輯執(zhí)行單元,然后再按照數(shù)據(jù)的分布情況拆分成具體的物理執(zhí)行單元。物理執(zhí)行單元會在對應(yīng)的 BE 節(jié)點(diǎn)上執(zhí)行,這樣可以實(shí)現(xiàn)本地計算,避免數(shù)據(jù)的傳輸與拷貝。

然后啟動后臺進(jìn)程。start_be.sh –-daemon

但是這里出問題了。后臺進(jìn)程啟動失敗,也沒錯誤日志。傳說的be.info日志沒有。在反復(fù)確認(rèn)配置沒有問題后,只得找人咨詢。恰好微信好友有一個原廠的朋友。問過后原廠產(chǎn)研的老師非常準(zhǔn)確的說,是avx2的問題。沒有 avx2 的話, be 肯定啟動失敗。

這里解釋一下:AVX2(Advanced Vector Extensions 2)是一種指令集擴(kuò)展,用于增強(qiáng)處理器的并行計算能力。它引入了更多的SIMD(Single Instruction, Multiple Data)指令,可以同時對多個數(shù)據(jù)進(jìn)行操作,加快向量化計算和并行處理的速度。

AVX2指令集在一些需要進(jìn)行大規(guī)模數(shù)據(jù)處理和并行計算的任務(wù)中能夠提供性能優(yōu)勢,例如圖像和視頻處理、科學(xué)計算、機(jī)器學(xué)習(xí)等。通過使用AVX2指令集,程序可以更高效地利用CPU的并行計算能力,加快運(yùn)算速度,提高系統(tǒng)的響應(yīng)能力。

說到這里明白了,是我虛擬機(jī)的指令集不支持。馬上找給我虛擬機(jī)的同事看看能不能解決?最后是把虛擬機(jī)做熱遷移,遷移到一個新的宿主機(jī)上。

圖片圖片

現(xiàn)在看到支持avx2指令集了,后臺進(jìn)程也開起來了。

他的客戶端用的是MySQL的客戶端。

圖片圖片

這里密碼是空。輸入回車。不寫 -p我試下來不行。

執(zhí)行這個命令看看前臺進(jìn)程和后臺進(jìn)程。

圖片圖片

然后就可以像MySQL一樣操作的。但是

圖片圖片

語法不一樣。直接建表會出ERROR的1064錯誤。需要指定分片鍵等。關(guān)鍵的是由于是單機(jī)體驗(yàn),要手寫副本1.默認(rèn)是3.目前不能再配置文件中修改。

最后寫入數(shù)據(jù)。

圖片圖片

重點(diǎn)來了:

StarRocks一開始說了是列式數(shù)據(jù)庫,所以適合分析。這點(diǎn)應(yīng)該說明白了。之所以表現(xiàn)出眾主要原因我覺得應(yīng)該是SIMD(向量化執(zhí)行)我這里引用一下楊廷琨老師PPT

圖片圖片

Oracle的In-memory之所以快,其實(shí)也是因?yàn)镾IMD的原因(當(dāng)然在內(nèi)存中做就更加快了),而這個是2013年就發(fā)布的。試想一下2013年做出來的,那么哪年開始做的?又是哪年開始設(shè)計的?這才是重點(diǎn)。

我這里標(biāo)題之所以寫殊途同歸,看來要像分析更快,最后SIMD目前看是繞不過去的。而這些都是數(shù)學(xué)的范疇吧。我一直說數(shù)據(jù)庫是數(shù)學(xué)和物理學(xué)的結(jié)合(CPU  內(nèi)存這些硬件就是物理器件)。至今還有不少人,沒有意識到數(shù)據(jù)庫和數(shù)學(xué)的緊密關(guān)系。(當(dāng)然內(nèi)行人都已經(jīng)認(rèn)識到了,沒有意識到的也的確是外行。也許有些人并不看重數(shù)據(jù)庫所以沒有認(rèn)識也就沒有認(rèn)識吧)。其實(shí)在2010年之前我就是外行,我就沒認(rèn)識到。

責(zé)任編輯:武曉燕 來源: 四海內(nèi)皆兄弟
相關(guān)推薦

2016-01-21 11:08:02

2010-11-17 10:52:25

云計算虛擬化

2010-04-30 18:16:29

Unix系統(tǒng)

2014-03-03 10:43:53

PaaSDevOps

2018-12-17 13:06:25

數(shù)據(jù)人工智能分析

2015-08-21 14:28:10

公有云云趨勢

2012-10-12 10:02:26

惠普IBM發(fā)展

2009-05-11 09:22:30

2010-04-21 14:20:45

處理器緩存技術(shù)

2012-11-27 10:19:22

手機(jī)地圖導(dǎo)航應(yīng)用導(dǎo)航犬

2016-10-25 10:12:13

2009-04-18 09:14:51

2013-07-30 17:31:41

2009-09-25 10:41:53

Linux微軟OS

2013-01-23 11:37:15

2013-11-13 09:19:40

網(wǎng)絡(luò)運(yùn)維華為esight

2019-02-26 11:29:58

云計算百度阿里

2019-05-13 08:57:45

AIoTIOT智能

2019-06-21 15:23:08

Python面試題代碼
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號