Superset數(shù)據(jù)分析平臺(tái)搭建
Superset 是 Airbnb 開(kāi)源的數(shù)據(jù)分析與可視化平臺(tái),同時(shí)也是由 Python 語(yǔ)言構(gòu)建的輕量級(jí) BI 系統(tǒng)。Superset 可實(shí)現(xiàn)對(duì) TB 量級(jí)數(shù)據(jù)進(jìn)行處理,兼容常見(jiàn)的數(shù)十種關(guān)系或非關(guān)系型數(shù)據(jù)庫(kù),并在內(nèi)部實(shí)現(xiàn) SQL 編輯查詢等操作。除此之外,基于 Web 服務(wù)的 Superset 可實(shí)現(xiàn)多用戶協(xié)使用,并可針對(duì)不同角色進(jìn)行權(quán)限管理。Superset 如今已歸屬于 Apache 孵化項(xiàng)目,并被 Yahoo,豆瓣等國(guó)內(nèi)外知名公司使用。
Superset 平臺(tái)搭建:
Superset 基于 Web 分析與可視化平臺(tái),目前支持 Python 2.7 和 Python 3.4 版本。官方介紹稱,暫時(shí)未有支持其他版本的計(jì)劃。
下面,介紹 Superset 如果安裝配置,文檔基于在線環(huán)境。如果你選擇在本地安裝,可能會(huì)因?yàn)榄h(huán)境不同出現(xiàn)一些問(wèn)題,但大部分時(shí)候都可以順利進(jìn)行。
1 安裝依賴
首先,需要安裝依賴。打開(kāi)實(shí)驗(yàn)樓在線環(huán)境終端,鍵入:
- sudo apt-get update
- sudo apt-get install build-essential libssl-dev libffi-dev python-dev python-pip libsasl2-dev libldap2-dev
如果你在本地 Fedora 或 RHEL-derivatives 安裝,鍵入:
- sudo yum upgrade python-setuptools
- sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel
如果你在本地 macOS 上安裝,鍵入:
- brew install pkg-config libffi openssl python
- env LDFLAGS="-L$(brew --prefix openssl)/lib" CFLAGS="-I$(brew --prefix openssl)/include" pip install cryptography==1.7.2
2 使用 virtualenv 虛擬環(huán)境
Superset 推薦我們新建一個(gè) virtualenv虛擬環(huán)境來(lái)安裝 Superset,這樣也可以避免出現(xiàn)一些沖突或依賴問(wèn)題。
首先,我們需要安裝 virtualenv:
- sudo pip install virtualenv
然后創(chuàng)建和激活一個(gè)叫 superset 的新環(huán)境,這里我們通過(guò)參數(shù)指定版本已匹配 Superset 支持的 python 環(huán)境:
- virtualenv superset --python=python2.7
- source superset/bin/activate
此時(shí),我們看到終端命令前變成了 superset 開(kāi)頭:
如果你在線下使用 Anaconda 或者 conda,創(chuàng)建虛擬環(huán)境的操作為:
- conda create -n superset python=2.7
- activate superset
3 安裝和配置 Superset
接下來(lái),我們使用 pip 來(lái)安裝 superset。首先升級(jí) pip和 setuptools 到***版本。
- sudo pip install --upgrade setuptools pip
然后安裝 superset,由于依賴包非常多,這個(gè)過(guò)程需要持續(xù)幾分鐘:
- sudo pip install superset
安裝完成之后,需要先創(chuàng)建 superset 管理員用戶。
- fabmanager create-admin --app superset
鍵入命令后,會(huì)提示你依次輸入用戶名和密碼,創(chuàng)建用戶需要稍等片刻。
創(chuàng)建好用戶之后,需要初始化數(shù)據(jù)庫(kù):
- sudo superset db upgrade
數(shù)據(jù)庫(kù)初始化完成之后,我們可以載入一些樣本數(shù)據(jù)到數(shù)據(jù)庫(kù)中(樣本數(shù)據(jù)來(lái)源于世界衛(wèi)生組織,由于在線環(huán)境網(wǎng)絡(luò)原因,樣本數(shù)據(jù)很可能下載失敗。):
- sudo superset load_examples
然后,創(chuàng)建默認(rèn)角色和許可:
- sudo superset init
***,運(yùn)行 superset 服務(wù)。superset 的 Web 服務(wù)默認(rèn)端口為 8088,你可以通過(guò) -d 參數(shù)指定端口。
- superset runserver
然后,我們打開(kāi)瀏覽器。輸入:http://localhost:8088 或 http://0.0.0.0:8088 就可以看到 superset 的登陸界面了。
文章主要演示了如果一步一步完成 Superset 的安裝??傮w來(lái)講,Superset 安裝過(guò)程中不存在大坑,只要安裝步驟執(zhí)行,基本都能順利完成。當(dāng)然,如果你熟悉 Docker,也是可以通過(guò)拉取官方認(rèn)可的社區(qū)鏡像一步完成安裝。
- # 拉取 Superset 社區(qū) Docker 鏡像
- docker pull amancevice/superset