[[432669]]

大家好，我是wanger。之前有寫過(guò)使用cephadm安裝ceph octopus，很多時(shí)候生產(chǎn)環(huán)境處于內(nèi)網(wǎng)中，這就需要我們離線進(jìn)行部署，下面是離線部署ceph的步驟。

制作離線安裝包

首先我們需要在有網(wǎng)的環(huán)境下緩存需要用到的deb包和docker鏡像

安裝docker-ce

curl -sSL https://get.daocloud.io/docker | sh 
systemctl daemon-reload 
systemctl restart docker 
systemctl enable docker 

安裝cephadm

使用curl獲取獨(dú)立腳本的最新版本。網(wǎng)絡(luò)不好的話可直接去GitHub復(fù)制

編輯/etc/resolv.conf文件修改nameserver為114,.114.114.114

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm 
chmod +x cephadm 

安裝cephadm

./cephadm add-repo --release octopus 
./cephadm install 

引導(dǎo)新群集

集要引導(dǎo)群集，需要先創(chuàng)建一個(gè)目錄：/etc/ceph

mkdir -p /etc/ceph 

以下操作只在一臺(tái)節(jié)點(diǎn)執(zhí)行就可以,然運(yùn)行該命令：ceph bootstrap

./cephadm bootstrap --mon-ip 192.168.10.2 

啟用ceph cli

cephadm add-repo --release octopus 
cephadm install ceph-common 

部署OSD

如果滿足以下所有_條件_，則存儲(chǔ)設(shè)備被視為可用：

• 設(shè)備必須沒(méi)有分區(qū)。
• 設(shè)備不得具有任何 LVM 狀態(tài)。
• 不得安裝設(shè)備。
• 設(shè)備不能包含文件系統(tǒng)。
• 設(shè)備不得包含 Ceph BlueStore OSD。
• 設(shè)備必須大于 5 GB。

Ceph 拒絕在不可用的設(shè)備上預(yù)配 OSD。為保證能成功添加osd，我剛才在每個(gè)node上新加了一塊磁盤

從特定主機(jī)上的特定設(shè)備創(chuàng)建 OSD

ceph orch daemon add osd node1:/dev/sdb 

安裝完成后我們可以看一下它用到了哪些docker鏡像

導(dǎo)出docker鏡像

需要把這些鏡像導(dǎo)出來(lái)，做成離線包

root@node1:~# docker save -o ceph.tar quay.io/ceph/ceph:v15 
root@node1:~# docker save -o prometheus.tar quay.io/prometheus/prometheus:v2.18.1 
root@node1:~# docker save -o grafana.tar quay.io/ceph/ceph-grafana:6.7.4          
root@node1:~# docker save -o alertmanager.tar quay.io/prometheus/alertmanager:v0.20.0 
root@node1:~# docker save -o node-exporter.tar quay.io/prometheus/node-exporter:v0.18.1 

導(dǎo)出deb包

剛才我們裝了docker和chrony還有cephadm，deb包會(huì)默認(rèn)存放在 /var/cache/apt/archives目錄下，可以把這個(gè)目錄下的deb包緩存下來(lái)，新建一個(gè)文件夾，將下載的deb包拷貝到上述新建的文件夾下，并建立deb包的依賴關(guān)系

apt-get install dpkg-dev -y 
 mkdir /offlinePackage 
cp -r /var/cache/apt/archives  /offlinePackage 
chmod 777 -R /offlinePackage/ 
dpkg-scanpackages /offlinePackage/ /dev/null |gzip >/offlinePackage/Packages.gz 
tar zcvf offlinePackage.tar.gz /offlinePackage/ 

修改cephadm腳本

最后需要修改的是cephadm安裝腳本，默認(rèn)安裝的時(shí)候cephadm是去網(wǎng)上pull鏡像，但是實(shí)際生產(chǎn)環(huán)境是沒(méi)有外網(wǎng)的，需要修改成直接用本地的鏡像，修改_pull_image函數(shù)的cmd列表中的pull，將其修改為images。(我用的是octopus版本，其他版本基本不變)

開(kāi)始離線部署

前提條件

Cephadm使用容器和systemd安裝和管理Ceph集群，并與CLI和儀表板GUI緊密集成。

• cephadm僅支持octopus v15.2.0和更高版本。
• cephadm與新的業(yè)務(wù)流程API完全集成，并完全支持新的CLI和儀表板功能來(lái)管理集群部署。
• cephadm需要容器支持(podman或docker)和Python 3。
• 時(shí)間同步

基礎(chǔ)配置

這里我使用的ubuntu20.04來(lái)安裝的ceph，已經(jīng)內(nèi)置了python3，不再單獨(dú)安裝，不做特殊說(shuō)明三臺(tái)服務(wù)器都要執(zhí)行下面的步驟

配置hosts解析

cat >> /etc/hosts <<EOF 
192.168.10.2 node1 
192.168.10.3 node2 
192.168.10.4 node3 
EOF 

分別在三個(gè)節(jié)點(diǎn)設(shè)置主機(jī)名

hostnamectl set-hostname node1 
hostnamectl set-hostname node2 
hostnamectl set-hostname node3 

配置本地源

注意：offlinedeb前面有一個(gè)空格

tar zxvf offlinePackage.tar.gz -C / 
mv /etc/apt/sources.list /etc/apt/sources.list.bak 
vi /etc/apt/sources.list 
deb file:/// offlinePackage/ 
apt update 

安裝docker

cd /offlinedeb/archives 
dpkg -i containerd.io_1.4.11-1_amd64.deb  
dpkg -i docker-ce-cli_5%3a20.10.10~3-0~ubuntu-focal_amd64.deb 
dpkg -i docker-ce-rootless-extras_5%3a20.10.10~3-0~ubuntu-focal_amd64.deb 
dpkg -i docker-ce_5%3a20.10.10~3-0~ubuntu-focal_amd64.deb 
systemctl start docker 
systemctl enable docker 

導(dǎo)入docker鏡像

docker load -i node-exporter.tar  
 docker load -i alertmanager.tar 
docker load -i prometheus.tar  
docker load -i ceph.tar  
docker load -i grafana.tar 

安裝cephadm

chmod +x cephadm 
cp cephadm /usr/bin/ 
apt install cephadm --allow-unauthenticated 
#如果有報(bào)錯(cuò)，先執(zhí)行 apt --fix-broken install 

引導(dǎo)新群集

以下操作只在一臺(tái)節(jié)點(diǎn)執(zhí)行就可以,然運(yùn)行該命令：ceph bootstrap

cephadm bootstrap --mon-ip 192.168.174.128 

此命令將會(huì)進(jìn)行以下操作：

• 為本地主機(jī)上的新群集創(chuàng)建monitor和manager守護(hù)程序。
• 為 Ceph 群集生成新的 SSH 密鑰，并將其添加到root用戶的文件/root/.ssh/authorized_keys
• 將與新群集通信所需的最小配置文件保存到 /etc/ceph/ceph.conf
• 將client.admin管理(特權(quán)!)密鑰的副本寫入/etc/ceph/ceph.client.admin.keyring
• 將公鑰的副本寫入/etc/ceph/ceph.pub

安裝完成后會(huì)有一個(gè)dashboard界面

執(zhí)行完成后我們可以查看ceph.conf已經(jīng)寫入了

安裝ceph

cd /offlinePackage/archives 
dpkg -i *.deb #執(zhí)行此命令會(huì)將我們之前緩存的包都安裝完 

添加主機(jī)到集群

將公鑰添加到新主機(jī)

ssh-copy-id -f -i /etc/ceph/ceph.pub node2 
ssh-copy-id -f -i /etc/ceph/ceph.pub node3 

告訴Ceph，新節(jié)點(diǎn)是集群的一部分

[root@localhost ~]# ceph orch host add node2 
Added host 'node2' 
[root@localhost ~]# ceph orch host add node3 
Added host 'node3' 

添加主機(jī)會(huì)自動(dòng)擴(kuò)展mon和mgr節(jié)點(diǎn)

部署OSD

可以用以下命令顯示集群中的存儲(chǔ)設(shè)備清單

ceph orch device ls 

如果滿足以下所有_條件_，則存儲(chǔ)設(shè)備被視為可用：

• 設(shè)備必須沒(méi)有分區(qū)。
• 設(shè)備不得具有任何 LVM 狀態(tài)。
• 不得安裝設(shè)備。
• 設(shè)備不能包含文件系統(tǒng)。
• 設(shè)備不得包含 Ceph BlueStore OSD。
• 設(shè)備必須大于 5 GB。

Ceph 拒絕在不可用的設(shè)備上預(yù)配 OSD。

從特定主機(jī)上的特定設(shè)備創(chuàng)建 OSD

ceph orch daemon add osd node1:/dev/sdb 
ceph orch daemon add osd node1:/dev/sdc 
ceph orch daemon add osd node1:/dev/sdd 
ceph orch daemon add osd node1:/dev/sde 
ceph orch daemon add osd node2:/dev/sdd 
ceph orch daemon add osd node2:/dev/sdb 
ceph orch daemon add osd node2:/dev/sdc 
ceph orch daemon add osd node2:/dev/sde 
ceph orch daemon add osd node3:/dev/sdb 
ceph orch daemon add osd node3:/dev/sdc 
ceph orch daemon add osd node3:/dev/sdd 
ceph orch daemon add osd node3:/dev/sde 

其他節(jié)點(diǎn)的ceph配置

libvirt的rbd存儲(chǔ)需要在其他ceph節(jié)點(diǎn)上能執(zhí)行ceph的命令，需要將node1的配置拷貝到node2和node3上

root@node2:~# mkdir /etc/ceph 
root@node3:~# mkdir /etc/ceph 
root@node1:~# cd /etc/ceph 
root@node1:~# scp ceph* node2:/etc/ceph 
root@node1:~# scp ceph* node3:/etc/ceph 

部署MDS

使用 CephFS 文件系統(tǒng)需要一個(gè)或多個(gè) MDS 守護(hù)程序。如果使用新的ceph fs卷接口來(lái)創(chuàng)建新文件系統(tǒng)，則會(huì)自動(dòng)創(chuàng)建這些文件 部署元數(shù)據(jù)服務(wù)器：

ceph orch apply mds *<fs-name>* --placement="*<num-daemons>* [*<host1>* ...]" 

CephFS 需要兩個(gè) Pools，cephfs-data 和 cephfs-metadata,分別存儲(chǔ)文件數(shù)據(jù)和文件元數(shù)據(jù)

[root@node1 ~]# ceph osd pool create cephfs_data 64 64 
[root@node1 ~]# ceph osd pool create cephfs_metadata 64 64 
創(chuàng)建一個(gè) CephFS, 名字為 cephfs 
[root@node1 ~]# ceph fs new cephfs cephfs_metadata cephfs_data 
[root@node1 ~]# ceph orch apply mds cephfs --placement="3 node1 node2 node3" 
Scheduled mds.cephfs update... 

驗(yàn)證至少有一個(gè)MDS已經(jīng)進(jìn)入active狀態(tài)，默認(rèn)情況下，ceph只支持一個(gè)活躍的MDS，其他的作為備用MDS

ceph fs status cephfs 

部署RGW

Cephadm將radosgw部署為管理特定領(lǐng)域和區(qū)域的守護(hù)程序的集合，RGW是Ceph對(duì)象存儲(chǔ)網(wǎng)關(guān)服務(wù)RADOS Gateway的簡(jiǎn)稱，是一套基于LIBRADOS接口封裝而實(shí)現(xiàn)的FastCGI服務(wù)，對(duì)外提供RESTful風(fēng)格的對(duì)象存儲(chǔ)數(shù)據(jù)訪問(wèn)和管理接口。

使用 cephadm 時(shí)，radosgw 守護(hù)程序是通過(guò)mon配置數(shù)據(jù)庫(kù)而不是通過(guò)ceph.conf 或命令行配置的。如果該配置尚未就緒，則 radosgw 守護(hù)進(jìn)程將使用默認(rèn)設(shè)置啟動(dòng)(默認(rèn)綁定到端口 80)。要在node1、node2和node3上部署3個(gè)服務(wù)于myorg領(lǐng)域和us-east-1區(qū)域的rgw守護(hù)進(jìn)程，在部署 rgw 守護(hù)進(jìn)程之前，如果它們不存在，則自動(dòng)創(chuàng)建提供的域和區(qū)域：

ceph orch apply rgw myorg cn-east-1 --placement="3 node1 node2 node3" 

或者可以使用radosgw-admin命令手動(dòng)創(chuàng)建區(qū)域、區(qū)域組和區(qū)域：

radosgw-admin realm create --rgw-realm=myorg --default 
radosgw-admin zonegroup create --rgw-zonegroup=default --master --default 
radosgw-admin zone create --rgw-zonegroup=default --rgw-zone=cn-east-1 --master --default 
radosgw-admin period update --rgw-realm=myorg --commit 

可以看到已經(jīng)創(chuàng)建完成