對(duì)于AIX系統(tǒng)工程師來(lái)說(shuō)，LVM是無(wú)論如何都無(wú)法避免的區(qū)域，VG鏡像、存儲(chǔ)遷移、IO調(diào)優(yōu)，存儲(chǔ)故障處理各個(gè)方面都有LVM的影子。每當(dāng)我們?cè)谶@些方面遇到難題時(shí)，其實(shí)都是直接或間接的和LVM戰(zhàn)斗。

以下是一些LVM知識(shí)、常見(jiàn)問(wèn)題及其解決方法和注意事項(xiàng)，掌握這些內(nèi)容，必將提高你的LVM戰(zhàn)斗力!

1. 基本概念

LVM內(nèi)置在AIX系統(tǒng)中，隨著AIX版本的更新而更新。不管是功能性還是擴(kuò)展性都在逐步發(fā)展。我們?cè)谌粘５墓ぷ髦?，一定結(jié)合自己的實(shí)際情況做好規(guī)劃再使用，避免由于LVM本身的限制帶來(lái)后期維護(hù)和擴(kuò)展的困難。

[[191607]]

典型問(wèn)題：

1. lvm里關(guān)于VG三種選項(xiàng)有何差異，在實(shí)際使用中有何種不同體現(xiàn)，優(yōu)缺點(diǎn)在哪里?

2. chvg -t factor各個(gè)因子分別代表什么?

3. AIX上卷組里關(guān)于quorum這個(gè)值的作用和意義?

解答以上問(wèn)題，需要具備下知識(shí)

AIX LVM支持3種類型的VG，分別是normal VG，Big VG和Scalable VG，如下表所示：

這三種VG最重要的區(qū)別就是在擴(kuò)展性上的支持有很大差異。

normal VG擴(kuò)展性最小，Big VG次之、Scalable VG擴(kuò)展性最好。

這三種類型的vg是隨著AIX版本的更新逐步推出的。如果在早期的項(xiàng)目實(shí)施中使用了normal vg，后續(xù)還有陸續(xù)擴(kuò)容的需求，可能就會(huì)超出normal vg的自身限制，造成擴(kuò)容失敗的后果。此時(shí)又兩個(gè)解決方法：

1. 升級(jí)到其他VG類型獲取更高的擴(kuò)展性：

Chvg–B xxvg 升級(jí)到big vg，可以在線升級(jí)

Chvg–G xxvg升級(jí)到scalable vg，需要先執(zhí)行varyoffvg命令才能升級(jí)

兩者都需要pv中有足夠的空間來(lái)承載vgda信息的變更。

2. 更改factor因子。實(shí)際是通過(guò)更改pp限制來(lái)實(shí)現(xiàn)，由factor來(lái)指定。更改實(shí)際上是在pp數(shù)支持和pv支持?jǐn)?shù)量上做一個(gè)平衡。如：

Chvg–t 2 xxvg

除了容量和擴(kuò)展性的差別。在創(chuàng)建裸設(shè)備時(shí)，使用scalable vg創(chuàng)建的裸設(shè)備lv默認(rèn)不帶4k偏移，big vg加 -T -O參數(shù)可以不帶4k偏移，普通vg不行。不過(guò)現(xiàn)在用裸設(shè)備的不多了，可以忽略。

卷組的quorum 是由有效的VGDA(卷組描述區(qū))構(gòu)成的。一個(gè)卷組中至少有2個(gè) VGDA 區(qū)，每個(gè)物理卷上都至少有一個(gè)VGDA。VGDA 中記錄了卷組中所包含邏輯卷和物理卷的狀態(tài)和描述信息。 當(dāng)卷組中只有一個(gè)物理卷時(shí)，該物理卷上就會(huì)存在2個(gè)VGDA區(qū); 當(dāng)卷組中有兩個(gè)物理卷上時(shí)，其中一塊物理卷上有2個(gè)VGDA ,另一物理卷上有1個(gè)VGDA; 當(dāng)卷組由在3個(gè)以上(>=3)的物理卷組成時(shí)，每個(gè)物理卷上都會(huì)有1個(gè)VGDA。 當(dāng)quorum的值設(shè)置為on時(shí)，quorum丟失會(huì)導(dǎo)致卷組關(guān)閉，防止進(jìn)一步的操作造成數(shù)據(jù)丟失。

2.故障排錯(cuò)

在LVM的使用中，經(jīng)常遇到各種故障。有的是理論知識(shí)不足，有的是細(xì)節(jié)有待完善。PVID、VGDA、VGSA、ODM、exportvg、recreatevg等等，我們需要梳理LVM的結(jié)構(gòu)和相關(guān)術(shù)語(yǔ)，這樣才能在故障排錯(cuò)中得心應(yīng)手。

典型問(wèn)題：

1. odmvgda混亂時(shí)，該如何下手?

2. lg_dumplv報(bào)too small,增加后很快又空間不足，能否忽略該問(wèn)題?

3. vg信息與ODM同步問(wèn)題?

4. AIX PV 出現(xiàn)missing和remove的狀態(tài)原因和相應(yīng)的解決辦法探討?

5. VG中添加PV失敗?

解答以上問(wèn)題，需要具備下知識(shí)

AIX中LVM的信息同時(shí)存放在硬盤(pán)和ODM里，硬盤(pán)里的表現(xiàn)為VGDA、VGSA等。當(dāng)磁盤(pán)指定為pv(如執(zhí)行mkdev)時(shí)，vgda被分配。當(dāng)pv加入vg時(shí)，vgda內(nèi)被寫(xiě)入信息。Aix對(duì)磁盤(pán)的識(shí)別以PVID為準(zhǔn)。在正常情況下，硬盤(pán)上的信息和ODM里的信息應(yīng)該是一致的。我們平時(shí)所做的操作如lspv、lsvg等命令，實(shí)際上是從ODM讀取的信息。當(dāng)執(zhí)行exportvg命令時(shí)，實(shí)際上是將odm里的對(duì)應(yīng)信息刪除掉，執(zhí)行importvg則是將vgda里的信息重新復(fù)制到odm中。以此為準(zhǔn)，上面的問(wèn)題就比較好解答了：

Q：odmvgda混亂時(shí)，該如何下手?

A：我們知道，lvm信息由兩份，一份在硬盤(pán)上，一份在odm上。如果odm的出了問(wèn)題，最常見(jiàn)的處理方式就是使用exportvg命令將vg導(dǎo)出后，重新importvg即可。但在一些特殊情況下這樣做會(huì)不起作用，可以考慮使用以下幾種方式：

Synclvodm，是從VGDA同步ODM，前提是VG的定義還在，ODM里錯(cuò)誤的被修正，缺失的會(huì)從VGDA導(dǎo)入，但ODM里多的還會(huì)存在。

redefinevg也是從VGDA同步ODM，前提是VG定義沒(méi)了才用，要指定從哪個(gè)PV導(dǎo)入，ODM里多的還會(huì)在

recreatevg，根據(jù)vgda信息重建vg，即使PVID丟失，只有原有的lv和fs等結(jié)構(gòu)未破壞即可修復(fù)。

Q：lg_dumplv報(bào)too small,增加后很快又空間不足，能否忽略該問(wèn)題?

A：用sysdumpdev -e看看生成的需要多大空間，然后建個(gè)大的dump device，指向新的dump device即可。Dump設(shè)備是用來(lái)在出故障時(shí)捕獲內(nèi)存等信息的，如果太小會(huì)dump失敗。每天的報(bào)錯(cuò)是由crontab里的dumpcheck條目觸發(fā)的。只有空間不足，每天定時(shí)任務(wù)里的dumpcheck檢查都會(huì)導(dǎo)致出現(xiàn)報(bào)錯(cuò)。

Q：AIX PV 出現(xiàn)missing和remove的狀態(tài)原因和相應(yīng)的解決辦法探討?

A：(1).鏈路異常，物理?yè)p壞，不正常操作會(huì)導(dǎo)致missing

對(duì)應(yīng)：排查并確保hdisk到存儲(chǔ)lun的物理路徑正常，如果鏈路沒(méi)問(wèn)題，一般cfgmgr后會(huì)自動(dòng)更正。但是對(duì)于aix下rdac的情況，需要額外注意，aixrdac設(shè)備如下：

darX：設(shè)備路由，可用理解成整個(gè)一臺(tái)存儲(chǔ)，一臺(tái)存儲(chǔ)1個(gè)如：dar0

dacX：理解成控制器，一臺(tái)存儲(chǔ)2個(gè)如：dac0 dac1

hdiskX：聚合后的硬盤(pán)

ds45k存儲(chǔ)下，rdac這幾個(gè)設(shè)備經(jīng)常會(huì)異常，導(dǎo)致硬盤(pán)紊亂，矯正不過(guò)來(lái)，需要從darx到hdiskx都刪除，再重新cfgmgr

(2). 狀態(tài)異常會(huì)導(dǎo)致remove，這個(gè)具體原因不明

應(yīng)對(duì): 使用chpv -v a hdiskx可以手工更正過(guò)來(lái)

(3).其他異常，如pvid丟失等?？赏ㄟ^(guò)recreatevg命令重建vg

3.LVM在集群環(huán)境中的應(yīng)用

在實(shí)際生產(chǎn)環(huán)境中，LVM經(jīng)常會(huì)出現(xiàn)在各種集群環(huán)境中，比如IBM PowerHA，Oracle RAC等等，在不同的集群環(huán)境、不用的應(yīng)用場(chǎng)景中，對(duì)LVM的要求也各不相同，需要我們?cè)趯?shí)施和維護(hù)中多加注意。

典型問(wèn)題：

1. HACMP中LVM shrink lv問(wèn)題?

2. 想了解下ha環(huán)境中，lvm如何管理，存儲(chǔ)擴(kuò)容，存儲(chǔ)性能優(yōu)化?

3. LVM Mirror其中一臺(tái)存儲(chǔ)掛起，另一臺(tái)文件系統(tǒng)訪問(wèn)時(shí)間?

4. PVID號(hào)不同的話不會(huì)影響ha接管吧?

5. 在HA環(huán)境下不停業(yè)務(wù)，如何將卷組增加mirror pool功能?

解答以上問(wèn)題，需要具備下知識(shí)

LVM最常出現(xiàn)的場(chǎng)景就是IBM PowerHA(以前的HACMP)，vg在HACMP中可以以兩種方式出現(xiàn)。一種是普通的vg模式，一種是fast takeover模塊(concurrent vg)。不管采用哪種方式，要求掛接的存儲(chǔ)盤(pán)在兩個(gè)節(jié)點(diǎn)上的PVID必須是一樣的。最好major number也要一樣。在配置好HACMP并投入運(yùn)行后，后期對(duì)存儲(chǔ)層面的變更基本都會(huì)涉及到lvm，目前有兩種處理方式：

(1). 在其中一個(gè)節(jié)點(diǎn)進(jìn)行LVM操作，另外一個(gè)節(jié)點(diǎn)重新導(dǎo)入。這樣做需要預(yù)留一定的停機(jī)時(shí)間。

(2). 直接通過(guò)hacmp的c-spoc來(lái)在線操作，無(wú)需停止HACMP。

在使用Oracle RAC的場(chǎng)景中比較特殊。早期Oracle11.2之前的版本，可以使用裸設(shè)備、集群文件系統(tǒng)和asm(10版本)。不管是asm還是裸設(shè)備都使用了HACMP，在這里HACMP的作用是將并發(fā)的concurrent vg在兩個(gè)節(jié)點(diǎn)同時(shí)拉起來(lái)(當(dāng)然，rac的一些服務(wù)也要像grpsvcs注冊(cè)，這里只討論LVM相關(guān))。所以，只有oracle在使用裸設(shè)備或asm的情況下，并且使用了LVM的方式，才會(huì)用到HACMP，其他時(shí)候不需要。并且，使用了HACMP+concurrent vg的場(chǎng)景下，后續(xù)lv的增刪可以在一個(gè)節(jié)點(diǎn)執(zhí)行，另一個(gè)節(jié)點(diǎn)會(huì)自動(dòng)識(shí)別。到了11G r2版本后，裸設(shè)備已經(jīng)不再被支持，HACMP也失去了存在的意義，基本只使用asm了。并且，由于asm使用的是裸磁盤(pán)，識(shí)別到的hdiskx還需要將PVID清除掉。

現(xiàn)在我們?cè)賮?lái)看上面的問(wèn)題：

Q：HACMP中LVM shrink lv問(wèn)題?

A：直接通過(guò)smithacmp–c-spoc菜單執(zhí)行即可。也可以在單個(gè)節(jié)點(diǎn)修改后，另一個(gè)節(jié)點(diǎn)重新導(dǎo)入。

Q: 想了解下HA環(huán)境中，LVM如何管理，存儲(chǔ)擴(kuò)容，存儲(chǔ)性能優(yōu)化?

A: LVM管理，HA環(huán)境下需要考慮兩臺(tái)機(jī)器的一致性問(wèn)題，powerha 7.1版本會(huì)自動(dòng)把單機(jī)lvm命令翻譯成HA環(huán)境下的雙機(jī)命令，如果是hacmp6.1之前的版本，要在HA菜單中操作，才能保證共享vg的信息一致:smittycl_lvm

要注意，更老的版本，5.4.1之前的這個(gè)經(jīng)常會(huì)失敗，也就是說(shuō)調(diào)整lvm，可能需要安排共享vg varyoff。存儲(chǔ)擴(kuò)容，對(duì)os來(lái)說(shuō)，就是lvm管理，同上。

存儲(chǔ)性能優(yōu)化，要具體看環(huán)境，雙存儲(chǔ)鏡像在核心db上很常見(jiàn)，要注意兩份數(shù)據(jù)，很清晰的分布在兩個(gè)存儲(chǔ)上，而不只是分布在兩個(gè)lun上。

Q：LVM Mirror其中一臺(tái)存儲(chǔ)掛起，另一臺(tái)文件系統(tǒng)訪問(wèn)時(shí)間?

A：如果是本地盤(pán)，幾乎沒(méi)有影響。如果是兩個(gè)存儲(chǔ)做了LVM的鏡像，在對(duì)這個(gè)環(huán)境調(diào)優(yōu)情況下，(AIX FC HDISK參數(shù))一般會(huì)有20s左右的io掛起時(shí)間。

Q：PVID號(hào)不同的話不會(huì)影響HA接管吧?

A：要求hacmp環(huán)境中的共享磁盤(pán)具有相同的PVID，最好major number也一樣。

Q：在HA環(huán)境下不停業(yè)務(wù)，如何將卷組增加mirror pool功能?

A：mirror pool主要用于hacmp下的lvm mirror。它的好處是可以在盤(pán)數(shù)比較多的情況下，把要鏡像的兩組盤(pán)區(qū)分開(kāi)。在ha不停機(jī)的情況下，步驟如下

(1)通過(guò)c-spoc在線添加對(duì)應(yīng)磁盤(pán)

(2)通過(guò)c-spoc在線創(chuàng)建mirror pool

(3)通過(guò)c-spoc把磁盤(pán)加到mirror pool中

(4)通過(guò)c-spoc給vg做鏡像

4.基于LVM的高可用或遷移方案

由于LVM自身的特性，使得可以直接基于LVM設(shè)計(jì)存儲(chǔ)高可用和存儲(chǔ)遷移的方案。善用LVM使得我們不管在方案設(shè)計(jì)還是日常工作中都會(huì)受益良多。

典型問(wèn)題：

1. 生產(chǎn)掛兩個(gè)存儲(chǔ)，在VG層面做鏡像，實(shí)施DS8000存儲(chǔ)級(jí)容災(zāi)應(yīng)該注意什么?

2. 對(duì)于善用AIX LVM特性直接做存儲(chǔ)雙活方案，有幾個(gè)點(diǎn)想咨詢?

3. lvm做鏡像如何實(shí)現(xiàn)磁盤(pán)的讀寫(xiě)分離?

4. lvm鏡像不同存儲(chǔ)的兩個(gè)卷，存儲(chǔ)性能需求及存儲(chǔ)故障影響?

5. 如何用最短的停機(jī)時(shí)間實(shí)現(xiàn)存儲(chǔ)切換/V5100L轉(zhuǎn)V7000?

解答以上問(wèn)題，需要具備下知識(shí)

AIX本身的LVM mirror功能使得AIX在LVM層面上的存儲(chǔ)遷移和高可用成功可能。相關(guān)的mirrorvg、mklvcopy、migratepv等命令都可以應(yīng)用這些場(chǎng)景中。其中mirrorvg實(shí)際上調(diào)用的還是mklvopcy命令，對(duì)卷組基本實(shí)現(xiàn)鏡像。Mklvcopy可單獨(dú)的對(duì)單個(gè)lv進(jìn)行鏡像。Migratepv用于在同卷組中的不同pv間遷移數(shù)據(jù)，不能在不同卷組間遷移，不能遷移條帶化lv。

再來(lái)看上面的問(wèn)題：

Q：生產(chǎn)掛兩個(gè)存儲(chǔ)，在VG層面做鏡像，實(shí)施DS8000存儲(chǔ)級(jí)容災(zāi)應(yīng)該注意什么?生產(chǎn)掛兩個(gè)存儲(chǔ)，在VG層面做鏡像，在這種場(chǎng)景做DS8000存儲(chǔ)的MM復(fù)制需要關(guān)注那幾個(gè)方面?應(yīng)該注意什么?

A：這是IBM前幾年最推崇的成熟可靠的解決方案，目前很多金融用戶有案例，使用相對(duì)廣泛，近兩年開(kāi)始推廣hyperswap的方案了

LVM雙存儲(chǔ)需要調(diào)整大量的AIX OS FC Hidsk的參數(shù)，來(lái)保證本地的存儲(chǔ)高可用性，同城之間使用DWDM來(lái)保證數(shù)據(jù)鏈路傳輸安全穩(wěn)定可靠。

主要還是考慮性能方面的問(wèn)題，如果兩臺(tái)存儲(chǔ)配置不一樣，性能不一樣的話，做mirror可能會(huì)影響上層應(yīng)用，注意多路徑策略的選擇。做MM的話，距離太遠(yuǎn)會(huì)導(dǎo)致IO傳輸路徑變長(zhǎng)，service time高，對(duì)IO響應(yīng)時(shí)間敏感的應(yīng)用系統(tǒng)需特別關(guān)注。

這樣架構(gòu)的還有一個(gè)問(wèn)題在于，災(zāi)備端的卷vgda里記錄是有VG鏡像的。因此，在拉起災(zāi)備的時(shí)候，會(huì)pv missing校驗(yàn)報(bào)錯(cuò)，importvg時(shí)間會(huì)較長(zhǎng)。因此在pv較多的情況下，需要測(cè)算一下災(zāi)備vg varyon的時(shí)間。某銀行曾出現(xiàn)過(guò)類似架構(gòu)切換拉起卷一個(gè)多小時(shí)的情況。

Q：對(duì)于善用AIX LVM特性直接做存儲(chǔ)雙活方案，有幾個(gè)點(diǎn)想咨詢?

(1)LVM方式將磁盤(pán)做鏡像，那么兩個(gè)鏡像副本的IO延時(shí)會(huì)有幾個(gè)毫秒的差異，兩個(gè)鏡像的鏈路也會(huì)存在抖動(dòng)的風(fēng)險(xiǎn)，那么LVM層面有什么參數(shù)或者是策略能較少這方面的風(fēng)險(xiǎn)?

(2)將設(shè)遠(yuǎn)端鏡像IO延時(shí)超時(shí)，那么另外一個(gè)鏡像就相當(dāng)于掉線了，當(dāng)鏈路恢復(fù)之后，除了用鏡像同步的方式還有沒(méi)有更好的恢復(fù)掉線鏡像的方式?

A：

(1)光纖卡的fc_err_recov硬盤(pán)的rw_timeoutreassign_to等參數(shù)的設(shè)置都會(huì)對(duì)掛起時(shí)間略有影響，需要做對(duì)應(yīng)的調(diào)整

(2)因?yàn)槭腔趌vm mirror做的，只能從lvm層面同步stale的pp

Q：lvm做鏡像如何實(shí)現(xiàn)磁盤(pán)的讀寫(xiě)分離?

A: 通過(guò)在lv層面選擇不同的策略即可，命令：chlv -d "ps" xxx_lvname

Q：lvm鏡像不同存儲(chǔ)的兩個(gè)卷，存儲(chǔ)性能需求及存儲(chǔ)故障影響?

如題，lvm鏡像兩個(gè)不同存儲(chǔ)的卷，系統(tǒng)io讀寫(xiě)取決于較差性能的存儲(chǔ)，并且lvm沒(méi)有緩存機(jī)制，需要兩個(gè)存儲(chǔ)卷全部寫(xiě)入完成，才算是真正寫(xiě)入完成，一個(gè)存儲(chǔ)卷或存儲(chǔ)故障，整個(gè)系統(tǒng)均會(huì)受影響，從這兩個(gè)角度，是否說(shuō)明lvm不適用于外置存儲(chǔ)卷鏡像，只適用于內(nèi)置硬盤(pán)鏡像。

A：建議通過(guò)lv的讀寫(xiě)策略來(lái)修正，比如在lv層面使用Parallel write with sequential read scheduling policy策略，即：同時(shí)寫(xiě)A，寫(xiě)B(tài)，A完成，B完成，寫(xiě)入完成永遠(yuǎn)從A讀，讀A失敗則讀B smitchlv可以改

因?yàn)閷?xiě)入是個(gè)硬需求改不了，頂多優(yōu)化一下讀。如果寫(xiě)操作比例大，還是建議兩個(gè)存儲(chǔ)的性能差別不要太大

Q：如何用最短的停機(jī)時(shí)間實(shí)現(xiàn)存儲(chǔ)切換/V5100L轉(zhuǎn)V7000?

各位專家，我客戶現(xiàn)有一個(gè)存儲(chǔ)IBM5100升級(jí)V7000的需求，具體有哪些完善的方案?

主機(jī)端為原來(lái)有P520和P550 ，新購(gòu)P740，存儲(chǔ)V5100，采用磁帶LTO6備份。

AIX5.3，ORACLE10 ，SAP應(yīng)用：業(yè)務(wù)數(shù)據(jù)接近3T。

另外，V7000：雙控16G緩存，有8400G的SSD硬盤(pán)和16600G SAS，請(qǐng)問(wèn)如果是全新LVM管理，應(yīng)該如何對(duì)以上存儲(chǔ)進(jìn)行更加合理和優(yōu)化。

A：因?yàn)槟愕男麓鎯?chǔ)是v7000，所以有兩種方案，停機(jī)時(shí)間都非常小，如下：

1. lvm方式。新的v7000接入aix，配置好lun加入vg，以mklvcopy的方式創(chuàng)建鏡像，做完后解除鏡像刪掉5100的lun?？梢詿o(wú)停機(jī)時(shí)間。

2. v7000的vdm：v7000掛接5100，以image模式導(dǎo)入lun，后續(xù)使用v7000的空間和5100做vdm即可。需要較短的停機(jī)時(shí)間，重新掛接存儲(chǔ)

以上是LVM常見(jiàn)的十八個(gè)典型問(wèn)題，以及解決這些問(wèn)題必備的知識(shí)。通過(guò)這樣一番學(xué)習(xí)，你是否可以在面對(duì)LVM的時(shí)候更加自信了?