在軟件開發(fā)中，經(jīng)常會遇到一些代碼問題，例如邏輯結(jié)構(gòu)復雜、依賴關(guān)系混亂、代碼冗余、不易讀懂的命名等。這些問題可能導致代碼的可維護性下降，增加維護成本，同時也會影響到開發(fā)效率。

這時通常通過重構(gòu)的方式，在不改變軟件的功能和行為的前提下，對軟件的代碼進行重新組織和優(yōu)化。達到增強代碼的可讀性，降低維護成本，提升研發(fā)效率和質(zhì)量的目的。通過合理的重構(gòu)，可以大大提高軟件的可維護性和可擴展性，從而延長其生命。

本系列的內(nèi)容介紹了百度App搜索側(cè)業(yè)務如何使用Python腳本實現(xiàn)自動化工具，以支持百度App配置數(shù)據(jù)項調(diào)用方式升級為數(shù)據(jù)通路的重構(gòu)過程。通過Python腳本，我們實現(xiàn)一些自動化的工具，包括配置數(shù)據(jù)項調(diào)用關(guān)系分析、配置數(shù)據(jù)項接入數(shù)據(jù)通路的實現(xiàn)、數(shù)據(jù)項使用方接入數(shù)據(jù)通路的適配等，以期提高工作效率、減少出錯率。

01、代碼重構(gòu)時的關(guān)鍵步驟及挑戰(zhàn)

在代碼重構(gòu)過程中，需要考慮重構(gòu)的效率和重構(gòu)后的代碼質(zhì)量。與其相關(guān)的關(guān)鍵的步驟如下，這些步驟先后依賴，相互影響：

熟悉業(yè)務及技術(shù)現(xiàn)狀：在開始重構(gòu)之前，研發(fā)首先要理解業(yè)務邏輯和流程，熟悉業(yè)務能力及技術(shù)實現(xiàn)時存在的問題，確定重構(gòu)的范圍。

確定重構(gòu)方案：基于對業(yè)務邏輯和現(xiàn)有代碼問題的理解，確定重構(gòu)方案，重點關(guān)注有兩點，有問題的代碼如何重構(gòu)和依賴于該代碼的調(diào)用如何適配。

分階段實施：根據(jù)重構(gòu)方案，分階段的修改代碼，并測試代碼的功能是否正常。在修改過程中，應該盡量避免影響到不相關(guān)模塊，這樣可以更好地控制風險。

效果評估及監(jiān)控：重構(gòu)方案開發(fā)完成，線下對實現(xiàn)的效果進行評估，線上對實現(xiàn)的效果進行監(jiān)控，及時發(fā)現(xiàn)異常止損和重構(gòu)的效果。

在重構(gòu)的工作中，大部分的工作是人工的方式完成，是一個耗時且容易出錯的過程。對于研發(fā)人員來講，在不改變軟件的功能和行為的前提下，保證質(zhì)量和效率完成對已有功能的重構(gòu)，是一個極大的挑戰(zhàn)。

02、百度App（iOS）搜索側(cè)的配置數(shù)據(jù)項重構(gòu)

為了更好的提升系統(tǒng)穩(wěn)定性和降低配置數(shù)據(jù)項變更時對上層依賴方組件的影響， 我們決定對百度App（iOS）搜索側(cè)的配置數(shù)據(jù)項進行重構(gòu)。重構(gòu)過程的關(guān)鍵節(jié)點中有超過80%的工作是由自動化工具完成，支持重構(gòu)工作上線后零bug，和全部的配置數(shù)據(jù)項接口內(nèi)斂，提升了系統(tǒng)的安全性和穩(wěn)定性。

2.1 重構(gòu)背景

百度App（iOS）-搜索側(cè)的配置數(shù)據(jù)項，大部分集中在一個類(XXXSetting)中管理。該類(XXXSetting)以獨立組件的方式發(fā)布，被超過30個其它組件依賴。

如圖-1 所示數(shù)據(jù)項使用模塊直接調(diào)用數(shù)據(jù)項提供模塊（XXXSetting），是直接依賴的關(guān)系，數(shù)據(jù)項的增刪相當于接口的變更，對上層的依賴方會產(chǎn)生影響，當接口存在不兼容變更時，連帶上層的依賴方組件也需要二次的發(fā)布。且該組件中的數(shù)據(jù)項主要為實驗類開關(guān)，變動較為頻繁，影響面也被放大，故需使用比較穩(wěn)定的方式實現(xiàn)不同模塊之間的數(shù)據(jù)項共享。

圖-1

2.2 技術(shù)方案

在技術(shù)實現(xiàn)的層面，主要分為兩步

1、第一步為實現(xiàn)多模塊之間數(shù)據(jù)通訊的模塊，在本系列的內(nèi)容中以數(shù)據(jù)通路代指該模塊。

2、第二步為基于數(shù)據(jù)通路提供的能力，XXXSetting組件為作數(shù)據(jù)提供方接入數(shù)據(jù)通路，原使用XXXSetting組件的使用方接入數(shù)據(jù)通路，這樣就完成了XXXSetting組件中的數(shù)據(jù)項遷移。

數(shù)據(jù)通路的實現(xiàn)，目標實現(xiàn)以Key-Value的方式讀取及更新配置項，需要從無到有的構(gòu)建，在本系列的其它章節(jié)中內(nèi)容會有介紹。但XXXSetting組件對應的重構(gòu)工作，是基于已有的線上能力的改造，Setting中的數(shù)據(jù)項超過百個，外部的調(diào)用點也是以百為計算單位，涉及的組件有30+。影響面如何評估，如何保證重構(gòu)的過程質(zhì)量和效果是可控的？結(jié)合對重構(gòu)過程的理解，我們采用了Python腳本來支持第二步的工作。

2.3 使用Python支持重構(gòu)過程

要規(guī)避以人工方式為主的重構(gòu)過程，引入錯誤的風險，提升重構(gòu)過程的質(zhì)量及效率。需要引入Python腳本實現(xiàn)自動化工具支持重構(gòu)過程的工作。下面以重構(gòu)的關(guān)鍵步驟，自動化工具的應用目標進行列舉。

1、在熟悉業(yè)務及技術(shù)現(xiàn)狀階段，可以使用自動化工具對工程中現(xiàn)有的代碼、技術(shù)架構(gòu)進行分析，獲取當前需要重構(gòu)的代碼的依賴和調(diào)用關(guān)系信息，確定重構(gòu)過程的變動影響，使用自動化的方式會更加的精準。

2、在確定重構(gòu)方案階段，可以基于自動化工具產(chǎn)生的數(shù)據(jù)，支持重構(gòu)方案的決策，包括是否需要重構(gòu)，如何重構(gòu)，調(diào)用方如何適配等。

3、在分階段實施階段，可以使用自動化的方式支持代碼的重構(gòu)工作，包括需要重構(gòu)的模塊的升級、調(diào)用方代碼的適配等。對比IDE提供的查找、替換等基礎(chǔ)工具，自動化工具可以批量處理更加復雜的重構(gòu)工作。同時實施的階段通常是繁瑣且容易出錯的，但使用自動化的方式可以自動完成這些任務，并減少人為錯誤。

4、在效果評估及監(jiān)控階段，可以使用自動化的方式對重構(gòu)前后的代碼進行對比測試保證功能的一致性，收集關(guān)鍵指標數(shù)據(jù)，發(fā)現(xiàn)指標的異常。

03、用Python腳本實現(xiàn)模塊的調(diào)用關(guān)析分析

在實際的配置數(shù)據(jù)項的調(diào)用關(guān)系來看，公開的數(shù)據(jù)項可為幾種情況，對應的重構(gòu)方案可有不同。

1、配置數(shù)據(jù)項僅在XXXSetting模塊內(nèi)使用，這部分數(shù)據(jù)項不需要接入數(shù)據(jù)通路。

2、配置數(shù)據(jù)項在XXXSetting模塊內(nèi)使用，也在其它的模塊中使用，這類數(shù)據(jù)項在XXXSetting模塊中維護，數(shù)據(jù)項需要接入數(shù)據(jù)通路。

3、配置數(shù)據(jù)項在XXXSetting模塊內(nèi)沒有使用，只在一個模塊中使用，這類數(shù)據(jù)項應該遷移到使用該數(shù)據(jù)項的模塊中。

4、配置數(shù)據(jù)項在XXXSetting模塊內(nèi)沒有使用，但在一個以上模塊中使用，這類數(shù)據(jù)項可以在XXXSetting模塊中維護，但數(shù)據(jù)項需要接入數(shù)據(jù)通路。

基于這樣的改造，XXXSetting模塊的數(shù)據(jù)項接口就可以全部不公開，對于配置數(shù)據(jù)項的變更，只影響依賴配置數(shù)據(jù)項的模塊。那么每個數(shù)據(jù)項的調(diào)用應該是如何重構(gòu)呢，用手動查找及分析的方式成本過高，在項目實際過程評估及修改出錯的概率也會增高，我們使用Python腳本實現(xiàn)了調(diào)用關(guān)系的分析工具，為重構(gòu)工作提前進行數(shù)據(jù)支持及決策。

3.1 提取公開數(shù)據(jù)項及類型

在分析數(shù)據(jù)項的外部調(diào)用情況之前，需要先提取XXXSetting類中所有公開的數(shù)據(jù)項。

3.1.1 公開數(shù)據(jù)項在OC類中的寫法

Setting文件由OC語言開發(fā)，在Setting頭文件件中公開的數(shù)據(jù)項的定義，OC類中成員變量的定義，書寫方式如下

@property (nonatomic, assign) BOOL value;
@property (nonatomic, copy) NSString *value1

3.1.2 提取的是變量類型和變量的名稱

因頭文件中，包含其它非成員變量的代碼，比如include、前置聲明、類定義、空代碼行、注釋、函數(shù)等，需要預處理下代碼及使用正則表達式變量定義代碼段，依次的讀取.h文件中的每一行代碼，以相關(guān)實現(xiàn)及的關(guān)鍵代碼如下。

去除注釋

因代碼中的注釋寫法存在不確定性，會對后面的正則匹配產(chǎn)生影響，故先把注釋刪除。

# 原代碼行 @property (nonatomic, copy) NSString *value1; // 注釋 ; * () 這些字符都有可能有，會影響后面的正則判斷
newline = re.sub(r'//.+', "", line)
# 處理過后的代碼行 @property (nonatomic, copy) NSString *value1;

提取數(shù)據(jù)項類型及數(shù)據(jù)項

去除注釋代碼之后，下一步為提取成員變量名稱及類型，可以使用正則中的分組匹配的能力，提取變量類型及變量名。這里使用了正則的原因是代碼的寫法存在不確定性，@property的寫法也會因變量類型不同而變化，故通過分組匹配的方式來實現(xiàn)。

# 原代碼行 @property (nonatomic, copy) NSString *value1;
matchObj = re.match(r"@property.+\)\s+(.*)", line, re.M|re.I)
if matchObj:
    # matchObj.group(1) 是成員變量類型和變量名 -- NSString *value1;

去除無用字符

這時的代碼行，因為寫法的不同及變量的不同，需要進行標準化，才能提取出變量類型及變量名，主要為去除 星號（*）。代碼行頭中的空格已經(jīng)過濾（上行代碼中的\s+）。

# 原代碼行 NSString *value1;
newline = line.replace('*', '')
# 處理后的代碼行 NSString value1;

提取標準化后的數(shù)據(jù)項類型及數(shù)據(jù)項

這時代碼行中只剩下類型 空格 變量名 分號，使用正則的分組匹配，提取類型及變量名。

# 原代碼行 NSString value1;
# 正則表達式中\(zhòng)s匹配任何空白字符，包括空格、制表符、換頁符等等, 等價于[ \f\n\r\t\v],\s+代表一個或多個這類的字符
matchObj = re.match(r"(.*)\s+(.*);", line, re.M|re.I)
if matchObj:
    # valueType = NSString
    valueType = matchObj.group(1) 
     # valueName = value1  
    valueName = matchObj.group(2)

到這了一步，公開可訪問的數(shù)據(jù)項及類型的提取就已級完成，這時就可以轉(zhuǎn)換代碼，如果這時轉(zhuǎn)換代碼，會存在冗余，因為如果公開的變量在其它模塊中沒有使用，那實際上就不需要使用數(shù)據(jù)通路進行封裝，下一步應該分析調(diào)用關(guān)系之后，再進行。

3.2 數(shù)據(jù)項關(guān)聯(lián)調(diào)用組件

確定了公開的數(shù)據(jù)項之后，需要在工程源碼中查找每個數(shù)據(jù)項的調(diào)用點，之后再跟據(jù)調(diào)用點數(shù)據(jù)確定每個數(shù)據(jù)項在不同的組件中調(diào)用的情況。

數(shù)據(jù)項調(diào)用代碼常見于以下寫法，OC中也有其它的寫法，本文中以下寫法作為示例介紹調(diào)用關(guān)系的生成。

[XXXSetting share].value1

3.2.1. 查找每個數(shù)據(jù)項在文件中的調(diào)用

• 原始數(shù)據(jù)項調(diào)用字串使用數(shù)據(jù)通路的數(shù)據(jù)項綁定。
• 整體的思路為，依次的從每個文件中，全字匹配字符串，查找到一次，算作調(diào)用一次，保存到字典中，統(tǒng)一輸出到表格中。

# 定義個全局字典，存放每個數(shù)據(jù)項在不同的文件中調(diào)用的次數(shù)
# {數(shù)據(jù)項:{文件名:該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)}}
valueCallInfoDic = {}


# 使用上節(jié)中，提取出來的數(shù)據(jù)項名，拼裝為實際調(diào)和時的寫法
realValueName = '[XXXSetting share].' + valueName


# fileNameList 為所有源碼文件(.m 和 .mm)
for fileName in fileNameList:
    # 記錄該文件調(diào)用數(shù)據(jù)項的次數(shù)
    callNum = 0
    # 記錄文件每個文件調(diào)用該數(shù)據(jù)項的次數(shù)信息
    fileCallInfoDic = {}
    # 依次的讀取源文件的每一行，匹配調(diào)用情況，記錄調(diào)用次數(shù)，及文件名，line 為代碼行
    for line in f:
        # 使用正則全字匹配，查找替換
        regAbKey = realValueName.replace('[', '\[')
        regAbKey = regAbKey.replace(']', '\]')
        regAbKey = regAbKey.replace('.', '\.')
        # pattern = \[XXXSetting share\]\.value1\b  主要為了防止數(shù)據(jù)項名有子串的情況
        pattern = r'' + fromstr + r'\b'
        matchObj = re.match(r'.*' + regAbKey +'', line, re.M|re.I)
        if matchObj:
            callNum = callNum + 1 
    if callNum > 0
        fileCallInfoDic[fileName] = str(callNum)
    # 如果有調(diào)用關(guān)系，則存儲
    if len(fileCallInfoDic) 
        valueCallInfoDic[valueName] = fileCallInfoDic

3.3 輸出為excel表格文件

使用Python分析的數(shù)據(jù)還是以機器語言的形式表式，需要以人類語言描述，將數(shù)據(jù)輸出為excel表格，這樣就可以借助于表格工具進行數(shù)據(jù)的查看及分析。

3.3.1 數(shù)據(jù)項的詳細使用情況輸出

表格的輸出Python沒有使用有excel操作的相關(guān)庫，使用 ，（逗號）作為分隔符，存儲為.csv文件，在excel中導入csv文件使用。

具體的實現(xiàn)為依次的將每個數(shù)據(jù)項的使用的組件，使用的文件及在這個文件文件中使用次數(shù)，輸出到.csv文件中。

# 表頭分別為，數(shù)據(jù)項，使用的組件，使用的文件，文件中使用次數(shù)
outfiledata = 'value , uselib , usefile , usenum\n'
# 遍歷全局字典valueCallInfoDic，獲取每個數(shù)據(jù)項 及數(shù)據(jù)項的調(diào)用信息
# {數(shù)據(jù)項:{文件名:該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)}}
for.valueName , valueInfo in valueCallInfoDic.items():
    # 從數(shù)據(jù)項的調(diào)用信息中獲取，文件名和該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)
    # {文件名:該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)}
    for.fileName , callNum in valueCallInfoDic.items():
        outfiledata += valueName + " , "
        # libByFile 函數(shù)，實現(xiàn)根據(jù)文件獲取所在的組件名
        outfiledata += libByFile(fileName) + " , "
        outfiledata += fileName + " , "
        outfiledata += callNum + " \n"

表格數(shù)據(jù)示例

基于輸出的表格數(shù)據(jù)，可以比較容易的判斷每個數(shù)據(jù)項的優(yōu)化影響范圍，下表為表格數(shù)據(jù)的示例。

△注：表格數(shù)據(jù)非真實業(yè)務場景數(shù)據(jù)

3.3.2 數(shù)據(jù)項的預分析統(tǒng)計輸出

基于數(shù)據(jù)的調(diào)用關(guān)系數(shù)據(jù)，確定每個數(shù)據(jù)項被每個組件使用的情況，并確定重構(gòu)的方式。

同樣，表格的輸出Python沒有使用有excel操作的相關(guān)庫，使用 ，（逗號）作為分隔符，存儲為.csv文件，在excel中導入csv文件使用。

具體的實現(xiàn)為依次的讀取數(shù)據(jù)項，計算每個數(shù)據(jù)項被組件的使用情況，并將結(jié)果輸出到.csv文件中。

# 表頭分別為 ，數(shù)據(jù)項 ，使用的組件 ，組件中總使用次數(shù) , 使用類型
outfiledata = 'value , uselib , usenum , usetype \n'
# 遍歷全局字典，獲取每個數(shù)據(jù)項 及數(shù)據(jù)項的調(diào)用信息
# {數(shù)據(jù)項:{文件名:該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)}}
for.valueName , valueInfo in valueCallInfoDic.items():
    libCallInfo = {}
    # 從數(shù)據(jù)項的調(diào)用信息中獲取，文件名和該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)
    # {文件名:該文件內(nèi)數(shù)據(jù)項調(diào)用的次數(shù)}
    for.fileName , callNum in valueCallInfoDic.items():
        # libByFile 函數(shù)，實現(xiàn)根據(jù)文件獲取所在的組件名
        libName =  libByFile(fileName)
        if libName in libCallInfo:
            libCallInfo[libName] = int(libCallInfo[libName]) + int(callNum)
        else:
            libCallInfo[libName] = callNum
    # 每個組件的使用XXXSetting 的數(shù)據(jù)項情況
    hasSelfCall = False
    useType = ""
    for.libName in libCallInfo:
        if libName == "XXXSetting":
            hasSelfCall = True
            break
    if len(libCallInfo) == 1:
        if hasSelfCall:
            # 配置數(shù)據(jù)項僅在XXXSetting模塊內(nèi)使用，這部分數(shù)據(jù)項不需要接入數(shù)據(jù)通路。
            useType = "selfCall"
        else:
            # 配置數(shù)據(jù)項在XXXSetting模塊內(nèi)沒有使用，只在一個模塊中使用，這類數(shù)據(jù)項應該遷移到使用該數(shù)據(jù)項的模塊中。
            useType = "otherCall"
    else:
        if hasSelfCall:
            # 配置數(shù)據(jù)項在XXXSetting模塊內(nèi)使用，也在其它的模塊中使用，這類數(shù)據(jù)項在XXXSetting模塊中維護，數(shù)據(jù)項需要接入數(shù)據(jù)通路。
            useType = "selfAndOtherCall"
        else:
            # 配置數(shù)據(jù)項在XXXSetting模塊內(nèi)沒有使用，但在一個以上模塊中使用，這類數(shù)據(jù)項可以在XXXSetting模塊中維護，但數(shù)據(jù)項需要接入數(shù)據(jù)通路。
            useType = "othersCall"
    for.libName , libCallNum in libCallInfo.items():
        outfiledata += valueName + " , "
        outfiledata += libName + " , "
        outfiledata += libCallNum + " \n"

表格數(shù)據(jù)示例

基于輸出的表格數(shù)據(jù)，可以比較容易的判斷每個數(shù)據(jù)項應該如何整改，下表為表格數(shù)據(jù)的示例。

注：表格數(shù)據(jù)非真實業(yè)務場景數(shù)據(jù)

04小結(jié)

以上的內(nèi)容，介紹了代碼重構(gòu)過程的工作及挑戰(zhàn)，同時以Python腳本實現(xiàn)分析模塊的調(diào)用關(guān)系的統(tǒng)計，基于該腳本，在重構(gòu)工作開始之前，可以精確統(tǒng)計每個XXXSetting類對外公開的類成員屬性，被其它組件使用的情況?；诮y(tǒng)計的數(shù)據(jù)，可以感知對應的每個成員屬性在App中的使用情況，且可容易的評估XXXSetting數(shù)據(jù)項重構(gòu)升級為數(shù)據(jù)通路工作所帶來的影響。

當這部分工作，使用人工的方式實現(xiàn)，依次查找每個成員屬性的在App中的使用情況及分類記錄，是一件重復性高，出錯概率高的工作。而使用自動化工具，很好的規(guī)避了這些問題，且長期可積累。