1 背景

近年來，國家采取了多項重要舉措來加強(qiáng)個人數(shù)據(jù)保護(hù)，包括實施《中華人民共和國網(wǎng)絡(luò)安全法》和《個人信息保護(hù)法》等法律法規(guī)。這些舉措旨在確保用戶隱私的安全，同時確保企業(yè)合規(guī)運(yùn)營。在處理敏感數(shù)據(jù)時，企業(yè)有責(zé)任采取適當(dāng)?shù)拇胧﹣肀Ｗo(hù)用戶信息。

在數(shù)據(jù)保護(hù)方面，日志記錄成為一個需要特別關(guān)注的敏感信息領(lǐng)域。因此，本文將重點介紹轉(zhuǎn)轉(zhuǎn)在日志脫敏方面的應(yīng)用與實踐。

2 目標(biāo)與措施

目標(biāo)：對日志內(nèi)的手機(jī)號、身份證號、銀行卡號等敏感信息脫敏，建立一個可持續(xù)的日志敏感信息管控機(jī)制。

措施：

1. 檢測和定位存在敏感日志的服務(wù)與CASE；
2. 開發(fā)低接入成本的日志脫敏工具；
3. 推動相關(guān)業(yè)務(wù)進(jìn)行迭代修改；
4. 長期監(jiān)控和持續(xù)治理，確保日志安全。

圖片

我們的第一步是利用大數(shù)據(jù)離線掃描服務(wù)日志，并使用正則表達(dá)式匹配敏感信息。

然而，第二和第三步是挑戰(zhàn)的關(guān)鍵，即如何在不干擾業(yè)務(wù)正常迭代排期的情況下，推動大量服務(wù)的日志做脫敏。我們希望使用技術(shù)手段盡量降低業(yè)務(wù)日志脫敏的人力成本。

3 實施

參考《轉(zhuǎn)轉(zhuǎn)日志規(guī)范》查看標(biāo)準(zhǔn)日志輸出要求，在此基礎(chǔ)之上，提供一些工具輔助業(yè)務(wù)對日志脫敏。

【推薦】JavaBean類需實現(xiàn)toString()方法，日志直接打印對象，慎用JSON工具將對象轉(zhuǎn)換成String。

3.1 脫敏工具類

我們開發(fā)了脫敏工具類，期望業(yè)務(wù)同學(xué)在實現(xiàn)JavaBean toString()方法的同時，使用脫敏工具對敏感字段使用脫敏。

圖片

• desensitize(String input)：通用脫敏函數(shù)，支持對任意字符脫敏，將提取字符串中4位以上數(shù)字(如手機(jī)號、銀行卡號、身份證號、數(shù)字驗證碼等)做脫敏；
• desensitizeByInputLength(String input)：據(jù)字符串長度匹配不同的脫敏規(guī)則，如：11位則使用手機(jī)號脫敏規(guī)則，18位則使用身份證號脫敏規(guī)則；
• desensitizePhoneNumber(String phoneNumber)：脫敏手機(jī)號，前3位和后4位，中間的數(shù)字用*代替；
• desensitizeIDCard(String idCard)：脫敏身份證號, 保留前6位和后4位，脫敏7~15位生日信息, 用*代替；
• desensitizeBankCardNumber(String bankCardNumber)：脫敏銀行卡號, 前6位和后4位，中間的數(shù)字用*代替。

public final class DesensitizeUtil {    
    
    /**
     * 根據(jù)字符串長度匹配不同的脫敏函數(shù), 強(qiáng)制脫敏
     */
    public static String desensitizeByInputLength(String input) {
        int length = input.length();
        // 手機(jī)號
        if (length == 11) {
            return desensitizePhoneNumber(input);
        }
        // ,,,
    }

    /**
     * 脫敏手機(jī)號, 前3位和后4位，中間的數(shù)字用*代替
     */
    public static String desensitizePhoneNumber(String phoneNumber) {
        // 11位手機(jī)號
        if (phoneNumber.length() == 11) {
            return phoneNumber.substring(0, phoneNumber.length() - 8) + "****" + phoneNumber.substring(phoneNumber.length() - 4);
        }
        return phoneNumber;
    }
    
    // 省略其他脫敏函數(shù)...

}

3.2 JSON脫敏

在某些日志記錄的場景中，會打印包含敏感字段的JSON格式的數(shù)據(jù)，需要對其中的敏感信息進(jìn)行脫敏處理。

在常見的JSON工具中，比如Jackson，可以使用自定義的序列化器/反序列化器來實現(xiàn)脫敏。下面以Jackson為例進(jìn)行說明：

首先，我們可以定義一個注解來標(biāo)注哪些字段需要脫敏處理：

/**
 * 脫敏注解
 */
@Target({ElementType.FIELD})
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface Desensitize {
 
}

然后，我們可以創(chuàng)建一個自定義的Jackson模塊，通過繼承BeanSerializerModifier類來修改字段的序列化行為。在這個類中，我們可以根據(jù)字段上的Desensitize注解來判斷是否需要進(jìn)行脫敏處理：

/**
 * Jackson脫敏序列化修改器
 */
public class JacksonDesensitizeSerializerModifier extends BeanSerializerModifier {

    @Override
    public List<BeanPropertyWriter> changeProperties(SerializationConfig config, BeanDescription beanDesc,
                                                     List<BeanPropertyWriter> beanProperties) {
        for (BeanPropertyWriter beanProperty : beanProperties) {
            // 只針對使用了@Desensitize的字段做脫敏
            Desensitize desensitize = beanProperty.getAnnotation(Desensitize.class);
            if(desensitize != null) {
                // 指定自定義的序列化器
                beanProperty.assignSerializer(new Desensitization());
            }
        }
        return beanProperties;
    }


    /**
     * Jackson序列化器
     */
    public class Desensitization extends StdSerializer<Object> {

        @Override
        public final void serialize(Object value, JsonGenerator gen, SerializerProvider provider) throws IOException {
            // 根據(jù)長度對字段做脫敏
            String desensitize = DesensitizeUtil.desensitizeByInputLength(String.valueOf(value));
            gen.writeString(desensitize);
        }

    }
}

最后，我們需要注冊這個自定義的模塊到Jackson中

/**
 * JSON工具
 */
public class JsonUtil {

    private static final ObjectMapper DESENSITIZE_OBJECT_MAPPER = newObjectMapper();

    private static ObjectMapper newObjectMapper() {
        ObjectMapper mapper = new ObjectMapper();
        //增加脫敏序列化器
        SimpleModule simpleModule = new SimpleModule("SimpleModuleDesensitize");
        simpleModule.setSerializerModifier(new JacksonDesensitizeSerializerModifier());
        mapper.registerModule(simpleModule);
        return mapper;
    }
    
   /**
    * 對象轉(zhuǎn)JSON的自動脫敏工具
    */
    public static <T> String object2DesensitizeString(T object) throws JsonProcessingException {
        return DESENSITIZE_OBJECT_MAPPER.writeValueAsString(object);
    }
    
    //...
}

對于業(yè)務(wù)同學(xué)而言，只需在需要脫敏的對象上添加脫敏注解，然后使用我們提供的JsonUtil進(jìn)行脫敏操作，實現(xiàn)簡單高效。

/**
 * 需要脫敏的對象
 */
public class User {
      
    /**
     * 標(biāo)記此字段需要脫敏
     */
    @Desensitize
    private String mobile;

    private String username;
    
    //getter setter...
}

User user = new User();
user.setAge(18);
user.username = "zhangsan";
user.password = "123456";

JsonUtil.object2DesensitizeString(user);
//輸出結(jié)果: {"mobile":"135****5555","username":"張三"}

注意：以上代碼只是一個示例，并不完整。在實際使用中，還需要根據(jù)具體的需求來靈活實現(xiàn)脫敏處理。

3.3 APT自動脫敏

在實際實施過程中，以上兩個方案遇到了很多阻礙。主要問題在于業(yè)務(wù)同學(xué)手動維護(hù)Bean的toString()方法過于繁瑣、重復(fù)工作多、容易遺漏對象并導(dǎo)致增加或刪除字段時需要不斷修改toString()函數(shù)。此外，業(yè)務(wù)服務(wù)所依賴的Bean來源復(fù)雜，有可能是其他業(yè)務(wù)提供的第二方Jar包或第三方Jar包。

因此，在實際應(yīng)用中，業(yè)務(wù)同學(xué)更傾向于將Bean序列化為JSON并輸出到日志中，如下所示：

log.info("data={}", JsonUtil.object2DesensitizeString(bean));

然而，這種方法不符合《轉(zhuǎn)轉(zhuǎn)日志規(guī)范》要求，而且忽略了JSON序列化性能的問題。此外，這種方案也需要耗費(fèi)大量的人力資源：需要評估每一行日志，以確定是否需要添加JSON脫敏功能。

因此，業(yè)務(wù)同學(xué)提出了以下需求：是否可以實現(xiàn)類似Lombok一樣的功能，只需在Bean的字段上添加脫敏注解，就能在編譯期自動實現(xiàn)脫敏后的toString()函數(shù)？這樣的話，在打印日志時直接打印對象即可自動脫敏。

經(jīng)過調(diào)研發(fā)現(xiàn)，Lombok在編譯時利用APT（Annotation Processing Tools）生成代碼，實現(xiàn)了自動化的代碼生成過程，從而簡化了開發(fā)工作。

APT（Annotation Processing Tool）是Java的編譯期注解處理器。它允許開發(fā)人員在編譯期間處理注解，并根據(jù)注解和相關(guān)對象的信息生成Java代碼模板或配置文件等。

APT的使用可以提高程序性能，因為它在代碼編譯時完成注解處理，而不是在運(yùn)行時使用反射方式處理注解。

著名的開源框架，如Lombok、MapStruct和AutoService等，也使用了類似的技術(shù)來優(yōu)化代碼的生成和處理過程。

圖片

我們利用APT技術(shù)實現(xiàn)了這樣的功能：如果一個類沒有重寫Object.toString()方法，在編譯時會自動為該類生成一個脫敏后的toString()方法。這個自動生成的toString()方法能夠識別脫敏注解，并在生成的toString()方法內(nèi)對敏感信息進(jìn)行脫敏處理。

在Java編譯后的Class文件中，toString()方法可能來自三個來源：源代碼、轉(zhuǎn)轉(zhuǎn)APT處理、Lombok等。優(yōu)先級為：源代碼 > 轉(zhuǎn)轉(zhuǎn)APT處理 > Lombok等其他APT。簡言之，我們的APT處理不會覆蓋源代碼中定義的toString()方法，但會覆蓋由Lombok生成的toString()方法。

比如，我們有以下源碼：

class User {

    private String username;
    /**
     * 密碼，增加了脫敏注解
     */
    @Desensitize
    private String password;
}

在接入轉(zhuǎn)轉(zhuǎn)APT后，反編譯的Class文件如下：

class User {
    private String username;
    @Desensitize
    private String password;

    public String toString() {
        StringJoiner sj = new StringJoiner(", ", "User[", "]");
        
        if (this.username != null) {
            sj.add("username=" + this.username);
        }
 
        if (this.password != null) {
            sj.add("password=" + DesensitizeUtil.desensitizeByInputLength(value));
        }
 
        return sj.toString();
    }
}

測試如下：

User user = new User();
user.username = "zhangsan";
user.password = "123456";

System.out.println(user);  
//輸出結(jié)果: User[username=張三, password=1****6]

這個功能的上線大大降低了業(yè)務(wù)同學(xué)實現(xiàn)日志脫敏的工作量，只需為字段添加脫敏注解即可。同時，也解決了線上對象未重寫Object.toString()時打印日志的尷尬問題。

不過，在落地APT過程中，我們也遇到了一些問題，希望能給讀者提供一些有收益的參考。

3.3.1 本地緩存問題

在某個服務(wù)的Spring Bean上，有一個包含大量本地緩存的List字段，這個服務(wù)會打印Spring Bean對象到日志中。在引入轉(zhuǎn)轉(zhuǎn)APT之前，一切正常；但引入后，出現(xiàn)了頻繁的OOM問題。通過內(nèi)存分析后發(fā)現(xiàn)，問題出在轉(zhuǎn)轉(zhuǎn)APT為Spring Bean自動生成的toString()函數(shù)內(nèi)產(chǎn)生了大量的字符串上。

@Service
public class AppService {
    /**
     * 本地緩存
     */
    private List<Object> cache = new ArrayList<>();
    
}

@Autowired
private AppService service;

log.info("service={}", service);

我們觀察到大部分帶有本地緩存（或者高內(nèi)存占用字段）的對象都是Spring的Bean，因此，我們對轉(zhuǎn)轉(zhuǎn)APT進(jìn)行了修改：即不再為Spring Bean生成toString()函數(shù)。

3.3.2 JDK序列化問題

某個服務(wù)的JavaBean使用了原生JDK的序列化/反序列化工具，但是這個JavaBean卻沒有添加serialVersionUID。

class Person implements Serializable {

    // 沒有定義serialVersionUID
    // private static final long serialVersionUID = -55721300387280236L;

}

Java序列化機(jī)制使用long型的serialVersionUID字段來標(biāo)志類的版本號；序列化對象時，JVM會將serialVersionUID的值寫入序列化數(shù)據(jù)中；反序列化時，JVM會將序列化數(shù)據(jù)中的serialVersionUID與對應(yīng)類中的serialVersionUID進(jìn)行比較，若不同，則拋出InvalidCastException；若版本號相同，則能夠進(jìn)行反序列化。

當(dāng)一個類沒有顯式定義serialVersionUID時，JVM會自動根據(jù)類的信息計算生成一個默認(rèn)的serialVersionUID。這樣，在類發(fā)生變化時，自動生成的serialVersionUID可能會改變，導(dǎo)致無法正確反序列化之前的數(shù)據(jù)。

引入轉(zhuǎn)轉(zhuǎn)APT后，由于自動生成了toString函數(shù)，類信息發(fā)生變化，導(dǎo)致serialVersionUID也發(fā)生了改變，進(jìn)而導(dǎo)致反序列化失敗。

解決方式是將之前默認(rèn)生成的serialVersionUID找到，并將其添加到類的源碼中。

3.4 棄用方案

還有一種快速落地的方法是，通過在應(yīng)用程序內(nèi)部統(tǒng)一攔截日志輸出，正則匹配敏感信息，并利用脫敏工具進(jìn)行脫敏處理。

我們沒有使用這種方式的原因是因為：脫敏應(yīng)盡量避免正則匹配，容易誤傷且性能低下。

4 規(guī)劃

上文提過，服務(wù)內(nèi)依賴的Java Bean來源十分復(fù)雜，我們目前只解決了對象本身的脫敏問題。而對于服務(wù)依賴的Jar包版本控制，仍需要業(yè)務(wù)團(tuán)隊梳理依賴關(guān)系，并手動修改脫敏后的Jar包版本，這一過程仍需要耗費(fèi)較多的時間和人力。

考慮到這個問題，是否可以為每個服務(wù)提供一個依賴關(guān)系管控系統(tǒng)？該系統(tǒng)可以對Jar包的版本實現(xiàn)自動更新、自動化測試、灰度發(fā)布、自動發(fā)布和回滾等一系列功能。對于轉(zhuǎn)轉(zhuǎn)目前的情況來說，我相信這不是一個技術(shù)問題，而是一個需要更多時間來完善的TODO List。

圖片

5 總結(jié)

一個小小的功能日志脫敏，卻經(jīng)歷了多個階段與挑戰(zhàn)，從敏感日志的發(fā)現(xiàn)到開發(fā)脫敏工具類，再到Json脫敏，再到APT脫敏，最終推動業(yè)務(wù)應(yīng)用。核心的挑戰(zhàn)在于如何做好推動相關(guān)的工作？

我認(rèn)為，推動相關(guān)工作的核心在于有效應(yīng)對內(nèi)在和外在的因素。然而，外部因素對推動的阻力常常更大，要成功推動工作，轉(zhuǎn)變外部阻力為內(nèi)部動力至關(guān)重要。而對于推動者而言，換位思考、勇于挑戰(zhàn)未知、深入追根究底的打磨產(chǎn)品會使產(chǎn)品更容易被接受和推廣。