兄弟們，今天咱們來(lái)聊聊一個(gè)刺激的話(huà)題 —— 假設(shè)你在阿里二面現(xiàn)場(chǎng)，面試官突然拋出一個(gè)問(wèn)題："如果外部接口集體罷工，系統(tǒng)全線(xiàn)崩潰，你該怎么破？" 此時(shí)，你的大腦是否已經(jīng)開(kāi)始瘋狂運(yùn)轉(zhuǎn)，手心是不是也冒出了冷汗？別慌，咱們今天就來(lái)好好盤(pán)一盤(pán)這個(gè)讓人 "血崩" 的問(wèn)題。

一、外部接口罷工，系統(tǒng)為何會(huì)崩潰？

咱先搞清楚，外部接口集體罷工，為啥會(huì)讓系統(tǒng)全線(xiàn)崩潰呢？這就好比咱們?nèi)ゲ蛷d吃飯，餐廳需要從供應(yīng)商那里采購(gòu)食材，要是供應(yīng)商突然都不供貨了，餐廳是不是就沒(méi)法正常營(yíng)業(yè)了？在咱們的系統(tǒng)里，外部接口就相當(dāng)于供應(yīng)商，我們的系統(tǒng)依賴(lài)這些接口獲取數(shù)據(jù)或者調(diào)用服務(wù)。當(dāng)這些接口突然不可用，比如超時(shí)、返回錯(cuò)誤碼，或者直接沒(méi)響應(yīng)了，咱們的系統(tǒng)如果處理不當(dāng)，就會(huì)出大問(wèn)題。

（一）級(jí)聯(lián)故障：一個(gè)倒下，個(gè)個(gè)遭殃

想象一下，咱們的系統(tǒng)有多個(gè)服務(wù)，服務(wù) A 調(diào)用外部接口獲取數(shù)據(jù)，然后服務(wù) B 又依賴(lài)服務(wù) A 的結(jié)果，服務(wù) C 再依賴(lài)服務(wù) B…… 如果外部接口掛了，服務(wù) A 調(diào)用的時(shí)候就會(huì)一直等待或者頻繁報(bào)錯(cuò)。服務(wù) A 為了獲取數(shù)據(jù)，可能會(huì)不斷重試，這就會(huì)占用大量的線(xiàn)程、連接等資源。服務(wù) B 等待服務(wù) A 的響應(yīng)，也會(huì)一直阻塞，資源得不到釋放。這樣一層一層下去，就像多米諾骨牌一樣，最終導(dǎo)致整個(gè)系統(tǒng)的資源被耗盡，所有服務(wù)都無(wú)法正常工作，這不就全線(xiàn)崩潰了嘛。

（二）資源耗盡：線(xiàn)程池滿(mǎn)了，連接池也滿(mǎn)了

咱們的系統(tǒng)為了處理請(qǐng)求，一般會(huì)用線(xiàn)程池來(lái)管理線(xiàn)程，用連接池來(lái)管理和外部接口的連接。比如，假設(shè)線(xiàn)程池有 100 個(gè)線(xiàn)程，每個(gè)線(xiàn)程去調(diào)用外部接口時(shí)，因?yàn)榻涌诔瑫r(shí)，線(xiàn)程就會(huì)一直卡在那里等待。如果同時(shí)有很多請(qǐng)求進(jìn)來(lái)，很快線(xiàn)程池的線(xiàn)程就全被占用了，后面的請(qǐng)求就只能排隊(duì)等待。同樣，連接池的連接也會(huì)被占滿(mǎn)，無(wú)法再建立新的連接去調(diào)用其他接口。這時(shí)候，系統(tǒng)就像一個(gè)被堵得水泄不通的十字路口，完全動(dòng)彈不得。

（三）用戶(hù)體驗(yàn)：界面卡死，請(qǐng)求超時(shí)

從用戶(hù)的角度來(lái)看，他們?cè)L問(wèn)系統(tǒng)時(shí)，頁(yè)面可能一直加載不出來(lái)，或者直接報(bào)錯(cuò)說(shuō) "網(wǎng)絡(luò)超時(shí)"。這不僅會(huì)讓用戶(hù)體驗(yàn)極差，而且如果是電商、金融等對(duì)實(shí)時(shí)性要求很高的系統(tǒng)，還可能造成巨大的經(jīng)濟(jì)損失和用戶(hù)流失。

二、應(yīng)對(duì)策略：見(jiàn)招拆招，讓系統(tǒng)穩(wěn)如泰山

既然知道了問(wèn)題所在，那咱們?cè)撛趺磻?yīng)對(duì)呢？別著急，咱們有一系列的 "組合拳" 來(lái)應(yīng)對(duì)外部接口故障，讓系統(tǒng)在風(fēng)暴中也能保持穩(wěn)定。

（一）熔斷：該斷則斷，及時(shí)止損

啥是熔斷呢？咱們可以把它想象成電路中的保險(xiǎn)絲。當(dāng)電路過(guò)載時(shí)，保險(xiǎn)絲會(huì)熔斷，防止整個(gè)電路被燒毀。在咱們的系統(tǒng)里，熔斷就是當(dāng)調(diào)用外部接口的失敗率達(dá)到一定閾值，或者超時(shí)次數(shù)過(guò)多時(shí)，就暫時(shí)切斷對(duì)該接口的調(diào)用，就像給接口 "拉閘斷電" 一樣。這樣可以避免大量的無(wú)效請(qǐng)求繼續(xù)占用資源，讓系統(tǒng)有時(shí)間 "緩口氣"。

1. 熔斷的實(shí)現(xiàn)原理

一般來(lái)說(shuō)，熔斷機(jī)制需要維護(hù)一個(gè)狀態(tài)機(jī)，通常有三種狀態(tài)：閉合（正常調(diào)用）、打開(kāi)（熔斷，拒絕調(diào)用）、半打開(kāi)（嘗試恢復(fù)調(diào)用）。當(dāng)處于閉合狀態(tài)時(shí)，系統(tǒng)正常調(diào)用外部接口，同時(shí)統(tǒng)計(jì)失敗次數(shù)或失敗率。如果達(dá)到了熔斷條件，就切換到打開(kāi)狀態(tài)，此時(shí)所有對(duì)該接口的調(diào)用都會(huì)直接失敗，快速返回，而不是一直等待超時(shí)。過(guò)了一段時(shí)間后，進(jìn)入半打開(kāi)狀態(tài)，允許少量的請(qǐng)求去嘗試調(diào)用接口，如果這些請(qǐng)求成功了，就認(rèn)為接口可能恢復(fù)了，切換回閉合狀態(tài)；如果還是失敗，就繼續(xù)保持打開(kāi)狀態(tài)。

2. 常用的熔斷框架

在 Java 領(lǐng)域，Hystrix 曾經(jīng)是非常流行的熔斷框架，不過(guò)現(xiàn)在 Spring Cloud 推薦使用 Resilience4j。咱們以 Resilience4j 為例，來(lái)看看怎么使用。首先，引入依賴(lài)：

<dependency>
    <groupId>io.github.resilience4j</groupId>
    <artifactId>resilience4j-circuitbreaker</artifactId>
    <version>1.7.1</version>
</dependency>

然后，在代碼中配置熔斷策略：

CircuitBreakerConfig config = CircuitBreakerConfig.custom()
   .failureRateThreshold(50) // 失敗率閾值，50%
   .minimumNumberOfCalls(10) // 最小調(diào)用次數(shù)，達(dá)到這個(gè)次數(shù)才會(huì)計(jì)算失敗率
   .slidingWindowSize(10) // 滑動(dòng)窗口大小
   .build();
CircuitBreaker circuitBreaker = CircuitBreaker.of("externalService", config);

當(dāng)調(diào)用外部接口時(shí)，用熔斷包裝一下：

Supplier<String> supplier = () -> callExternalService();
String result = CircuitBreaker.executeSupplier(circuitBreaker, supplier);

這樣，當(dāng)外部接口的失敗率超過(guò) 50%，并且在最近 10 次調(diào)用中，就會(huì)觸發(fā)熔斷，拒絕后續(xù)的調(diào)用，直到進(jìn)入半打開(kāi)狀態(tài)嘗試恢復(fù)。

（二）降級(jí)：有舍有得，保證核心

降級(jí)和熔斷有點(diǎn)像，但又不一樣。熔斷是被動(dòng)的，當(dāng)接口故障時(shí)才觸發(fā)；而降級(jí)是主動(dòng)的，比如在系統(tǒng)負(fù)載過(guò)高時(shí)，為了保證核心功能的正常運(yùn)行，主動(dòng)對(duì)一些非核心的功能進(jìn)行降級(jí)處理。比如說(shuō)，電商系統(tǒng)在大促期間，為了保證用戶(hù)下單和支付功能正常，可能會(huì)暫時(shí)關(guān)閉商品評(píng)論的加載，這就是降級(jí)。

1. 降級(jí)的策略

降級(jí)可以分為自動(dòng)降級(jí)和手動(dòng)降級(jí)。自動(dòng)降級(jí)可以根據(jù)一些指標(biāo)，比如 CPU 使用率、內(nèi)存使用率、線(xiàn)程池隊(duì)列長(zhǎng)度等來(lái)觸發(fā)。手動(dòng)降級(jí)則是通過(guò)配置開(kāi)關(guān)，在需要的時(shí)候人工觸發(fā)，比如發(fā)現(xiàn)某個(gè)外部接口即將出現(xiàn)問(wèn)題，提前進(jìn)行降級(jí)。

2. 降級(jí)的實(shí)現(xiàn)

同樣以 Resilience4j 為例，它不僅支持熔斷，還支持降級(jí)。我們可以為降級(jí)定義一個(gè) fallback 方法，當(dāng)調(diào)用外部接口失敗或者觸發(fā)降級(jí)條件時(shí)，就調(diào)用這個(gè) fallback 方法，返回一個(gè)默認(rèn)值或者簡(jiǎn)單的提示信息。

public String fallback(Throwable throwable) {
    // 這里可以返回默認(rèn)數(shù)據(jù)，或者記錄日志等
    return "降級(jí)處理，暫時(shí)無(wú)法獲取數(shù)據(jù)";
}

然后在調(diào)用的時(shí)候，指定 fallback 方法：

String result = CircuitBreaker.executeSupplier(circuitBreaker, supplier)
   .onFailure(fallback::fallback);

這樣，當(dāng)外部接口調(diào)用失敗時(shí)，就會(huì)返回降級(jí)后的結(jié)果，而不是讓用戶(hù)看到錯(cuò)誤信息或者一直等待。

（三）限流：控制流量，防止過(guò)載

限流就像是在高速公路上設(shè)置收費(fèi)站，控制車(chē)輛的通行速度，防止道路堵塞。在系統(tǒng)中，限流就是控制對(duì)外部接口的調(diào)用頻率，防止瞬間的大量請(qǐng)求壓垮接口或者耗盡系統(tǒng)資源。

1. 常見(jiàn)的限流算法

• 令牌桶算法：想象一個(gè)桶里有固定數(shù)量的令牌，系統(tǒng)以恒定的速率向桶里添加令牌，當(dāng)請(qǐng)求到來(lái)時(shí)，需要從桶里獲取一個(gè)令牌才能繼續(xù)處理。如果桶里沒(méi)有令牌了，請(qǐng)求就會(huì)被拒絕或者排隊(duì)等待。這種算法可以很好地應(yīng)對(duì)突發(fā)流量，因?yàn)橥袄锟梢灶A(yù)先存儲(chǔ)一定數(shù)量的令牌。
• 漏桶算法：漏桶就像一個(gè)底部有小孔的桶，水（請(qǐng)求）進(jìn)入桶里，然后以恒定的速率流出（處理請(qǐng)求）。如果桶滿(mǎn)了，后面的水就會(huì)溢出（請(qǐng)求被拒絕）。這種算法可以保證請(qǐng)求的處理速率是恒定的，適合對(duì)流量進(jìn)行平滑處理。

2. 限流框架推薦

Spring Cloud Gateway 自帶了限流功能，我們可以通過(guò)配置來(lái)實(shí)現(xiàn)。比如，基于 Redis 的限流，記錄每個(gè)用戶(hù)的請(qǐng)求次數(shù)，當(dāng)超過(guò)閾值時(shí)拒絕請(qǐng)求。另外，Sentinel 也是一個(gè)強(qiáng)大的限流和容錯(cuò)框架，它支持多種限流策略，比如基于 QPS、并發(fā)線(xiàn)程數(shù)等，還可以結(jié)合熔斷、降級(jí)一起使用。

以 Sentinel 為例，引入依賴(lài)：

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-core</artifactId>
    <version>1.8.5</version>
</dependency>

然后定義資源和限流規(guī)則：

// 定義資源
Entry entry = null;
try {
    entry = SphU.entry("externalService");
    // 調(diào)用外部接口
    callExternalService();
} catch (BlockException e) {
    // 處理限流后的邏輯
    return "請(qǐng)求過(guò)多，請(qǐng)稍后再試";
} finally {
    if (entry != null) {
        entry.exit();
    }
}
// 配置限流規(guī)則
List<FlowRule> rules = new ArrayList<>();
FlowRule rule = new FlowRule();
rule.setResource("externalService");
rule.setCount(100); // 每秒最多允許100次請(qǐng)求
rule.setGrade(RuleConstant.FLOW_GRADE_QPS);
rules.add(rule);
FlowRuleManager.loadRules(rules);

這樣，當(dāng)對(duì) "externalService" 的調(diào)用 QPS 超過(guò) 100 時(shí)，就會(huì)觸發(fā)限流，拒絕多余的請(qǐng)求。

（四）重試：給接口一次機(jī)會(huì)，但別死磕

重試就是當(dāng)調(diào)用外部接口失敗時(shí)，重新嘗試調(diào)用一次或多次。不過(guò)，重試可不是盲目地一直試，得有策略，不然可能會(huì)加重問(wèn)題。比如，如果外部接口是因?yàn)闀簳r(shí)的網(wǎng)絡(luò)波動(dòng)導(dǎo)致失敗，重試一次可能就成功了；但如果接口已經(jīng)徹底掛了，還一直重試，那就會(huì)浪費(fèi)資源。

1. 重試的策略

• 固定間隔重試：每次失敗后，等待固定的時(shí)間再重試，比如 500 毫秒。
• 指數(shù)退避重試：第一次重試等待 100 毫秒，第二次等待 200 毫秒，第三次等待 400 毫秒，以此類(lèi)推，呈指數(shù)增長(zhǎng)。這樣可以避免在接口故障時(shí)，大量的重試請(qǐng)求同時(shí)發(fā)送，進(jìn)一步加重負(fù)載。
• 重試次數(shù)限制：設(shè)置最大重試次數(shù)，比如 3 次，超過(guò)后就不再重試，避免無(wú)限重試。

2. 結(jié)合熔斷和重試

重試通常要和熔斷結(jié)合使用，比如在熔斷打開(kāi)的時(shí)候，就不再進(jìn)行重試，直接觸發(fā)降級(jí)。否則，在接口故障時(shí)，重試會(huì)不斷發(fā)送請(qǐng)求，可能導(dǎo)致熔斷機(jī)制無(wú)法發(fā)揮作用。

（五）緩存：提前備貨，減少依賴(lài)

緩存就像是咱們家里的冰箱，提前把常用的食材（數(shù)據(jù)）存進(jìn)去，當(dāng)需要的時(shí)候直接從冰箱里拿，不用每次都去超市（調(diào)用外部接口）。對(duì)于一些不經(jīng)常變化的數(shù)據(jù)，我們可以把外部接口返回的結(jié)果緩存起來(lái)，這樣在接口故障時(shí)，仍然可以從緩存中獲取數(shù)據(jù)，保證系統(tǒng)的正常運(yùn)行。

1. 緩存的類(lèi)型

• 本地緩存：比如 Guava Cache、Caffeine，把數(shù)據(jù)緩存在應(yīng)用服務(wù)器的內(nèi)存中，訪(fǎng)問(wèn)速度快，但容量有限，并且多個(gè)服務(wù)器之間不共享緩存。
• 分布式緩存：比如 Redis、Memcached，數(shù)據(jù)存儲(chǔ)在獨(dú)立的緩存服務(wù)器中，容量大，支持分布式環(huán)境，多個(gè)服務(wù)器可以共享緩存。

2. 緩存的使用場(chǎng)景

適合緩存那些實(shí)時(shí)性要求不高的數(shù)據(jù)，比如商品的基本信息、用戶(hù)的基礎(chǔ)資料等。對(duì)于實(shí)時(shí)性要求很高的數(shù)據(jù)，比如用戶(hù)的賬戶(hù)余額，就不適合長(zhǎng)時(shí)間緩存。

（六）異步處理：不急不躁，慢慢來(lái)

異步處理就是把對(duì)外部接口的調(diào)用放到后臺(tái)線(xiàn)程去處理，主流程不需要等待接口返回結(jié)果，而是通過(guò)回調(diào)、消息隊(duì)列等方式獲取結(jié)果。這樣可以避免主線(xiàn)程被阻塞，提高系統(tǒng)的吞吐量。

比如，用戶(hù)提交一個(gè)表單，需要調(diào)用外部接口發(fā)送短信通知。我們可以把發(fā)送短信的任務(wù)放到消息隊(duì)列中，主流程立即返回給用戶(hù) "提交成功"，然后后臺(tái)線(xiàn)程從消息隊(duì)列中獲取任務(wù)，調(diào)用外部接口發(fā)送短信。即使外部接口暫時(shí)故障，消息隊(duì)列中的任務(wù)也可以在接口恢復(fù)后重新處理。

三、實(shí)戰(zhàn)演練：假設(shè)你在阿里二面現(xiàn)場(chǎng)

現(xiàn)在，咱們回到開(kāi)頭的場(chǎng)景，假設(shè)你在阿里二面現(xiàn)場(chǎng)，面試官問(wèn)你這個(gè)問(wèn)題，你該怎么回答呢？咱們來(lái)模擬一下你的回答：

" 面試官您好，當(dāng)遇到外部接口集體罷工，系統(tǒng)全線(xiàn)崩潰的情況，我會(huì)從以下幾個(gè)方面來(lái)處理。首先，我會(huì)考慮熔斷機(jī)制，就像電路中的保險(xiǎn)絲一樣，當(dāng)接口調(diào)用的失敗率達(dá)到一定閾值時(shí)，及時(shí)切斷調(diào)用，防止級(jí)聯(lián)故障。比如使用 Resilience4j 的熔斷框架，配置好失敗率閾值、最小調(diào)用次數(shù)等參數(shù)，讓系統(tǒng)在接口故障時(shí)快速失敗，而不是一直等待。

然后，結(jié)合降級(jí)策略，對(duì)非核心功能進(jìn)行降級(jí)處理。比如，如果系統(tǒng)中有一些次要的功能依賴(lài)于這些外部接口，我會(huì)主動(dòng)關(guān)閉這些功能，或者返回默認(rèn)數(shù)據(jù)，保證核心功能的正常運(yùn)行。比如電商系統(tǒng)中，暫時(shí)關(guān)閉商品評(píng)論的加載，優(yōu)先保證用戶(hù)下單和支付功能。

接下來(lái)，限流也是必不可少的。通過(guò)令牌桶或者漏桶算法，控制對(duì)外部接口的調(diào)用頻率，防止瞬間的大量請(qǐng)求壓垮接口或者耗盡系統(tǒng)資源。可以使用 Sentinel 框架來(lái)實(shí)現(xiàn)限流，根據(jù)接口的承載能力，設(shè)置合適的 QPS 閾值，當(dāng)請(qǐng)求超過(guò)閾值時(shí)，拒絕多余的請(qǐng)求。

對(duì)于一些可以重試的場(chǎng)景，我會(huì)使用重試機(jī)制，但會(huì)結(jié)合指數(shù)退避和重試次數(shù)限制，避免盲目重試。同時(shí)，重試要和熔斷結(jié)合，在熔斷打開(kāi)時(shí)不再重試，直接觸發(fā)降級(jí)。

另外，緩存也能發(fā)揮很大的作用。對(duì)于不經(jīng)常變化的數(shù)據(jù)，提前將外部接口的返回結(jié)果緩存起來(lái)，這樣在接口故障時(shí)，仍然可以從緩存中獲取數(shù)據(jù)，保證系統(tǒng)的正常展示。比如使用 Redis 作為分布式緩存，設(shè)置合理的緩存過(guò)期時(shí)間。

最后，考慮異步處理，將對(duì)外部接口的調(diào)用放到后臺(tái)線(xiàn)程或者消息隊(duì)列中，避免主線(xiàn)程阻塞，提高系統(tǒng)的吞吐量。比如通過(guò) Kafka 消息隊(duì)列，將需要調(diào)用外部接口的任務(wù)發(fā)送到隊(duì)列中，后臺(tái)消費(fèi)者線(xiàn)程再逐步處理，即使接口暫時(shí)故障，任務(wù)也可以在隊(duì)列中等待，接口恢復(fù)后繼續(xù)處理。

在處理過(guò)程中，我還會(huì)實(shí)時(shí)監(jiān)控系統(tǒng)的各項(xiàng)指標(biāo)，比如線(xiàn)程池狀態(tài)、連接池使用情況、接口調(diào)用的失敗率等，通過(guò) Prometheus 和 Grafana 等監(jiān)控工具，及時(shí)發(fā)現(xiàn)問(wèn)題并調(diào)整策略。同時(shí)，做好日志記錄，方便后續(xù)的問(wèn)題排查和復(fù)盤(pán)。"

這樣的回答，既涵蓋了各種應(yīng)對(duì)策略，又結(jié)合了具體的技術(shù)框架和實(shí)現(xiàn)方法，相信面試官會(huì)對(duì)你的回答滿(mǎn)意的。

四、總結(jié)：系統(tǒng)穩(wěn)定性，永遠(yuǎn)在路上

通過(guò)上面的分析，咱們知道了外部接口故障會(huì)帶來(lái)級(jí)聯(lián)故障、資源耗盡等問(wèn)題，而應(yīng)對(duì)這些問(wèn)題需要熔斷、降級(jí)、限流、重試、緩存、異步處理等一系列的技術(shù)手段。這些技術(shù)不是孤立的，而是需要結(jié)合起來(lái)使用，形成一套完整的容錯(cuò)體系。

同時(shí)，咱們也要明白，系統(tǒng)穩(wěn)定性是一個(gè)持續(xù)的過(guò)程，需要在設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、運(yùn)維等各個(gè)階段都考慮進(jìn)去。比如在設(shè)計(jì)階段，就做好接口的依賴(lài)分析，明確哪些是核心接口，哪些是非核心接口；在開(kāi)發(fā)階段，合理使用各種容錯(cuò)框架，編寫(xiě)健壯的代碼；在測(cè)試階段，進(jìn)行故障注入測(cè)試，模擬外部接口故障的場(chǎng)景，驗(yàn)證系統(tǒng)的容錯(cuò)能力；在運(yùn)維階段，做好監(jiān)控和報(bào)警，及時(shí)發(fā)現(xiàn)和處理問(wèn)題。