1. 引言

為什么企業(yè)招不到人，求職者也說(shuō)找不到工作？

前段時(shí)間公司的師兄在面試候選人之后，發(fā)出了這樣感慨：2023 年，企業(yè)太難招到人了！

而同時(shí)，脈脈（技術(shù)圈社交軟件）上也是一片哀鴻，說(shuō)今年互聯(lián)網(wǎng)行情非常差。

圖片來(lái)源：脈脈，侵刪

也正如脈脈這位網(wǎng)友所言，現(xiàn)在做普通業(yè)務(wù)的后臺(tái)開(kāi)發(fā)基本都是 CRUD（數(shù)據(jù)庫(kù) “增刪改查” 的意思，形容沒(méi)有技術(shù)含量的活），正常情況下很少涉及高并發(fā)、海量數(shù)據(jù)的實(shí)踐場(chǎng)景。

畢竟，技術(shù)服務(wù)于業(yè)務(wù)，如果你的業(yè)務(wù)每天就幾百人使用，咱搞個(gè)能抗幾千萬(wàn)并發(fā)的系統(tǒng)又有什么意義呢？

性價(jià)比不高！

但是，這些企業(yè) HR 能不知道嗎？企業(yè)面試官也不是傻子，天天在簡(jiǎn)歷和面試上挑挑揀揀的，也耽誤時(shí)間。有這功夫，不如在工位多摸一會(huì)魚(yú)，不香嗎？

所以啊，你用沒(méi)用過(guò)，和你知不知道是兩個(gè)概念。面評(píng)里一般會(huì)有幾個(gè)等級(jí)的打分，分別是：

• 差：和簡(jiǎn)歷完全不符，懷疑簡(jiǎn)歷造假。
• 中：可以略答一二，但核心要點(diǎn)說(shuō)不清楚。
• 良：可以說(shuō)清楚，但實(shí)踐不足。
• 優(yōu)：邏輯清晰，表達(dá)精準(zhǔn)，實(shí)踐豐富。

但是，有面評(píng)的前提是：你得通過(guò)簡(jiǎn)歷。

如果你的簡(jiǎn)歷全是 CRUD，那面試官根本不會(huì)想和你聊！

所以，為了擺脫 CRUD-candidate 的身份，今天小?和大家聊一聊數(shù)據(jù)量增長(zhǎng)和高并發(fā)帶來(lái)的數(shù)據(jù)庫(kù)問(wèn)題以及如何解決。

1.2 用戶激增，怎么破？

當(dāng)用戶量和數(shù)據(jù)量激增時(shí)，對(duì)于 MySQL 這樣的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，如何有效地應(yīng)對(duì)高并發(fā)、高性能成了工程師們一項(xiàng)重要的任務(wù)。

在這篇文章中，我們將探討兩種常見(jiàn)的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)策略：MySQL 的拆表（Sharding）和分片（Table Partitioning）。

圖片

這兩種策略都旨在應(yīng)對(duì)數(shù)據(jù)規(guī)模的增大以及高并發(fā)訪問(wèn)的問(wèn)題，但它們各有特點(diǎn)，適用于不同的場(chǎng)景和需求。

本文將通過(guò)深入拆表和分片的原理、應(yīng)用場(chǎng)景以及優(yōu)缺點(diǎn)，為大家揭示如何在面對(duì)不斷增長(zhǎng)的數(shù)據(jù)和流量時(shí)，保持?jǐn)?shù)據(jù)庫(kù)的高性能和可用性。

無(wú)論您是一名數(shù)據(jù)庫(kù)工程師、開(kāi)發(fā)人員，還是對(duì)數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)感興趣的朋友，本文都將為您提供有價(jià)值的見(jiàn)解，幫助您更好地應(yīng)對(duì)數(shù)據(jù)庫(kù)擴(kuò)展的挑戰(zhàn)。

而且，數(shù)據(jù)庫(kù)擴(kuò)展是架構(gòu)設(shè)計(jì)繞不開(kāi)的一項(xiàng)重要話題，更是簡(jiǎn)歷和面試中合理 Zhuangbility 的要點(diǎn)內(nèi)容。

低投入，高回報(bào)，性價(jià)比極高！

接下來(lái)讓我們一起深入探討 MySQL 拆表和分片，為構(gòu)建可靠的系統(tǒng)架構(gòu)鋪平道路吧~~

2. 拆表

拆表是一種常見(jiàn)的數(shù)據(jù)庫(kù)分割技術(shù)，通常用于解決單表數(shù)據(jù)量過(guò)大、查詢性能下降以及維護(hù)困難等問(wèn)題，下面是拆表的一些場(chǎng)景及其優(yōu)缺點(diǎn)。

什么時(shí)候拆表？

1. 大數(shù)據(jù)量表：拆表適用于那些包含大量數(shù)據(jù)的表，例如日志表、歷史數(shù)據(jù)表、交易記錄表等。當(dāng)單個(gè)表的數(shù)據(jù)量已經(jīng)超過(guò)數(shù)據(jù)庫(kù)服務(wù)器的處理能力時(shí)，拆分成多個(gè)子表可以提高查詢性能。
2. 數(shù)據(jù)分區(qū)：某些應(yīng)用需要按照時(shí)間、地理位置等維度對(duì)數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)，以便更有效地管理和查詢數(shù)據(jù)。拆表可以將不同分區(qū)的數(shù)據(jù)存儲(chǔ)在不同的子表中，提高數(shù)據(jù)管理的效率。
3. 權(quán)限控制：在某些情況下，不同用戶或應(yīng)用程序需要訪問(wèn)相同表的不同數(shù)據(jù)集。通過(guò)拆分表，可以更容易地實(shí)現(xiàn)數(shù)據(jù)的權(quán)限控制。

怎么拆表？

假設(shè)有一個(gè) ChatGPT 人機(jī)對(duì)話系統(tǒng)，其中有一個(gè)對(duì)話表，每個(gè)對(duì)話包含多條對(duì)話句子。

在對(duì)話表 dialog 有一問(wèn)一答兩條數(shù)據(jù)：

可以發(fā)現(xiàn)，數(shù)據(jù)庫(kù)的 dialog_id、user_id、state 等信息重復(fù)冗余了。當(dāng)數(shù)據(jù)量增多時(shí)，類(lèi)似的數(shù)據(jù)不僅會(huì)大量浪費(fèi)磁盤(pán)空間，還會(huì)在查詢時(shí)影響整體性能，所以我們可以將其拆為兩個(gè)表：

dialog 對(duì)話表

sentence 對(duì)話句子表

這只是個(gè)相對(duì)簡(jiǎn)單的拆表例子，還有一些拆表可能根據(jù)用戶，或者時(shí)間來(lái)拆表。

圖片

比如，對(duì)于時(shí)間敏感的查詢業(yè)務(wù)，可以將主表按年、月、日來(lái)拆為多個(gè)表，以提升查詢性能。

拆表的好處

1. 提高查詢性能：拆表可以將大表拆分成多個(gè)較小的子表，從而加快查詢速度。查詢只需要針對(duì)特定子表進(jìn)行，減少了掃描的數(shù)據(jù)量。
2. 靈活性：拆表可以根據(jù)不同的業(yè)務(wù)需求進(jìn)行定制，例如按時(shí)間、地理位置、用戶等維度進(jìn)行拆分，提高數(shù)據(jù)管理的靈活性。
3. 維護(hù)和備份：拆表可以使備份和維護(hù)更加容易，可以單獨(dú)備份和維護(hù)每個(gè)子表，而不影響其他子表的正常運(yùn)行。

拆表的壞處

1. 復(fù)雜性：拆表需要額外的管理和維護(hù)工作，包括數(shù)據(jù)遷移、查詢路由、子表之間的關(guān)聯(lián)等。增加了系統(tǒng)復(fù)雜性。
2. 查詢路由：在查詢時(shí)需要確定查詢應(yīng)該路由到哪個(gè)子表，這可能需要額外的路由邏輯和代碼。
3. 跨子表查詢：如果查詢需要涉及多個(gè)子表的數(shù)據(jù)，可能需要更復(fù)雜的 SQL 查詢語(yǔ)句和邏輯。
4. 數(shù)據(jù)一致性：在拆表的環(huán)境下，確保數(shù)據(jù)一致性可能會(huì)更加復(fù)雜，需要額外的措施。

綜合考慮，拆表是一種有效的數(shù)據(jù)庫(kù)性能優(yōu)化方法，但需要根據(jù)具體的業(yè)務(wù)需求和數(shù)據(jù)特點(diǎn)來(lái)決定是否采用，以及如何進(jìn)行拆表設(shè)計(jì)。

3. 分片

分片 是將大型數(shù)據(jù)庫(kù)分成多個(gè)小片段的方法，每個(gè)片段獨(dú)立運(yùn)行。

使用分片場(chǎng)景包括：

• 高并發(fā)寫(xiě)入：當(dāng)一個(gè)表需要頻繁進(jìn)行插入、更新或刪除操作，可能會(huì)導(dǎo)致鎖競(jìng)爭(zhēng)和性能下降。通過(guò)拆分表，可以將寫(xiě)入操作分散到多個(gè)分片，減輕鎖競(jìng)爭(zhēng)，提高并發(fā)性能。
• 多租戶系統(tǒng)：在多租戶系統(tǒng)中，不同租戶的數(shù)據(jù)可以存儲(chǔ)在不同的分片中，確保數(shù)據(jù)隔離。

分片也需要考慮數(shù)據(jù)一致性和查詢路由的問(wèn)題。通常，分片數(shù)據(jù)庫(kù)需要一個(gè)中心控制節(jié)點(diǎn)來(lái)管理數(shù)據(jù)分布和查詢路由。

比如，在上述 dialog 表例子上，我們用 user_id 作為哈希鍵分片。

圖片

具體做法為：把數(shù)據(jù)的 user_id 對(duì)數(shù)據(jù)分片數(shù)量取余，假設(shè)我們一共有 8 個(gè)分片，user_id 為 10 時(shí)，就將該數(shù)據(jù)插入 dialog_2 的分片中（10%8 = 2）。

查詢時(shí)也是先哈希，再去對(duì)應(yīng)的分片上查找數(shù)據(jù)，以此減少每個(gè)分片的數(shù)據(jù)量，提升數(shù)據(jù)庫(kù)的響應(yīng)速度，分片的優(yōu)缺點(diǎn)如下。

分片的好處

1. 水平擴(kuò)展：分片允許數(shù)據(jù)庫(kù)系統(tǒng)水平擴(kuò)展，通過(guò)添加更多的分片來(lái)增加存儲(chǔ)容量和吞吐量。
2. 高并發(fā)：每個(gè)分片可以并行處理寫(xiě)入操作，減少鎖競(jìng)爭(zhēng)，提高并發(fā)性能。
3. 數(shù)據(jù)隔離：不同分片之間的數(shù)據(jù)相互隔離，有助于保持?jǐn)?shù)據(jù)的完整性和隱私性。

分片的壞處

1. 復(fù)雜性：分片增加了系統(tǒng)的復(fù)雜性，包括數(shù)據(jù)路由、分片鍵選擇、數(shù)據(jù)遷移等方面的管理工作。
2. 跨分片查詢：在跨越多個(gè)分片的查詢中，需要合并和聚合數(shù)據(jù)，可能導(dǎo)致性能下降。
3. 數(shù)據(jù)一致性：確?？绶制瑪?shù)據(jù)的一致性是一個(gè)挑戰(zhàn)，可能需要實(shí)施額外的措施。

看到這里，大家可能有點(diǎn)疑惑。對(duì)于數(shù)據(jù)量的增加，拆表和分片都可以起到一定的作用，也都會(huì)出現(xiàn)數(shù)據(jù)一致性問(wèn)題，那他們的區(qū)別是啥呢？

別急，接著往下看。

4. 拆表 VS 分片

MySQL的拆表和分片都是用于處理大規(guī)模數(shù)據(jù)的技術(shù)，但它們的應(yīng)用場(chǎng)景和方式有所不同，以下是它們的聯(lián)系和區(qū)別。

相同點(diǎn)

1. 處理大規(guī)模數(shù)據(jù)：拆表和分片都是為了應(yīng)對(duì)數(shù)據(jù)量巨大的情況而設(shè)計(jì)的。它們可以提高數(shù)據(jù)庫(kù)系統(tǒng)的性能和擴(kuò)展性，以應(yīng)對(duì)高并發(fā)和大量數(shù)據(jù)存儲(chǔ)需求。
2. 水平擴(kuò)展：拆表和分片都支持水平擴(kuò)展，允許將數(shù)據(jù)分布在多個(gè)物理存儲(chǔ)位置上，以分?jǐn)傌?fù)載并提高性能。

不同點(diǎn)

應(yīng)用場(chǎng)景不同

• 拆表：通常在單一表中存儲(chǔ)的數(shù)據(jù)量已經(jīng)非常龐大，難以繼續(xù)擴(kuò)展或查詢性能下降時(shí)，考慮拆分表。拆表是將單一表按照某種規(guī)則或邏輯分割成多個(gè)較小的表，通常是為了提高查詢性能或簡(jiǎn)化數(shù)據(jù)管理。每個(gè)拆分的表通常保留原表的一部分?jǐn)?shù)據(jù)。
• 分片：適用于整個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)量已經(jīng)無(wú)法容納在一臺(tái)服務(wù)器上，或者需要跨多臺(tái)服務(wù)器水平擴(kuò)展的情況。分片是將數(shù)據(jù)庫(kù)中的數(shù)據(jù)按照某種規(guī)則或策略分布到多個(gè)物理服務(wù)器上，每個(gè)服務(wù)器稱(chēng)為一個(gè)分片。分片通常是為了提高整體系統(tǒng)的性能、可用性和擴(kuò)展性。

數(shù)據(jù)分布方式不同

• 拆表：拆表是在邏輯上將數(shù)據(jù)拆分為多個(gè)表，但這些表通常仍然存儲(chǔ)在同一個(gè)數(shù)據(jù)庫(kù)實(shí)例中。各個(gè)表之間可能存在關(guān)聯(lián)關(guān)系，但它們?cè)谕粩?shù)據(jù)庫(kù)中。
• 分片：分片是將數(shù)據(jù)分布到多個(gè)物理服務(wù)器上，每個(gè)服務(wù)器上都有自己的數(shù)據(jù)庫(kù)實(shí)例。各個(gè)分片之間通常是獨(dú)立的，可以在不同的服務(wù)器上運(yùn)行。

管理復(fù)雜度不同

• 拆表：相對(duì)于分片，拆表的管理復(fù)雜度較低，因?yàn)樗袛?shù)據(jù)仍然在同一個(gè)數(shù)據(jù)庫(kù)中。但需要注意表之間的關(guān)聯(lián)和查詢性能。
• 分片：分片可能涉及到跨多個(gè)服務(wù)器的數(shù)據(jù)同步、故障恢復(fù)、路由管理等復(fù)雜問(wèn)題，管理上相對(duì)復(fù)雜一些。

查詢方式不同

• 拆表：查詢通常需要在多個(gè)表之間進(jìn)行聯(lián)合或使用應(yīng)用程序邏輯來(lái)合并結(jié)果，查詢性能可能會(huì)因此受到一定影響。
• 分片：分片系統(tǒng)通常具有路由層，負(fù)責(zé)將查詢路由到正確的分片上，因此查詢通常更為直接和高效。

綜上所述，拆表和分片都是用于處理大規(guī)模數(shù)據(jù)的技術(shù)，但在應(yīng)用場(chǎng)景、管理復(fù)雜度、數(shù)據(jù)分布方式和查詢方式等方面存在差異。

選擇哪種技術(shù)取決于具體的需求和系統(tǒng)架構(gòu)，一般情況下，應(yīng)對(duì)高并發(fā)和海量數(shù)據(jù)，分片拆表（又叫分庫(kù)分表）都會(huì)用到。

數(shù)據(jù)一致性問(wèn)題

拆表和分片都可能引入數(shù)據(jù)一致性問(wèn)題，但問(wèn)題的性質(zhì)和解決方法有所不同。

拆表的數(shù)據(jù)一致性問(wèn)題

還以上述的對(duì)話表舉例，原始的 dialog 表是一個(gè)單一的表，每個(gè)對(duì)話項(xiàng)都以對(duì)話 ID 關(guān)聯(lián)。

現(xiàn)在，為了優(yōu)化查詢性能，決定將對(duì)話表拆分為兩個(gè)表：dialog 和 sentence 表。

在這種情況下，數(shù)據(jù)一致性問(wèn)題可能出現(xiàn)在以下情況下：

• 當(dāng)向 dialog 表插入新對(duì)話時(shí)，如果在插入 sentence 之前發(fā)生了錯(cuò)誤，可能導(dǎo)致對(duì)話主表和對(duì)話句子表之間的數(shù)據(jù)不一致。
• 當(dāng)從 dialog 表刪除對(duì)話時(shí)，如果在刪除相關(guān)的對(duì)話句子之前發(fā)生了錯(cuò)誤，也可能導(dǎo)致數(shù)據(jù)不一致。

解決這些問(wèn)題的方法通常包括使用事務(wù)或一致性哈希等技術(shù)來(lái)確保數(shù)據(jù)操作的原子性。如果數(shù)據(jù)一致性對(duì)業(yè)務(wù)非常重要，建議使用數(shù)據(jù)庫(kù)事務(wù)來(lái)處理這些操作。

不了解事務(wù)的朋友可以看我之前的這篇文章，解鎖MySQL的黑科技：事務(wù)與隔離

分片的數(shù)據(jù)一致性問(wèn)題

假設(shè)有一個(gè)社交媒體應(yīng)用程序，用戶數(shù)據(jù)表存儲(chǔ)了全球 10 億用戶的數(shù)據(jù)，現(xiàn)在決定將用戶數(shù)據(jù)分片到不同的數(shù)據(jù)庫(kù)服務(wù)器上，以提高性能。

分片的方式可能是按用戶 ID 的范圍進(jìn)行劃分，每個(gè)分片負(fù)責(zé)一定范圍內(nèi)的用戶數(shù)據(jù)。

在這種情況下，數(shù)據(jù)一致性問(wèn)題可能出現(xiàn)在以下情況下：

• 當(dāng)用戶在不同分片之間進(jìn)行互動(dòng)（例如，用戶 A 在分片 1 上，用戶 B 在分片 2 上）時(shí)，需要確?？绶制牟僮骶哂幸恢滦?。
• 如果一個(gè)分片的服務(wù)器發(fā)生故障，需要確保用戶數(shù)據(jù)可以遷移到其他分片而不丟失或破壞。

解決這些問(wèn)題的方法通常包括使用分布式事務(wù)或一致性哈希等分片技術(shù)。例如，可以使用分布式事務(wù)來(lái)確?？绶制牟僮魇窃有缘模蛘呤褂脭?shù)據(jù)復(fù)制和備份來(lái)確保故障恢復(fù)。

總之，拆表和分片都可能引入數(shù)據(jù)一致性問(wèn)題，但可以通過(guò)適當(dāng)?shù)募夹g(shù)和設(shè)計(jì)來(lái)解決這些問(wèn)題，以確保數(shù)據(jù)的完整性和一致性。

5. 小結(jié)

MySQL 拆表和分片的設(shè)計(jì)策略，為應(yīng)對(duì)不斷增長(zhǎng)的數(shù)據(jù)和高并發(fā)訪問(wèn)提供了可行的解決方案，同時(shí)也伴隨著各自的優(yōu)勢(shì)和挑戰(zhàn)。

拆表，像一位精巧的工匠，把復(fù)雜的數(shù)據(jù)庫(kù)切割成可管理的小塊，為數(shù)據(jù)的水平擴(kuò)展提供了堅(jiān)實(shí)的基礎(chǔ)。

而分片，似一位智慧的園丁，將數(shù)據(jù)按照規(guī)則有序地分類(lèi)，使得數(shù)據(jù)庫(kù)的維護(hù)和查詢更加高效。

但是，無(wú)論是選擇拆表還是分片，都需要根據(jù)實(shí)際需求和場(chǎng)景來(lái)進(jìn)行權(quán)衡和決策。

本文我們剖析了這兩種策略的內(nèi)部工作原理，還深入探討了它們的使用場(chǎng)景、優(yōu)點(diǎn)和限制。通過(guò)這些知識(shí)，相信屏幕前的你已經(jīng)對(duì)如何更好地構(gòu)建和維護(hù) MySQL 數(shù)據(jù)庫(kù)有了更清晰的認(rèn)識(shí)。

無(wú)論您是一名數(shù)據(jù)庫(kù)專(zhuān)業(yè)人士，還是對(duì)技術(shù)探索充滿激情的讀者，都希望這篇文章能為您帶來(lái)價(jià)值和啟發(fā)。