我一直想寫(xiě) MySQL 源碼分析文章，希望能夠達(dá)成 2 個(gè)目標(biāo)：

• 不想研究源碼的朋友，可以通過(guò)文章了解 MySQL 常用功能的實(shí)現(xiàn)邏輯，做到知其然，也知其所以然。
• 想研究源碼的朋友，能夠以文章為切入點(diǎn)，邁進(jìn) MySQL 源碼研究之門(mén)。

目標(biāo)是明確的，任務(wù)是艱巨的。

MySQL 源碼數(shù)量龐大，各種功能的代碼盤(pán)根錯(cuò)節(jié)，相互交織在一起，形成一張復(fù)雜的網(wǎng)。

想要把這張網(wǎng)中的某些部分拎出來(lái)寫(xiě)成文章，還要做到通俗易懂，這并不是件容易的事，我也就遲遲沒(méi)有動(dòng)手。

萬(wàn)事開(kāi)頭難，但是再難，總得開(kāi)始，才能有后續(xù)，所以，就有了這篇文章。

寫(xiě)文章是件費(fèi)時(shí)費(fèi)力的事，寫(xiě)出來(lái)了總希望有更多人看，否則就沒(méi)有寫(xiě)下去的動(dòng)力了。

對(duì) MySQL 源碼感興趣的朋友們，如果想看到源碼分析系列的更多文章，請(qǐng)幫忙把文章傳播出去，分享給更多人。

嘮叨完前因后果，再說(shuō)說(shuō)我準(zhǔn)備怎么寫(xiě)這個(gè)系列文章：

• 我會(huì)挑一些常用功能，每篇文章介紹一個(gè)單點(diǎn)功能的源碼，從簡(jiǎn)單功能開(kāi)始，逐漸過(guò)渡到復(fù)雜功能。
• 每篇文章只會(huì)介紹核心源碼邏輯，源碼之中增加注釋?zhuān)创a之外盡可能用文字展開(kāi)介紹源碼邏輯，以幫助大家更好的理解源碼。
• 每篇文章不會(huì)太長(zhǎng)，如果功能復(fù)雜導(dǎo)致內(nèi)容太長(zhǎng)，我會(huì)拆分文章，盡量降低大家的閱讀負(fù)擔(dān)。

接下來(lái)，我們開(kāi)始源碼分析系列的第 1 篇文章。

本文內(nèi)容基于 MySQL 8.0.32 源碼。

正文

1、準(zhǔn)備工作

創(chuàng)建測(cè)試表：

CREATE TABLE `t1` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `str1` varchar(255) NOT NULL DEFAULT '',
  `i1` int NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

插入測(cè)試數(shù)據(jù)：

INSERT INTO t1(id, str1, i1) VALUES
(1, 's1', 10),
(2, 's2', 20),
(3, 's3', 30),
(4, 's4', 40),
(5, 's5', 50),
(6, 's6', 60),
(7, 's7', 70),
(8, 's8', 80);

示例 SQL：

select * from t1 limit 5, 2

2、整體介紹

我們先通過(guò) explain 來(lái)看一下執(zhí)行計(jì)劃：

從 explain 輸出可以看到，執(zhí)行計(jì)劃比較簡(jiǎn)單，SQL 執(zhí)行過(guò)程包含 2 個(gè)迭代器：

• Limit/Offset，對(duì)應(yīng) LimitOffsetIterator 迭代器。
• Table scan，對(duì)應(yīng) TableScanIterator 迭代器。

代碼執(zhí)行時(shí)堆棧如下：

| > handle_connection(void*) sql/conn_handler/connection_handler_per_thread.cc:302
| + > do_command(THD*) sql/sql_parse.cc:1439
| + - > dispatch_command(...) sql/sql_parse.cc:2036
| + - x > dispatch_sql_command(THD*, Parser_state*) sql/sql_parse.cc:5322
| + - x = > mysql_execute_command(THD*, bool) sql/sql_parse.cc:4688
| + - x = | > Sql_cmd_dml::execute(THD*) sql/sql_select.cc:578
| + - x = | + > Sql_cmd_dml::execute_inner(THD*) sql/sql_select.cc:778
| + - x = | + - > Query_expression::execute(THD*) sql/sql_union.cc:1823
| + - x = | + - x > // 查詢(xún)?nèi)肟?br>| + - x = | + - x > Query_expression::ExecuteIteratorQuery(THD*) sql/sql_union.cc:1770
| + - x = | + - x = > // 實(shí)現(xiàn) limit, offset
| + - x = | + - x = > LimitOffsetIterator::Read() sql/iterators/composite_iterators.cc:128
| + - x = | + - x = | > // 從存儲(chǔ)引擎讀取一條記錄
| + - x = | + - x = | > TableScanIterator::Read() sql/iterators/basic_row_iterators.cc:218

3、源碼分析

TableScanIterator 迭代器用于從存儲(chǔ)引擎讀取記錄，留到以后的文章介紹。

limit, offset 由 LimitOffsetIterator 迭代器實(shí)現(xiàn)，我們會(huì)介紹兩個(gè)方法的代碼：

• Query_expression::ExecuteIteratorQuery(THD*)，這是查詢(xún)?nèi)肟诜椒?，介紹了它，流程才算完整。
• LimitOffsetIterator::Read()，limit, offset 的邏輯都在這個(gè)方法里實(shí)現(xiàn)。

（1）ExecuteIteratorQuery()

// sql/sql_union.cc
bool Query_expression::ExecuteIteratorQuery(THD *thd) {
  ...
  {
    ...
    for (;;) {
      // 從存儲(chǔ)引擎讀取一條記錄
      int error = m_root_iterator->Read();
      DBUG_EXECUTE_IF("bug13822652_1", thd->killed = THD::KILL_QUERY;);

      // 讀取出錯(cuò)，直接返回
      if (error > 0 || thd->is_error())  // Fatal error
        return true;
      // error < 0
      // 表示已經(jīng)讀完了所有符合條件的記錄
      // 查詢(xún)結(jié)束
      else if (error < 0)
        break;
      // SQL 被客戶(hù)端干掉了
      else if (thd->killed)  // Aborted by user
      {
        thd->send_kill_message();
        return true;
      }
      ...
      // 發(fā)送數(shù)據(jù)給客戶(hù)端
      if (query_result->send_data(thd, *fields)) {
        return true;
      }
      ...
    }
  }
  ...
}

從以上代碼可以看到，select 查詢(xún)?nèi)肟诜椒ǖ闹黧w是一個(gè)無(wú)限 for 循環(huán)。

每一輪循環(huán)都會(huì)調(diào)用 m_root_iterator->Read() 方法從存儲(chǔ)引擎讀取一條記錄。

對(duì)于示例 SQL 來(lái)說(shuō)，m_root_iterator->Read() 就是 LimitOffsetIterator::Read()。

for 循環(huán)會(huì)一直執(zhí)行，直到 m_root_iterator->Read() 的返回值命中以下任意一個(gè)條件才會(huì)結(jié)束：

• if (error > 0 || thd->is_error())，讀取出錯(cuò)了，以錯(cuò)誤狀態(tài)結(jié)束查詢(xún)。
• if (error < 0)，已經(jīng)讀完所有符合條件的記錄，以正常狀態(tài)結(jié)束查詢(xún)。
• if (thd->killed)，SQL 被客戶(hù)端通過(guò) kill <query_id> 干掉了，中止查詢(xún)。

<query_id> 為 show processlist 中的 Id 字段。

• for 循環(huán)中，每次從存儲(chǔ)引擎讀取到一條記錄，都會(huì)調(diào)用 query_result->send_data(thd, *fields) 方法。

對(duì)于示例 SQL 來(lái)說(shuō)，這個(gè)方法的行為就是把記錄發(fā)送給客戶(hù)端。

（2）LimitOffsetIterator::Read()

// sql/iterators/composite_iterators.cc
int LimitOffsetIterator::Read() {
  // 這個(gè) if 括號(hào)里的條件理解起來(lái)會(huì)有點(diǎn)困難
  // 所以被省略了，眼不見(jiàn)為凈
  //【重點(diǎn)】只有讀取第一條和最后一條記錄時(shí)才會(huì)進(jìn)入這個(gè) if 分支
  if (...) {
    ...
    // m_needs_offset = true
    // 表示 SQL 語(yǔ)句中指定了 offset
    if (m_needs_offset) {
      ...
      // 循環(huán)從存儲(chǔ)引擎讀取 m_offset 條記錄
      // 每讀取到一條記錄，直接丟棄
      for (ha_rows row_idx = 0; row_idx < m_offset; ++row_idx) {
        // 讀取一條記錄之后
        // 如果沒(méi)有出錯(cuò)，就接著讀取下一條記錄
        int err = m_source->Read();
        // 讀取出錯(cuò)，直接返回錯(cuò)誤碼
        if (err != 0) {
          return err;
        }
        ...
      }
      // 讀取 m_offset 條記錄并丟棄之后
      // 把 m_seen_rows 設(shè)置為已讀取記錄數(shù) 
      m_seen_rows = m_offset;
      // 然后把 m_needs_offset 設(shè)置為 false
      // 表示不需要再處理 offset 邏輯了（因?yàn)橐烟幚硗瓿桑?/span>
      // 下次讀取時(shí)也就不需要再跳過(guò) m_offset 條記錄了
      m_needs_offset = false;
      ...
    }
    // 如果已經(jīng)讀取了 m_limit 條記錄
    // 就返回 -1，表示讀取結(jié)束
    // m_limit = SQL 中的 limit + offset
    if (m_seen_rows >= m_limit) {
      ...
      return -1;
    }
  }

  // 讀取需要返回給客戶(hù)端的記錄
  const int result = m_source->Read();
  ...
  // 已讀取記錄數(shù)加 1
  ++m_seen_rows;
  // 返回當(dāng)前讀取的記錄
  // 給 Query_expression::ExecuteIteratorQuery() 方法
  return result;
}

除了處理 offset 邏輯之外，LimitOffsetIterator::Read() 每次只讀取一條記錄，這個(gè)方法的核心邏輯分為三部分：

第 1 部分：if (m_needs_offset)，SQL 語(yǔ)句中指定了 offset，返回第一條記錄給客戶(hù)端之前，需要讀取 offset 條記錄并丟棄，從第 offset + 1 條記錄開(kāi)始返回給客戶(hù)端。

這部分的主要邏輯是一個(gè) for 循環(huán)，會(huì)循環(huán) offset 次，每次讀取一條記錄。

如果讀取成功，就接著讀取下一條記錄，而不會(huì)對(duì)這條記錄做任何操作，也就相當(dāng)于丟棄了。

如果讀取失敗，直接返回錯(cuò)誤碼，讀取結(jié)束，客戶(hù)端會(huì)收到報(bào)錯(cuò)信息。

第 2 部分：if (m_seen_rows >= m_limit)，表示已經(jīng)讀取了 m_limit 條記錄，返回 -1 表示讀取正常結(jié)束。

m_limit = SQL 中的 limit + offset。

第 3 部分：result = m_source->Read() 從存儲(chǔ)引擎讀取一條記錄，然后，把結(jié)果返回給 Query_expression::ExecuteIteratorQuery() 方法。

4、總結(jié)

limit, offset 邏輯比較簡(jiǎn)單，全部由 LimitOffsetIterator::Read() 實(shí)現(xiàn)，核心邏輯總結(jié)如下：

• 從存儲(chǔ)引擎讀取返回給客戶(hù)端的第 1 條記錄之前，會(huì)先讀取 offset 條記錄并丟棄，然后再讀取一條記錄，用于返回給客戶(hù)端。
• 從存儲(chǔ)引擎讀取第 2 ~ limit + offset 條記錄時(shí)，每讀取一條記錄，都返回給 Query_expression::ExecuteIteratorQuery()，由該方法把記錄返回給客戶(hù)端。
• 讀取 limit + offset 條記錄之后，返回 -1 表示讀取流程正常結(jié)束。

從 LimitOffsetIterator::Read() 的實(shí)現(xiàn)邏輯來(lái)看，offset 越大，讀取之后被丟棄的記錄就越多，讀取這些記錄所做的都是無(wú)用功。

為了提高 SQL 的執(zhí)行效率，可以通過(guò)改寫(xiě) SQL 讓 offset 盡可能小，理想狀態(tài)是 offset = 0。

本文轉(zhuǎn)載自微信公眾號(hào)「一樹(shù)一溪」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系一樹(shù)一溪公眾號(hào)。