Elasticsearch 是一個功能強大的搜索和分析引擎，能夠快速存儲、搜索和分析海量數(shù)據(jù)。

在 Elasticsearch 的核心組件中，索引性能至關(guān)重要。索引（動詞）過程負責將數(shù)據(jù)添加到 Elasticsearch 中，而索引性能的好壞直接影響到搜索查詢的效率。

本文將分享提升 Elasticsearch 索引性能的 10 個實用技巧，幫助大家更高效地使用 Elasticsearch。

你一共用到幾個？有沒有更好的使用小技巧？歡迎留言補充交流。

1. 選擇合適的硬件

要提升 Elasticsearch 的索引性能，首先需要確保硬件配置到位。

Elasticsearch 對內(nèi)存 (RAM)、CPU 和 磁盤 I/O 的依賴性較高，因此選擇合適的硬件至關(guān)重要。建議選擇具備充足內(nèi)存和 CPU 資源的服務(wù)器，并優(yōu)先使用 SSD 磁盤以提高磁盤 I/O 性能，從而減少索引時間。

Elasticsearch 官方文檔強調(diào)：

• 搜索性能受存儲和計算資源的影響較大。如果搜索受限于I/O，建議增大文件系統(tǒng)緩存或使用更快的存儲設(shè)備（如SSD）；
• 若受限于CPU，則應(yīng)使用更快的處理器。
• 相比遠程存儲，本地直連存儲通常性能更佳，配置更簡單，延遲更低。遠程存儲在高負載下性能可能較差，但經(jīng)過優(yōu)化后也能達到可接受的效果。
• 在確定存儲架構(gòu)前，應(yīng)通過基準測試評估實際負載下的性能，并根據(jù)需要與供應(yīng)商合作進行調(diào)優(yōu)。https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-search-speed.html

2. 使用 Bulk API 批量索引

Elasticsearch 提供了一個 Bulk API，允許在單次請求中索引多個文檔。與一次索引一個文檔相比，批量索引能顯著提高性能，因為減少了網(wǎng)絡(luò)往返的開銷，提高了索引過程的效率。

Elasticsearch 官方文檔強調(diào)：

• 建議在單節(jié)點、單分片上進行基準測試，逐步增加批量請求的文檔數(shù)量（100、200、400等）以找到最佳批量大小。

圖片

圖示僅供參考遞增批量值

• 當索引速度趨于平穩(wěn)時，即為最佳值。
• 若數(shù)據(jù)量相近，寧可選擇較小批次，以避免內(nèi)存壓力。
• 通常批量請求不宜超過幾十 MB，否則可能會對集群造成內(nèi)存負擔。

3. 在批量索引時禁用刷新

Elasticsearch 默認每秒刷新索引一次，這意味著每次添加新文檔后，索引會立即可搜索。

然而，在批量索引時，這種行為會顯著降低索引性能。

在進行大量數(shù)據(jù)寫入時，可以暫時禁用自動刷新，待批量索引完成后再啟用。

# 禁用刷新
PUT /my_index/_settings
{
  "refresh_interval": "-1"
}

# 完成批量索引后重新啟用
PUT /my_index/_settings
{
  "refresh_interval": "30s"
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html

4. 調(diào)整刷新間隔

除了在批量索引時禁用刷新外，還可以通過增加默認的刷新間隔來提升索引性能。減少 Elasticsearch 每秒的刷新次數(shù)，可以降低系統(tǒng)的開銷，從而提高索引速度。

不過，需要注意的是，刷新間隔增加后，新添加的文檔不會立即可見，因此在某些實時性要求較高的場景中需要謹慎調(diào)整。

正確做法建議：在數(shù)據(jù)加載階段將 refresh_interval 設(shè)置為較高值，例如 30s，完成后再恢復(fù)到默認值 1s。

5. 優(yōu)化文檔設(shè)計

文檔的設(shè)計對索引性能有很大影響。避免使用過于龐大和復(fù)雜的文檔，盡量減少嵌套字段的使用，尤其是深層嵌套結(jié)構(gòu)，因為它們會顯著降低索引速度。

干貨 | Elasticsearch 索引設(shè)計實戰(zhàn)指南

Elasticsearch Nested 選型，先看這一篇！

正確做法：

• 盡量減少文檔大?。ú灰^大，比如：一本書導入一個文檔），避免過多的嵌套。
• 僅保留必要的字段，避免存儲多余信息。

6. 減少索引的字段數(shù)量

過多的字段會顯著增加索引的時間，因為 Elasticsearch 需要對每個字段進行分析和映射。

僅索引需要用于搜索的字段，其余字段可以設(shè)置為 index: false。

PUT /my_index
{
  "mappings": {
    "properties": {
      "description": { "type": "text" },
      "comments": { "type": "text", "index": false } # 不需要搜索的字段
    }
  }
}

正確做法建議：減少不必要的字段，僅對需要搜索和聚合的字段進行索引。

7. 優(yōu)化磁盤性能

Elasticsearch 的主分片數(shù)據(jù)會寫入節(jié)點的文件系統(tǒng)，因此磁盤速度對索引性能有重要影響。

選擇速度快、容量大的磁盤，如 SSD，可以顯著提升索引效率?！嗝凑_的廢話！但是很多咨詢的球友企業(yè)不提供硬件支撐，在機械磁盤做再足優(yōu)化也無濟于事。

圖示僅為方便大家直觀認知

正確做法建議：盡量使用 NVMe SSD，尤其是在處理大量日志或時間序列數(shù)據(jù)時。

8. 索引生命周期 ILM 管理

當一個索引過大時，管理起來會變得困難，導致搜索和索引性能下降?？梢钥紤]將索引分為每日或每周的索引，這在處理時間序列數(shù)據(jù)（如日志事件）時尤其有用。

Elasticsearch ILM 索引生命周期管理常見坑及避坑指南

視頻 | Elasticsearch ILM索引生命周期管理

干貨 | Elasticsearch 索引生命周期管理 ILM 實戰(zhàn)指南

干貨 | Elasticsearch索引生命周期管理探索（rollover 5.X 版本階段）

圖片

正確做法：

對于日志數(shù)據(jù)，使用按日期滾動的索引，如

logs-2024-11-01、
logs-2024-11-02。

定期刪除過期的索引以釋放存儲空間。

9. 防止映射爆炸

如果使用動態(tài)映射，可能會導致字段數(shù)量過多，從而引發(fā)映射爆炸的問題。

建議定義顯式映射來控制字段數(shù)量，避免自動檢測新字段。

PUT /my_index
{
  "mappings": {
    "dynamic": "strict", # 禁止自動添加字段
    "properties": {
      "user": { "type": "keyword" },
      "message": { "type": "text" }
    }
  }
}

正確做法：使用 dynamic: strict 控制自動映射。

定期清理不再使用的字段。

10. 優(yōu)化 Translog 性能

在Elasticsearch 8.x中，調(diào)整translog（事務(wù)日志）設(shè)置可以提高性能和數(shù)據(jù)持久性。主要設(shè)置包括：

translog的持久性（index.translog.durability）、

同步間隔（index.translog.sync_interval）、

刷新閾值大小（index.translog.flush_threshold_size）。

通過合理配置這些參數(shù)，可以在保證數(shù)據(jù)安全的同時，優(yōu)化系統(tǒng)性能。

以下是優(yōu)化 Elasticsearch 8.x 中 Translog 性能的推薦配置：

小結(jié)

Elasticsearch 是處理大規(guī)模數(shù)據(jù)的必備工具，但要充分發(fā)揮其性能，必須優(yōu)化索引過程。通過遵循上述 10 個技巧，你可以顯著提升 Elasticsearch 的索引效率，從而提高搜索和分析的能力。