偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

一文講透Elasticsearch倒排索引與分詞

作者：JavaEdge
開發(fā) 前端
本篇詳細(xì)講透Elasticsearch倒排索引與分詞。

 [[354990]]

1 倒排索引

1.1 書的目錄和索引

正排索引即目錄頁(yè)，根據(jù)頁(yè)碼去找內(nèi)容


倒排索引即索引頁(yè)，根據(jù)關(guān)鍵詞去找對(duì)應(yīng)頁(yè)碼


1.2 搜索引擎

  • 正排索引

          文檔Id =》文檔內(nèi)容、單詞的關(guān)聯(lián)關(guān)系

  • 倒排索引

           單詞 =》 文檔Id的關(guān)聯(lián)關(guān)系

  • 左：正排索引 =》 右：倒排索引

倒排索引查詢流程

查詢包含"搜索引擎”的文檔

  1. 通過倒排索引獲得"搜索引擎”對(duì)應(yīng)的文檔Id有1和3
  2. 通過正排索引查詢1和3的完整內(nèi)容
  3. 返回最終結(jié)果

1.3 倒排索引的組成

1.3.1 單詞詞典( Term Dictionary )

倒排索引的重要組成

  • 記錄所有文檔的單詞 ，一般都比較大
  • 記錄單詞到倒排列表的關(guān)聯(lián)信息

單詞字典的實(shí)現(xiàn)一般是用B+ Tree ,示例如下


1.3.2 倒排列表( Posting List )

記錄了單詞對(duì)應(yīng)的文檔集合，由倒排索引項(xiàng)( Posting )組成。

倒排索引項(xiàng)( Posting )主要包含如下信息：

  • 文檔Id ,用于獲取原始信息
  • 單詞頻率( TF, Term Frequency )，記錄該單詞在該文檔中的出現(xiàn)次數(shù)，用于后續(xù)相關(guān)性算分
  • 位置( Position)
  • 記錄單詞在文檔中的分詞位置(多個(gè)) , 用于做詞語搜索( Phrase Query )
  • 偏移( Offset )

記錄單詞在文檔的開始和結(jié)束位置,用于做高亮顯示

案例

以搜索引擎為例


單詞字典與倒排列表整合在一起的結(jié)構(gòu)


ES存儲(chǔ)的是JSON格式文檔，其中包含多個(gè)字段，每個(gè)字段都有自己的倒排索引。

2 分詞

將文本轉(zhuǎn)換成一系列單詞的過程，也稱文本分析，在 ES 里稱為 Analysis。

比如文本【JavaEdge 是最硬核的公眾號(hào)】，分詞結(jié)果是【JavaEdge、硬核、公眾號(hào)】

2.1 Analyzer-分詞器

分詞器是 ES 專門處理分詞的組件，組成如下：

2.1.1 Character Filters

在Tokenizer之前對(duì)原始文本進(jìn)行處理,比如增加、刪除或替換字符等。

針對(duì)原始文本進(jìn)行處理，比如去除 html 特殊標(biāo)記符，自帶的如下：

  • HTML Strip 去除 html 標(biāo)簽和轉(zhuǎn)換 html 實(shí)體
  • Mapping 進(jìn)行字符替換操作
  • Pattern Replace 進(jìn)行正則匹配替換

會(huì)影響后續(xù)tokenizer解析的postion和offset信息


2.1.2 Tokenizer

將原始文本按照一定規(guī)則切分為單詞，內(nèi)置：

  • standard 按單詞進(jìn)行分割
  • letter 按非字符類進(jìn)行分割
  • whitespace 按空格進(jìn)行分割
  • UAX URL Email 按 standard 分割，但不會(huì)分割郵箱和 url
  • NGram 和 Edge NGram 連詞分割
  • Path Hierachy 按文件路徑進(jìn)行分割

示例：

POST _analyze{ "tokenizer":"path_hierarchy", "text":"/one/two/three"}


2.1.3 Token Filters

針對(duì) tokenizer 處理的單詞進(jìn)行再加工，比如轉(zhuǎn)小寫、刪除或新增等處理，內(nèi)置：

  • lowercase 將所有 term 轉(zhuǎn)換為小寫
  • stop 刪除 stop words
  • NGram 和 Edge NGram 連詞分割
  • Synonym 添加近義詞的 term

示例

  1. // filter 可以有多個(gè) 
  2. POST _analyze 
  3. { 
  4.     "text":"a Hello world!", 
  5.     "tokenizer":"standard", 
  6.     "filter":[ 
  7.     "stop", // 把 a 去掉了 
  8.     "lowercase",// 小寫 
  9.     { 
  10.         "type":"ngram", 
  11.         "min_gram":"4", 
  12.         "max_gram":"4" 
  13.     } 
  14.     ] 
  15. } 
  16. // 得到 hell、ello、worl、orld 

 

分詞器的調(diào)用順序


3 Analyze API

ES 提供了一個(gè)測(cè)試分詞的 API 接口，方便驗(yàn)證分詞效果，endpoint 是 _analyze：

3.1 指定 analyzer

request

  1. POST _analyze 
  2. { 
  3.     "analyzer":"standard", # 分詞器 
  4.     "text":" JavaEdge 公眾號(hào)" # 測(cè)試文本 
  5. } 

response

  1. { 
  2.   "tokens" : [ 
  3.     { 
  4.       "token" : "java", # 分詞結(jié)果 
  5.       "start_offset" : 1, # 起始偏移 
  6.       "end_offset" : 5, # 結(jié)束偏移 
  7.       "type" : "<ALPHANUM>", 
  8.       "position" : 0 # 分詞位置 
  9.     }, 
  10.     { 
  11.       "token" : "edge", 
  12.       "start_offset" : 6, 
  13.       "end_offset" : 10, 
  14.       "type" : "<ALPHANUM>", 
  15.       "position" : 1 
  16.     } 
  17.   ] 
  18. } 

 

3.2 指定索引中的字段

  1. POST  測(cè)試的索引/_analyze   
  2. { 
  3.     "field":"username", # 測(cè)試字段 
  4.     "text":"hello world" # 測(cè)試文本 
  5. } 

  

3.3 自定義分詞器

  1. POST _analyze 
  2. { 
  3.     "tokenizer":"standard", 
  4.     "filter":["lowercase"], # 自定義 
  5.     "text":"hello world" 
  6. } 

之前的默認(rèn)分詞器大寫

 

自定義小寫分詞器


4 內(nèi)置分詞器

Standard Analyzer

默認(rèn)分詞器，按詞切分，支持多語言，小寫處理

Simple Analyzer

按照非字母切分，小寫處理


Whitespace Analyzer

按空格切分


Stop Analyzer

Stop Word 指語氣助詞等修飾性詞語，比如 the、an、的、這等等，特性是相比 Simple Analyzer 多 Stop Word 處理

  

keyword Analyzer

不分詞，直接將輸入作為一個(gè)單詞輸出

 

Pattern Analyzer

通過正則表達(dá)式自定義分隔符，默認(rèn) \W+，即非字詞的符號(hào)為分隔符


 Language Analyzer

提供了 30+ 常見語言的分詞器

5 中文分詞

將一個(gè)漢字序列切分成一個(gè)個(gè)單獨(dú)的詞。在英文中，單詞之間是以空格作為自然分界符，漢語中詞沒有一個(gè)形式上的分界符。而且中文博大精深，上下文不同，分詞結(jié)果也大不相同。

比如：

  • 乒乓球拍/賣/完了
  • 乒乓球/拍賣/完了

以下是 ES 中常見的分詞系統(tǒng)：

IK

實(shí)現(xiàn)中英文單詞的切分，可自定義詞庫(kù)，支持熱更新分詞詞典

jieba

python 中最流行餓分詞系統(tǒng)，支持分詞和詞性標(biāo)注，支持繁體分詞，自定義詞典，并行分詞

以下是基于自然語言處理的分詞系統(tǒng)：

Hanlp

由一系列模型與算法組成的 java 工具包，支持索引分詞、繁體分詞、簡(jiǎn)單匹配分詞(極速模式)、基于 CRF 模型的分詞、N- 最短路徑分詞等，實(shí)現(xiàn)了不少經(jīng)典分詞方法。目標(biāo)是普及自然語言處理在生產(chǎn)環(huán)境中的應(yīng)用。

https://github.com/hankcs/HanLP

THULAC

  • THU Lexical Analyzer for Chinese ,由清華大學(xué)自然語言處理與社會(huì)人文計(jì)算

           實(shí)驗(yàn)室研制推出的一套中文詞法分析工具包，具有中文分詞和詞性標(biāo)注功能

            https://github.com/microbun/elasticsearch-thulac-plugin

6 自定義分詞器

當(dāng)自帶的分詞無法滿足需求時(shí)，可以自定義分詞器，通過定義 Character Filters、Tokenizer、Token Filter 實(shí)現(xiàn)。自定義的分詞需要在索引的配置中設(shè)定，示例如下所示：

自定義如下分詞器


  1. // 自定義分詞器 
  2. PUT test_index_name 
  3. { 
  4.   "settings":{  
  5.     "analysis":{ 
  6.       "analyzer":{ 
  7.         "my_customer_analyzer":{ 
  8.           "type":"custome", 
  9.           "tokenizer":"standard", 
  10.           "char_filter":["html_strip"], 
  11.           "filter":["lowercase", "asciifolding"] 
  12.         } 
  13.       } 
  14.     } 
  15.   } 
  16. } 
  17.  
  18. // 測(cè)試自定義分詞器效果： 
  19. POST test_index/_analyze 
  20. { 
  21.   "tokenizer":"keyword", 
  22.   "char_filter":["html_strip"], 
  23.   "text":"Is this <b>a box</b>?" 
  24. } 
  25.  
  26. // 得到 is、this、a、box 

7 分詞使用說明

分詞會(huì)在如下兩個(gè)時(shí)機(jī)使用：

創(chuàng)建或者更新文檔時(shí)(Index Time)

會(huì)對(duì)相應(yīng)的文檔進(jìn)行分詞處理

索引時(shí)分詞是通過配置Index Mapping中每個(gè)字段的analyzer屬性實(shí)現(xiàn)的。不指定分詞時(shí)，使用默認(rèn)standard。

查詢時(shí)(Search Time)

會(huì)對(duì)查詢語句進(jìn)行分詞。查詢時(shí)分詞的指定方式：

  • 查詢的時(shí)候通過analyzer指定分詞器
  • 通過index mapping設(shè)置 search_analyzer 實(shí)現(xiàn)

分詞的最佳實(shí)踐

  • 明確字段是否需要分詞，不需要分詞的字段就將 type 設(shè)置為 keyword，可以節(jié)省空間和提高寫性能。
  • 善用 _analyze API,查看文檔的具體分詞結(jié)果
  • 多動(dòng)手測(cè)試

參考

  • https://blog.csdn.net/weixin_38118016/article/details/90416391
  • https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247486148&idx=1&sn=817027a204650763c1bea3e837d695ea&source=41#wechat_redirect

 【編輯推薦】

 

責(zé)任編輯：姜華 來源： JavaEdge
Elasticsearch
相關(guān)推薦

2020-03-26 09:18:54

高薪本質(zhì)因素

2024-08-13 17:09:00

架構(gòu)分庫(kù)分表開發(fā)

2025-01-13 12:00:00

反射Java開發(fā)

2020-07-16 09:02:45

aPaaS云計(jì)算aPaaS平臺(tái)

2020-08-04 10:56:09

進(jìn)程線程協(xié)程

2021-01-18 13:05:52

Serverless Serverfull FaaS

2023-11-09 08:41:25

DevOpsAIOps軟件

2023-05-04 08:24:52

ChatGPT產(chǎn)品經(jīng)理工業(yè)革命

2024-05-31 13:23:19

OceanBase單機(jī)版架構(gòu)

2024-08-07 10:54:59

正則表達(dá)式Java RegexJava

2020-05-20 09:55:42

Git底層數(shù)據(jù)

2024-11-07 22:57:30

2024-07-10 12:00:42

2021-06-29 12:10:00

CRC校驗(yàn)碼C語言

2021-12-13 01:40:29

ElasticSear倒排索引

2020-07-16 07:30:15

數(shù)據(jù)庫(kù)SQL技術(shù)

2023-05-11 08:16:13

可視化監(jiān)控工具Kafka

2020-01-02 09:06:23

微服務(wù)數(shù)據(jù)框架

2022-08-17 18:25:37

Java分布式搜索引擎

2019-08-27 14:46:59

ElasticSearES數(shù)據(jù)庫(kù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)