偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

比正則快 M 倍以上!Python 替換字符串的新姿勢(shì)

開(kāi)發(fā)
本文給大家介紹如何在 Python 中基于 flashtext 模塊使用 FlashText 算法進(jìn)行字符串查找和替換。

FlashText 算法是由 Vikash Singh 于2017年發(fā)表的大規(guī)模關(guān)鍵詞替換算法,這個(gè)算法的時(shí)間復(fù)雜度僅由文本長(zhǎng)度(N)決定,算法時(shí)間復(fù)雜度為O(N)。

而對(duì)于正則表達(dá)式的替換,算法時(shí)間復(fù)雜度還需要考慮被替換的關(guān)鍵詞數(shù)量(M),因此時(shí)間復(fù)雜度為O(MxN)。

簡(jiǎn)而言之,基于FlashText算法的字符串替換比正則表達(dá)式替換快M倍以上,這個(gè)M是需要替換的關(guān)鍵詞數(shù)量,關(guān)鍵詞越多,F(xiàn)lashText算法的優(yōu)勢(shì)就越明顯。

下面就給大家介紹如何在 Python 中基于 flashtext 模塊使用 FlashText 算法進(jìn)行字符串查找和替換,如果覺(jué)得對(duì)你的項(xiàng)目團(tuán)隊(duì)很有幫助,請(qǐng)記得轉(zhuǎn)發(fā)一下哦。

1.準(zhǔn)備?

pip install flashtext

2.基本使用

提取關(guān)鍵詞

一個(gè)最基本的提取關(guān)鍵詞的例子如下:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞
keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
# 4. 結(jié)果
print(keywords_found)
# ['New York', 'Bay Area']

其中 ??add_keyword?? 的第一個(gè)參數(shù)代表需要被查找的關(guān)鍵詞,第二個(gè)參數(shù)是給這個(gè)關(guān)鍵詞一個(gè)別名,如果找到了則以別名顯示。

替換關(guān)鍵詞

如果你想要替換關(guān)鍵詞,只需要調(diào)用處理器的 ??replace_keywords?? 函數(shù):

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('New Delhi''NCR region')
# 3. 替換關(guān)鍵詞
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
# 4. 結(jié)果
print(new_sentence)
# 'I love New York and NCR region.'

關(guān)鍵詞大小寫(xiě)敏感

如果你需要精確提取,識(shí)別大小寫(xiě)字母,那么你可以在處理器初始化的時(shí)候設(shè)定 ??sensitive?? 參數(shù):

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器, 注意設(shè)置大小寫(xiě)敏感(case_sensitive)為T(mén)RUE
keyword_processor = KeywordProcessor(case_sensitive=True)
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple''New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')
# 4. 結(jié)果
print(keywords_found)
# ['Bay Area']

標(biāo)記關(guān)鍵詞位置

如果你需要獲取關(guān)鍵詞在句子中的位置,在 ??extract_keywords?? 的時(shí)候添加 ??span_info=True?? 參數(shù)即可:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple''New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞, 并標(biāo)記關(guān)鍵詞的起始、終止位置
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)
# 4. 結(jié)果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]

獲取目前所有的關(guān)鍵詞

如果你需要獲取當(dāng)前已經(jīng)添加的所有關(guān)鍵詞,只需要調(diào)用處理器的 ??get_all_keywords?? 函數(shù):

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('j2ee''Java')
keyword_processor.add_keyword('colour''color')
# 3. 獲取所有關(guān)鍵詞
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}

批量添加關(guān)鍵詞

批量添加關(guān)鍵詞有兩種方法,一種是通過(guò)詞典,一種是通過(guò)數(shù)組:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. (第一種)通過(guò)字典批量添加關(guān)鍵詞
keyword_dict = {
    "java": ["java_2e""java programing"],
    "product management": ["PM""product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2. (第二種)通過(guò)數(shù)組批量添加關(guān)鍵詞
keyword_processor.add_keywords_from_list(["java""python"])
# 3. 第一種的提取效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# output ['product management', 'java']

單一或批量刪除關(guān)鍵詞

刪除關(guān)鍵詞也非常簡(jiǎn)單,和添加類似:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 通過(guò)字典批量添加關(guān)鍵詞
keyword_dict = {
    "java": ["java_2e""java programing"],
    "product management": ["PM""product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取效果如下
print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))
# ['product management', 'java']
# 4. 單個(gè)刪除關(guān)鍵詞
keyword_processor.remove_keyword('java_2e')
# 5. 批量刪除關(guān)鍵詞,也是可以通過(guò)詞典或者數(shù)組的形式
keyword_processor.remove_keywords_from_dict({"product management": ["PM"]})
keyword_processor.remove_keywords_from_list(["java programing"])
# 6. 刪除了java programing關(guān)鍵詞后的效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# ['product management']

3.高級(jí)使用

支持額外信息

前面提到在添加關(guān)鍵詞的時(shí)候第二個(gè)參數(shù)為其別名,其實(shí)你不僅可以指示別名,還可以將額外信息放到第二個(gè)參數(shù)中:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
kp = KeywordProcessor()
# 2. 添加關(guān)鍵詞并附帶額外信息
kp.add_keyword('Taj Mahal', ('Monument''Taj Mahal'))
kp.add_keyword('Delhi', ('Location''Delhi'))
# 3. 效果如下
kp.extract_keywords('Taj Mahal is in Delhi.')
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]

這樣,在提取關(guān)鍵詞的時(shí)候,你還能拿到其他一些你想要在得到此關(guān)鍵詞時(shí)輸出的信息。

支持特殊單詞邊界

Flashtext 檢測(cè)的單詞邊界一般局限于 \w [A-Za-z0-9_] 外的任意字符,但是如果你想添加某些特殊字符作為單詞的一部分也是可以實(shí)現(xiàn)的:

from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple')
# 3. 正常效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# ['Big Apple']
# 4. '/' 作為單詞一部分
keyword_processor.add_non_word_boundary('/')
# 5. 優(yōu)化后的效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# []

4.結(jié)尾

個(gè)人認(rèn)為這個(gè)模塊已經(jīng)滿足我們的基本使用了,如果你有一些該模塊提供的功能之外的使用需求,可以給 flashtext 貢獻(xiàn)代碼:

https://github.com/vi3k6i5/flashtext

附 FlashText 與正則相比 查詢關(guān)鍵詞 所花費(fèi)的時(shí)間之比:

附 FlashText 與正則相比 替換關(guān)鍵詞 所花費(fèi)的時(shí)間之比:

這篇文章如果對(duì)你有幫助的話,記得轉(zhuǎn)發(fā)一下哦。

責(zé)任編輯:張燕妮 來(lái)源: Python實(shí)用寶典
相關(guān)推薦

2019-02-27 09:08:20

Java 8StringJoineIDEA

2015-01-16 10:43:09

WiGigWiFi

2021-07-28 14:20:13

正則PythonFlashText

2022-10-27 08:31:31

架構(gòu)

2010-03-15 16:13:11

Python正則表達(dá)式

2010-03-16 10:28:40

Python字符串

2024-03-26 10:13:54

日志引擎SigLens

2010-03-12 18:29:56

Python字符串替換

2010-03-12 17:35:00

Python字符串

2010-11-26 10:14:40

MySQL repla

2011-06-03 13:03:03

JAVA

2011-07-21 15:36:40

JAVA

2009-11-30 18:26:06

PHP字符串替換

2024-10-28 07:10:00

scroll標(biāo)記前端網(wǎng)格布局

2025-02-17 11:41:14

2023-04-07 08:17:39

fasthttp場(chǎng)景設(shè)計(jì)HTTP

2010-11-26 10:29:21

MySQL批量替換

2023-09-08 15:05:51

Mojo編程語(yǔ)言

2022-11-01 18:11:16

線上系統(tǒng)性能切割函數(shù)

2010-03-16 16:22:36

Python字符串
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)