模式匹配是自然语言处理信息抽取领域十分重要的一个基础性工作，也是我们常说的策略方法（与深度学习模型相对）。

如何使用规则的方式完成相关数据处理、信息抽取、分类等任务，是作为一个自然语言处理工程师必备的一项素质。

本文主要围绕NLP中的模式匹配落地场景及高效开源工具总结与分析这一主题，对模式匹配在自然语言处理落地中的使用场景以及开源的模式匹配工具进行介绍，供大家参考。

一、模式匹配概述

二、模式匹配在自然语言处理落地中的使用场景

三、AC自动机原理与应用流程

四、当前开源高效的模式匹配工具

regex.findall('(?:hello){s<=2}', 'hallo')，

import ahocorasick

def make_AC(AC, word_set):
    for word in word_set:
        print(word)
        AC.add_word(word,word)
    return AC

def demo():
    key_list = ["苹果", "香蕉", "梨", "橙子", "柚子", "火龙果", "柿子", "猕猴挑"]
    AC_KEY = ahocorasick.Automaton()
    AC_KEY = make_AC(AC_KEY, set(key_list))
    AC_KEY.make_automaton()
    test_str_list = ["我最喜欢吃的水果有：苹果、梨和香蕉", "我也喜欢吃香蕉，但是我不喜欢吃梨"]
    for content in test_str_list:
        name_list = set()
        for item in AC_KEY.iter(content):#将AC_KEY中的每一项与content内容作对比，若匹配则返回
            name_list.add(item[1])
        name_list = list(name_list)
        if len(name_list) > 0:
            print(content, "命中:", "t".join(name_list))

output:
"我最喜欢吃的水果，苹果、梨和香蕉"，命中:["苹果","香蕉","梨"]
"我也喜欢吃香蕉，但是我不喜欢吃梨"，命中:[香蕉","梨"]

>>> from acora import AcoraBuilder
>>> builder = AcoraBuilder('ab', 'bc', 'de')
>>> builder.add('a', 'b')
>>> ac = builder.build()
>>> ac.findall('abc')
[('a', 0), ('ab', 0), ('b', 1), ('bc', 1)]
>>> ac.findall('abde')
[('a', 0), ('ab', 0), ('b', 1), ('de', 2)]

import esm
index = esm.Index()
index.enter('保罗')
index.enter('小卡')
index.enter('贝弗利')
index.fix()
index.query("""NBA季后赛西部决赛，快船与太阳移师洛杉矶展开了他们系列赛第三场较量，上一场太阳凭借艾顿的空接绝杀惊险胜出，此役保罗火线复出，而小卡则继续缺阵。首节开局两队势均力敌，但保罗和布克单节一分未得的拉胯表现让太阳陷入困境，快船趁机在节末打出一波9-2稍稍拉开比分，次节快船替补球员得分乏术，太阳抓住机会打出14-4的攻击波反超比分，布克和保罗先后找回手感，纵使乔治重新登场后状态火热，太阳也依旧带着2分的优势结束上半场。下半场太阳的进攻突然断电，快船则在曼恩和乔治的引领下打出一波21-3的攻击狂潮彻底掌控场上局势，末节快船在领先到18分后略有放松，太阳一波12-0看到了翻盘的希望，关键时刻雷吉和贝弗利接管比赛，正是他们出色的发挥为球队锁定胜局，最终快船主场106-92击败太阳，将总比分扳成1-2。""")
[((162, 168), '保罗'), ((186, 192), '小卡'), ((246, 252), '保罗'), ((478, 484), '保罗'), ((846, 855), '贝弗利')]

import re
from pampy import match, HEAD, TAIL, _
def what_is(pet):
    return match(pet,
        re.compile('(\w+)，(\w)\w+鳕鱼$'),     lambda mygod, you: you + "像鳕鱼",
    )

print(what_is('我的天，你长得真像鳕鱼'))     # => '你像鳕鱼' 

1）关键字搜索
>>> from flashtext import KeywordProcessor
>>> keyword_processor = KeywordProcessor()
>>> # keyword_processor.add_keyword(<unclean name>, <standardised name>)
>>> keyword_processor.add_keyword('Big Apple', 'New York')
>>> keyword_processor.add_keyword('Bay Area')
>>> keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
>>> keywords_found
>>> ['New York', 'Bay Area']
2）关键字替换
>>> keyword_processor.add_keyword('New Delhi', 'NCR region')
>>> new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
>>> new_sentence
>>> 'I love New York and NCR region.'

五、总结

参考文献

1、https://zhuanlan.zhihu.com/p/158767004

2、http://xiaorui.cc/archives/1649

3、https://blog.51cto.com/daoxin/1585119

4、http://www.cppcns.com/jiaoben/python/387695.html

5、https://zhuanlan.zhihu.com/p/80325757 

6、https://blog.csdn.net/xc_zhou/article/details/110495762

7、https://www.jianshu.com/p/5295c5988b7f

8、https://www.xampp.cc

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

就职于360人工智能研究院、曾就职于中国科学院软件研究所。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

原文始发于微信公众号（老刘说NLP）：NLP模式高效匹配技术总结：模式匹配常见落地场景、AC自动机原理及高效开源工具总结