天天看点

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

全文检索服务 ElasticSearch其他相关:

  • 介绍入门及安装
  • Field
  • 整合Spring Boot
  • 集群管理

1.IK分词器

1.1测试分词器

  在添加文档时会进行分词,索引中存放的就是一个一个的词(term),当你去搜索时就是拿关键字去匹配词,最终找到词关联的文档。

测试当前索引库使用的分词器:

POST /_analyze
{
  "text":"测试分词器,后边是测试内容:spring cloud实战"
}
           

结果如下:

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

  会发现分词的效果将“测试”这个词拆分成两个单字“测”和“试”,这是因为当前索引库使用的分词器对中文就是单字分词。

1.2.中文分词器

1.2.1.Lucene自带中文分词器

StandardAnalyzer:

单字分词:就是按照中文一个字一个字地进行分词。如:“我爱中国”,

效果:“我”、“爱”、“中”、“国”。

CJKAnalyzer

二分法分词:按两个字进行切分。如:“我是中国人”,效果:“我是”、“是中”、“中国”“国人”。

上边两个分词器无法满足需求。

SmartChineseAnalyzer

对中文支持较好,但扩展性差,扩展词库和禁用词库等不好处理

1.2.2.第三方中文分析器

paoding: 庖丁解牛最新版在 https://code.google.com/p/paoding/ 中最多支持Lucene 3.0,且最新提交的代码在 2008-06-03,在svn中最新也是2010年提交,已经过时,不予考虑。

IK-analyzer:最新版在https://code.google.com/p/ik-analyzer/上,支持Lucene 4.10从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。在2012版本中,IK实现了简单的分词 歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化。 但是也就是2012年12月后没有在更新。

1.3.安装IK分词器

使用IK分词器可以实现对中文分词的效果。

下载IK分词器:(Github地址:https://github.com/medcl/elasticsearch-analysis-ik)

1、下载zip:

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

2、解压,并将解压的文件拷贝到ES安装目录的plugins下的ik(重命名)目录下,重启es

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

3、测试分词效果:

POST /_analyze
{
  "text":"中华人民共和国人民大会堂",
  "analyzer":"ik_smart"
}
           

1.4.两种分词模式

ik分词器有两种分词模式:ik_max_word和ik_smart模式。

1、ik_max_word

​  会将文本做最细粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民大会堂、人民、共和国、大会堂、大会、会堂等词语。

2、ik_smart

  会做最粗粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

1.5.自定义词库

如果要让分词器支持一些专有词语,可以自定义词库。

iK分词器自带的main.dic的文件为扩展词典,stopword.dic为停用词典。

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

也可以上边的目录中新建一个my.dic文件(注意文件格式为utf-8(不要选择utf-8 BOM))

可以在其中自定义词汇:

比如定义:

配置文件中 配置my.dic,

全文检索服务 ElasticSearch---------IK分词器的使用全文检索服务 ElasticSearch其他相关:1.IK分词器

全文检索服务 ElasticSearch---------Field

继续阅读