IK中文分词插件与动态更新词典
更新时间:2024-07-12
IK中文分词插件(英文名为analysis-ik)是百度智能云Elasticsearch默认安装的中文分词插件。
本文介绍了IK 中文分词插件的使用方法和动态更新IK词典的方法。
注意:目前IK中文分词插件支持所有版本的Elasticsearch实例。
使用方法
分词粒度
analysis-ik主要提供两种粒度的Analyzer
:
- ik_max_word:会将文本做最细粒度的拆分;尽可能多的拆分出词语
- ik_smart:会做最粗粒度的拆分;已被分出的词语将不会再次被其它词语占有
同名提供两种Tokenizer
:
- ik_max_word
- ik_smart
切词效果
ik_max_word的切词效果如下:
POST /_analyze
{
"analyzer": "ik_max_word",
"text": "百度校园夏令营"
}
{
"tokens": [
{
"token": "百度",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "百",
"start_offset": 0,
"end_offset": 1,
"type": "TYPE_CNUM",
"position": 1
},
{
"token": "度",
"start_offset": 1,
"end_offset": 2,
"type": "COUNT",
"position": 2
},
{
"token": "校园",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 3
},
{
"token": "夏令营",
"start_offset": 4,
"end_offset": 7,
"type": "CN_WORD",
"position": 4
},
{
"token": "夏令",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 5
},
{
"token": "夏",
"start_offset": 4,
"end_offset": 5,
"type": "CN_WORD",
"position": 6
},
{
"token": "令",
"start_offset": 5,
"end_offset": 6,
"type": "CN_CHAR",
"position": 7
},
{
"token": "营",
"start_offset": 6,
"end_offset": 7,
"type": "CN_CHAR",
"position": 8
}
]
}
ik_smart的切词效果如下:
POST /_analyze
{
"analyzer": "ik_smart",
"text": "百度校园夏令营"
}
{
"tokens": [
{
"token": "百度",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "校园",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 1
},
{
"token": "夏令营",
"start_offset": 4,
"end_offset": 7,
"type": "CN_WORD",
"position": 2
}
]
}
动态更新词典
配置词典
当IK自身带的词库不满足需求时,用户可以自定义词典。步骤如下:
- 把编辑好的词典放到一个http服务器上,可以选择以下两种方案。
- 用户可以把词典文件上传到BOS,并获取链接地址。需要注意的是,务必保证Elasticsearch所在地区与BOS Bucket的地区相同,否则无法访问词典。
1.建议将词典文件的访问权限设置为
公共读
,确保链接地址永久有效,且不会发生变化。
2.若不设置为公共读,则需要按业务需求修改BOS链接的有效时间,如需永久有效,可将有效时间设为-1。注意,链接有效期过后或词典文件如果发生修改(删除后重新上传),链接地址会发生变化,此时需要重新在ES中配置链接地址。
- 用户也可以自行部署http服务器,将词库放在服务器上。需要注意的是,务必保证Elasticsearch所在节点能够访问该http服务,否则无法下载安装。
- 在Elasticsearch里配置ik词库的http地址,比如自定义词库的配置文件是baidu.dict,停用词的配置文件是baidu_stop.dic时,向Elasticsearch发送的命令如下:
PUT /_cluster/settings
{
"persistent": {
"bpack.ik_analyzer.remote_ext_dict":"http://ip:port/baidu.dic",
"bpack.ik_analyzer.remote_ext_stopwords":"http://ip:port/baidu_stop.dic"
}
}
- Elasticsearch会每隔60s检测一下setting中http url指向的词库文件是否发生变化,如果变化了,那么es就会自动下载这个文件,然后加载到ik中。
验证词库是否生效
当配置好后,用户可以通过POST /_analyze
来检测词库是否生效,比如:
- 在没有配置词库之前,分词效果为:
POST /_analyze
{
"analyzer" : "ik_smart",
"text" : ["赵小明明真帅"]
}
Elasticsearch的返回结果是:
{
"tokens": [
{
"token": "赵",
"start_offset": 0,
"end_offset": 1,
"type": "CN_WORD",
"position": 0
},
{
"token": "小明",
"start_offset": 1,
"end_offset": 3,
"type": "CN_WORD",
"position": 1
},
{
"token": "明",
"start_offset": 3,
"end_offset": 4,
"type": "CN_WORD",
"position": 2
},
{
"token": "真帅",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 3
}
]
}
- 然后配置自定义词典,其中正常词库里只包含 "赵小明明", 停用词词库中包含 "真帅",配置完之后,再次调用
POST /_analyze
,结果如下:
{
"tokens": [
{
"token": "赵小明明",
"start_offset": 0,
"end_offset": 4,
"type": "CN_WORD",
"position": 0
}
]
}
结果显示, “赵小明明” 被当做一个单独的词,而 "真帅" 由于是停用词所以没有被分词。