内核版本说明
更新时间：2024-07-12
在完全兼容开源Elasticsearch内核的所有特性基础上，百度云Elasticsearch在冷热分离、向量检索、查询与写入性能优化等诸多方面，自主研发BES内核引擎。基于百度云Elasticsearch团队在多种应用场景下所积累的丰富经验，提升集群稳定性、增强性能、优化成本和丰富功能。本文介绍BES的内核版本及重点优化的特性。
7.10.2
| 内核版本 | 发布说明 |
|---|---|
| 1.7.5 | 新增、优化特性 1、新增了倒排融合查询的插件 2、优化了索引恢复流程，增大了索引恢复过程中simpleauth索引恢复的优先级 |
| 1.7.4 | bug修复 1、修复了一个index包含多个同义词filter时的词典更新问题 |
| 1.7.3 | 新增、优化特性 1、优化了superuser和自定义用户的密码规则
|
| 1.7.2 | 新增、优化特性 1、优化了hnsw算法带filter场景的实现，提高了该场景的召回率 |
| 1.7.1 | 新增、优化特性 1、优化了向量模块内存管理机制，当向量模块内存使用超出断路器限制后，不会再阻止向量数据写入 |
| 1.7.0 | 新增、优化特性 1、增加了基于段复制的主从同步机制 2、优化了使用量化算法的向量索引的带filter检索执行效率 bug修复 1、修复了部分队列任务阻塞的问题 |
| 1.6.3 | bug修复 1、完善了cosine相似度算法实现对不同处理器的兼容性 |
| 1.6.2 | bug修复 1、修复了script计算读取向量数据偶现的错误 2、优化了knn向量插件的实现，降低了gc消耗 |
| 1.6.1 | bug修复 1、修复了大数据量下读取向量数据偶现的io错误 |
| 1.6.0 | 新增、优化特性 1、支持了通过SIMD指令加速script距离计算 2、优化了读取向量数据的内存消耗 |
| 1.5.1 | bug修复 1、修复了hnsw索引带filter检索场景，在有nested字段的情况下影响召回的问题 |
| 1.5.0 | 新增、优化特性 1、优化source filter实现，提高_source解析效率 bug修复 1、完善了内核升级版本对mapping元数据的兼容性支持 |
| 1.4.1 | bug修复 1、修复了稀疏向量存储实现导致的查询io错误 |
| 1.4.0 | 新增、优化特性 1、基于BOS冷热分离底层的文件读取类IndexInput采用mmap读取文件的方式实现。改变了冷热索引底层读取本地文件的方式，提升性能与稳定性 2、支持hnsw_sq8、hsnw_pq、ivf_hnsw、vf_hnsw_pq等索引算法，支持基于以上算法后台自动构建向量索引 3、hnsw支持通过mmap加载索引数据 4、优化了lucene的lz4的解压缩效率 |
| 1.3.0 | 新增、优化向量特性 1、上线基于自研引擎的hnsw算法 2、支持ivf、ivf_pq索引算法 3、支持基于hnsw的filter过滤能力，并通过智能修改查询计划得到更好性能表现 4、支持流式写入，优化向量写入内存消耗，优化后写入内存降低一倍 5、优化向量序列化格式，提高读写效率 6、优化forcemerge逻辑，支持直接merge到1个segment，不会有中间状态 Bug修复 1、修复hnsw写入阻塞问题和knn带 term filter 查询报数组越界错误的问题 2、修复shard的本地文件已存在导致shard启动错误的问题 3、修复向量功能should条件有不存在的字段的term检索时报错的问题 |
| 1.2.0 | 优化特性 1、 优化向量检索linear索引算法逻辑 |
| 1.1.0 | 优化特性 1、增加30秒延时释放句柄的逻辑 2、基于BOS冷热分离功能禁用序列化过程 |
| 1.0.0 | 版本更新 1、发布7.10.2版本 优化特性 1、升级了基于BOS冷热分离功能逻辑，保证了blk大小改动的情况下集群的稳定性 2、BOS冷热分离支持二级缓存功能 3、优化在blk size修改逻辑，修改后旧的缓存文件不会初始化到集群中 Bug修复 1、修复基于BOS冷热分离功能下，索引合并删除文件导致下次合并读取失败的问题 |
7.4.2
| 内核版本 | 发布说明 |
|---|---|
| 1.5.1 | 优化特性 1、优化了superuser和自定义用户的密码规则
|
| 1.5.0 | 优化特性 1、优化了TaskBatcher的并发性能，以解决高并发put mapping时导致的节点离群问题 |
| 1.4.0 | 优化特性 1、基于BOS冷热分离功能本地缓存清理优化 Bug修复 1、修复了删除数据由于解析不了导致metadata文件卡住的问题 |
| 1.3.0 | Bug修复 1、修复了向量检索中linear检索导致fullgc的问题 2、基于BOS冷热分离功能的清理缓存机制，避免出现too many open files 3、修复log4j问题 |
| 1.2.0 | 优化特性 1、基于BOS冷热分离支持可观测功能 Bug修复 1、启动脚本中增加expression_policy的配置，防止使用painless等脚本时报错 |
| 1.1.0 | 优化特性 1、数据BOS迁移限速 2、bos_upload线程池粒度改为shard Bug修复 1、更新基于BOS冷热分离功能bug，热数据迁移不再通过BOS |
| 1.0.0 | 版本更新 1、发布7.4.2版本 Bug修复 1、更新动态同义词插件bug，被删除的index的动态更新线程不会被停掉 |
### 6.8.14
| 内核版本 | 发布说明 |
|---|---|
| 1.1.1 | 优化特性 1、优化了superuser和自定义用户的密码规则
|
| 1.1.0 | Bug修复 1、修复log4j问题 |
| 1.0.0 | 版本更新 1、发布6.8.14版本 |
6.5.3
| 内核版本 | 发布说明 |
|---|---|
| 1.4.1 | 优化特性 1、优化了superuser和自定义用户的密码规则
|
| 1.4.0 | 优化特性 1、6.5.3版本支持zstd压缩 |
| 1.3.0 | 优化特性 1、ik分词停用词加载授权 |
| 1.2.0 | Bug修复 1、修复log4j问题 |
| 1.1.0 | 优化特性 1、NLP中文分词支持自定义词库 |
| 1.0.0 | 版本更新 1、发布6.5.3版本 |