搜索本产品文档关键词
内核版本说明
所有文档
menu
没有找到结果,请重新输入

Elasticsearch BES

内核版本说明


在完全兼容开源Elasticsearch内核的所有特性基础上,百度云Elasticsearch在冷热分离、向量检索、查询与写入性能优化等诸多方面,自主研发BES内核引擎。基于百度云Elasticsearch团队在多种应用场景下所积累的丰富经验,提升集群稳定性、增强性能、优化成本和丰富功能。本文介绍BES的内核版本及重点优化的特性。

7.10.2

内核版本 发布说明
1.7.7 bug修复
1、修复了执行cloneapi过程中元数据丢失的问题
2、优化了向量索引写入流程,解决了内存使用超出限制时副本间数据不一致问题,优化了写入阻塞问题
1.7.6 新增、优化特性
1、提供慢查询隔离功能,降低异常查询对集群稳定性的影响
1.7.5 新增、优化特性
1、新增了倒排融合查询的插件
2、优化了索引恢复流程,增大了索引恢复过程中simpleauth索引恢复的优先级
1.7.4 bug修复
1、修复了一个index包含多个同义词filter时的词典更新问题
1.7.3 新增、优化特性
1、优化了superuser和自定义用户的密码规则
    • 新密码规则如下:8-32位字符,支持大小写字母、数字、特殊符号,必须至少包含其中三种,符号仅限!@#$%^*()_
    • 原密码规则如下:支持小写字母(a-z)、大写字母(A-Z)、数字(0-9)、下划线(_),并且至少包含其中三种, 长度8-12位
    • 如果保持内核低于此版本,存量集群的密码规则不变
1.7.2 新增、优化特性
1、优化了hnsw算法带filter场景的实现,提高了该场景的召回率
1.7.1 新增、优化特性
1、优化了向量模块内存管理机制,当向量模块内存使用超出断路器限制后,不会再阻止向量数据写入
1.7.0 新增、优化特性
1、增加了基于段复制的主从同步机制
2、优化了使用量化算法的向量索引的带filter检索执行效率
bug修复
1、修复了部分队列任务阻塞的问题
1.6.3 bug修复
1、完善了cosine相似度算法实现对不同处理器的兼容性
1.6.2 bug修复
1、修复了script计算读取向量数据偶现的错误
2、优化了knn向量插件的实现,降低了gc消耗
1.6.1 bug修复
1、修复了大数据量下读取向量数据偶现的io错误
1.6.0 新增、优化特性
1、支持了通过SIMD指令加速script距离计算
2、优化了读取向量数据的内存消耗
1.5.1 bug修复
1、修复了hnsw索引带filter检索场景,在有nested字段的情况下影响召回的问题
1.5.0 新增、优化特性
1、优化source filter实现,提高_source解析效率
bug修复
1、完善了内核升级版本对mapping元数据的兼容性支持
1.4.1 bug修复
1、修复了稀疏向量存储实现导致的查询io错误
1.4.0 新增、优化特性
1、基于BOS冷热分离底层的文件读取类IndexInput采用mmap读取文件的方式实现。改变了冷热索引底层读取本地文件的方式,提升性能与稳定性
2、支持hnsw_sq8、hsnw_pq、ivf_hnsw、vf_hnsw_pq等索引算法,支持基于以上算法后台自动构建向量索引
3、hnsw支持通过mmap加载索引数据
4、优化了lucene的lz4的解压缩效率
1.3.0 新增、优化向量特性
1、上线基于自研引擎的hnsw算法
2、支持ivf、ivf_pq索引算法
3、支持基于hnsw的filter过滤能力,并通过智能修改查询计划得到更好性能表现
4、支持流式写入,优化向量写入内存消耗,优化后写入内存降低一倍
5、优化向量序列化格式,提高读写效率
6、优化forcemerge逻辑,支持直接merge到1个segment,不会有中间状态
Bug修复
1、修复hnsw写入阻塞问题和knn带 term filter 查询报数组越界错误的问题
2、修复shard的本地文件已存在导致shard启动错误的问题
3、修复向量功能should条件有不存在的字段的term检索时报错的问题
1.2.0 优化特性
1、 优化向量检索linear索引算法逻辑
1.1.0 优化特性
1、增加30秒延时释放句柄的逻辑
2、基于BOS冷热分离功能禁用序列化过程
1.0.0 版本更新
1、发布7.10.2版本
优化特性
1、升级了基于BOS冷热分离功能逻辑,保证了blk大小改动的情况下集群的稳定性
2、BOS冷热分离支持二级缓存功能
3、优化在blk size修改逻辑,修改后旧的缓存文件不会初始化到集群中
Bug修复
1、修复基于BOS冷热分离功能下,索引合并删除文件导致下次合并读取失败的问题


7.4.2

内核版本 发布说明
1.5.1 优化特性
1、优化了superuser和自定义用户的密码规则
    • 新密码规则如下:8-32位字符,支持大小写字母、数字、特殊符号,必须至少包含其中三种,符号仅限!@#$%^*()_
    • 原密码规则如下:支持小写字母(a-z)、大写字母(A-Z)、数字(0-9)、下划线(_),并且至少包含其中三种, 长度8-12位
    • 如果保持内核低于此版本,存量集群的密码规则不变
1.5.0 优化特性
1、优化了TaskBatcher的并发性能,以解决高并发put mapping时导致的节点离群问题
1.4.0 优化特性
1、基于BOS冷热分离功能本地缓存清理优化
Bug修复
1、修复了删除数据由于解析不了导致metadata文件卡住的问题
1.3.0 Bug修复
1、修复了向量检索中linear检索导致fullgc的问题
2、基于BOS冷热分离功能的清理缓存机制,避免出现too many open files
3、修复log4j问题
1.2.0 优化特性
1、基于BOS冷热分离支持可观测功能
Bug修复
1、启动脚本中增加expression_policy的配置,防止使用painless等脚本时报错
1.1.0 优化特性
1、数据BOS迁移限速
2、bos_upload线程池粒度改为shard
Bug修复
1、更新基于BOS冷热分离功能bug,热数据迁移不再通过BOS
1.0.0 版本更新
1、发布7.4.2版本
Bug修复
1、更新动态同义词插件bug,被删除的index的动态更新线程不会被停掉


### 6.8.14
内核版本 发布说明
1.1.1 优化特性
1、优化了superuser和自定义用户的密码规则
    • 新密码规则如下:8-32位字符,支持大小写字母、数字、特殊符号,必须至少包含其中三种,符号仅限!@#$%^*()_
    • 原密码规则如下:支持小写字母(a-z)、大写字母(A-Z)、数字(0-9)、下划线(_),并且至少包含其中三种, 长度8-12位
    • 如果保持内核低于此版本,存量集群的密码规则不变
1.1.0 Bug修复
1、修复log4j问题
1.0.0 版本更新
1、发布6.8.14版本


6.5.3

内核版本 发布说明
1.4.1 优化特性
1、优化了superuser和自定义用户的密码规则
    • 新密码规则如下:8-32位字符,支持大小写字母、数字、特殊符号,必须至少包含其中三种,符号仅限!@#$%^*()_
    • 原密码规则如下:支持小写字母(a-z)、大写字母(A-Z)、数字(0-9)、下划线(_),并且至少包含其中三种, 长度8-12位
    • 如果保持内核低于此版本,存量集群的密码规则不变
1.4.0 优化特性
1、6.5.3版本支持zstd压缩
1.3.0 优化特性
1、ik分词停用词加载授权
1.2.0 Bug修复
1、修复log4j问题
1.1.0 优化特性
1、NLP中文分词支持自定义词库
1.0.0 版本更新
1、发布6.5.3版本
上一篇
升级检查
下一篇
集群列表