Druid使用BOS作为Deep storage
更新时间：2024-10-14
Druid
Apache Druid 是一个高性能的实时分析型数据库。专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。
通过BOS-HDFS插件，支持将BOS作为deep storage存储数据。
安装
1.环境准备
下载安装Druid，略。
在BOS-HDFS下载依赖的jar包，并拷贝到Druid安装路径的extensions/druid-hdfs-storage目录下。
2.修改配置
修改conf/druid/_common/common.runtime.properties 文件，使用HDFS方式接入BOS。
druid.extensions.loadList=["druid-hdfs-storage"]
druid.storage.type=hdfs
druid.storage.storageDirectory=bos://{bucket}/druid-path在conf/druid/_common/目录下新建一个 hdfs 的配置文件 hdfs-site.xml，配置BOS访问参数。
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.bos.access.key</name>
<value>{Your AK}</value>
</property>
<property>
<name>fs.bos.secret.access.key</name>
<value>{Your SK}</value>
</property>
<property>
<name>fs.bos.endpoint</name>
<value>http://bj.bcebos.com</value>
</property>
<property>
<name>fs.bos.impl</name>
<value>org.apache.hadoop.fs.bos.BaiduBosFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.bos.impl</name>
<value>org.apache.hadoop.fs.bos.BOS</value>
</property>
</configuration>更多可参考BOS-HDFS中的可配置属性。
使用
启动Druid相关服务，就可以用BOS作为deep storage存储数据了。