基于BOS的Presto实践
更新时间：2023-07-07
概览
Presto是Facebook开发的数据查询引擎，可对海量数据进行快速地交互式分析，支持Hive，关系数据库等多种数据源。由于 BOS 在超低价格、超高性能、高可靠和高吞吐的强大存储优势，越来越多企业选择 BOS 作为大数据的存储媒介。因此，本文将对Presto在 BOS 上的使用方法作一个简要的介绍。
基于BOS HDFS的Presto使用
BOS HDFS
首先参考BOS HDFS一文安装并配置BOS HDFS，本机安装的hadoop版本为hadoop-3.3.2，参考文中"开始使用"一节完成BOS HDFS的基本试用，并设置环境变量：
export HADOOP_HOME=/opt/hadoop-3.3.2
export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpathHive
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行.
安装mysql
mysql用来存储hive的元数据，可以选择本地安装，也可以直接远程连接已安装的mysql或者RDS。本机安装的版本是：mysql-5.1.61-4.el6.x86_64
安装完成之后，可用
service mysqld status查看运行状态，并使用
/usr/bin/mysqladmin -u root -h ${IP} password ${new-password} #设置新密码可以在mysql中创建hive专用的用户，并设置密码。
安装hive
本机安装的版本为2.3.9.
- 修改conf文件夹下的两个配置：
mv hive-env.sh.template hive-env.sh
mv hive-site.xml.template hive-site.xml 在hive-env.sh中添加：
export HIVE_CONF_DIR=/ssd2/apache-hive-2.3.9-bin/conf在hive-site.xml中添加：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>MySQL</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>JDBC</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>new-password</value>
<description>passward</description>
</property>配置中 javax.jdo.option.ConnectionURL 是指mysql server的连接地址，javax.jdo.option.ConnectionUserName 就是用于hive的mysql用户名，javax.jdo.option.ConnectionPassword 是用户名对应的密码。设置完成后，把mysql的JBDC驱动复制到lib文件夹下，本机采用的驱动为 mysql-connector-java-5.1.32-bin.jar.
- 初始化msyql
./bin/schematool -dbType mysql -initSchema - 启动hive
./bin/hive- hive测试
- 创建表
create database hive; // 创建数据库
create table hive_test (a int, b string) //创建表
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';- 新建一个shell脚本，名为gen_data.sh
#!/bin/bash
MAXROW=1000000 #指定生成数据行数
for((i = 0; i < $MAXROW; i++))
do
echo $RANDOM, \"$RANDOM\"
done- 运行脚本，生成测试数据
./gen_data.sh > hive_test.data- 把数据加载到表中
load data inpath "bos://${bucket_name}/hive_test.data" into table hive.hive_test;- 查询
hive> select count(*) from hive_test;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20230528173013_6f5296db-562e-4342-917f-bcf14fc1480d
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapreduce.job.reduces=<number>
Job running in-process (local Hadoop)
2023-05-28 17:30:16,548 Stage-1 map = 0%, reduce = 0%
2023-05-28 17:30:18,558 Stage-1 map = 100%, reduce = 100%
Ended Job = job_local238749048_0001
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
1000000
hive> select * from hive_test limit 10;
OK
11027 "11345"
10227 "24281"
32535 "16409"
24286 "24435"
2498 "10969"
16662 "16163"
5345 "26005"
21407 "5365"
30608 "4588"
19686 "11831"Presto
安装版本为349，可参考presto安装一文的过程。其中，如果本机也作为worker，在config.properties中，
node-scheduler.include-coordinator=true #需要改为true在etc/catalog/hive.properties中，配置为：
connector.name=hive-hadoop2
hive.config.resources=/ssd2/hadoop-3.3.2/etc/hadoop/core-site.xml,/ssd2/hadoop-3.3.2/etc/hadoop/hdfs-site.xml #这里的地址一定要正确
hive.metastore.uri=thrift://127.0.0.1:9083
hive.allow-drop-table=false
hive.storage-format=ORC
hive.metastore-cache-ttl=1s
hive.metastore-refresh-interval=1s
hive.metastore-timeout=35m
hive.max-partitions-per-writers=1000
hive.cache.enabled=true
hive.cache.location=/opt/hive-cache把bos filesystem的jar包复制到plugin/hive-hadoop2/下，之后运行：
./bin/launcher start启动presto-server，
./presto-cli --server localhost:8881 --catalog hive --schema default运行
presto:default>use hive;
USE
presto:hive>select * from hive_test limit 10;
a | b
-------+----------
11027 | "11345"
10227 | "24281"
32535 | "16409"
24286 | "24435"
2498 | "10969"
16662 | "16163"
5345 | "26005"
21407 | "5365"
30608 | "4588"
19686 | "11831"
(10 rows)
Query 20230601_084130_00004_dzvjb, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
[Latency: client-side: 0:02, server-side: 0:02] [59.4K rows, 831KB] [28.9K rows/s, 404KB/s]在以上示例中，我们就通过presto查询到了存储在bos中的数据。
基于S3的presto访问
presto访问存储在BOS中的数据只能是通过hive，但是hive访问BOS中的数据有两种方式，第一种就是通过上述的介绍，基于bos-hdfs；第二种就是直接通过S3协议访问BOS。
hive配置
参考安装metastore中的步骤：
wget "https://repo1.maven.org/maven2/org/apache/hive/hive-standalone-metastore/3.1.2/hive-standalone-metastore-3.1.2-bin.tar.gz"
tar -zxvf hive-standalone-metastore-3.1.2-bin.tar.gz
sudo mv apache-hive-metastore-3.1.2-bin /usr/local/metastore
sudo chown user:user /usr/local/metastore下载并使用hive-standalone-metastore，增加必需的jar包：
rm /usr/local/metastore/lib/guava-19.0.jar
cp /usr/local/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar \
/usr/local/metastore/lib/
cp /usr/local/hadoop/share/hadoop/tools/lib/hadoop-aws-3.2.1.jar \
/usr/local/metastore/lib/
cp /usr/local/hadoop/share/hadoop/tools/lib/aws-java-sdk-bundle-1.11.375.jar \
/usr/local/metastore/lib/之后配置/usr/local/metastore/conf/metastore-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<property>
<name>fs.s3a.access.key</name>
<value>S3_ACCESS_KEY</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>S3_SECRET_KEY</value>
</property>
<property>
<name>fs.s3a.connection.ssl.enabled</name>
<value>false</value>
</property>
<property>
<name>fs.s3a.path.style.access</name>
<value>true</value>
</property>
<property>
<name>fs.s3a.endpoint</name>
<value>S3_ENDPOINT</value>
</property>fs.s3a.endpoint 是指s3 的endponit，bos的s3 endpoint在BOS S3域名可查. 启动hive metastore:
/usr/local/metastore/bin/start-metastore &presto配置
preto的版本这里不作改变，hive.properties的内容改为：
connector.name=hive-hadoop2
hive.metastore.uri=thrift://localhost:9083
hive.s3.path-style-access=true
hive.s3.endpoint=S3_ENDPOINT
hive.s3.aws-access-key=S3_ACCESS_KEY
hive.s3.aws-secret-key=S3_SECRET_KEY
hive.s3.ssl.enabled=false启动presto
/usr/local/trino/bin/launcher start#创建schema
CREATE SCHEMA IF NOT EXISTS hive.iris
WITH (location = 's3a://my-bos-bucket/'); //注意，这里的location就是以s3a开头，如果bucket为my-bos-bucket，则location应为s3a://my-bos-bucket/开头
#创建表
CREATE TABLE IF NOT EXISTS hive.iris.iris_parquet (
sepal_length DOUBLE,
sepal_width DOUBLE,
petal_length DOUBLE,
petal_width DOUBLE,
class VARCHAR
)
WITH (
external_location = 's3a://my-bos-bucket/iris_parquet',
format = 'PARQUET'
);
SELECT
sepal_length,
class
FROM hive.iris.iris_parquet
LIMIT 10;