需求场景 所有机器的 API 调用日志通过 自定义日志采集程序 进行日志采集后推送到 百度消息服务 (KAFKA)中作为流式计算 source , 在我们 BSC 中创建 FLINK_STREAM/SQL 类型的作业用于 API 日志的聚合统计,并实时将聚合结果写到 时序时空数据库 (TSDB)当中,用户可以通过 TSDB 的可视化面板或者利用 数据可视化工具 (如 Sugar BI)等调用 TSDB
Trino Trino Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,支持联邦查询,可以在一条SQL中直接查询多个不同的数据源,适用于交互式分析查询。 创建Trino集群 登录BMR界面,点击【创建集群】,在集群类型中选择trino镜像,在Trino元数据设置中,有EDAP和DEFAULT两种方式供选择。使用EDAP管理Trino元数据,需要用户已有EDAP产品使用权限。
开发人员不熟悉,mongo 在国内依然小众,无 schema 既是优点也是缺点,没有 schema 容易导致新老数据结构不一致而引起问题,目前未听说有大公司在核心系统中使用 mongo,并且它的查询语法也远不如 SQL 普及。 有大量限制,基于已创建的宽表使得无法使用所有 SQL 语句,通常只支持查询,无法用 select * 、无法创建 view 视图等,数据库各种高级功能几乎都没法用。
支持的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE DATABASE、CREATE TABLE、CREATE TABLE LIKE、ALTER TABLE、DROP DATABASE、CREATE VIEW、CREATE FUNCTION、CREATE PROCEDURE、ALTER FUNCTION、ALTER PROCEDURE、CREATE
su - clickhouse clickhouse-client -m -u admin --password 集群密码 表一 clickhouse-client常用参数 参数名称 对应名称 -h 主机名 -d 数据库名 -m 客户端支持多行SQL输入以分号结尾,不指定该参数默认以回车作为SQL结尾 -u 账户,默认admin --password 默认创建集群时的密码 其他client参数 执行命令进行查看
api/v1/query_range HTTP Authorization: Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJuYW1lc3BhY2Ui****HJvbS03bjU4NjN3MjEiLCJzZWNyZXROYW1lIjoiYWdlbnQtN2ZzNTNrN2MxIiwiZXhwIjoxNzE4MzM1MTA3LCJpc3MiOiJjcHJvbSJ9.5JJX_gl76aLagz8jpq7PT5AI34jdlC36IwCaYr46qWo
2.连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
Serverless资源组支持在FlinkSQL、SparkSQL作业开发中使用,提供Job级别的弹性伸缩能力。 数据建模逆向数据库能力增强。支持将数据湖EDAPDataLake、数据仓库Hive中已有数据表一键逆向为模型,提高批量建模效率。 公有云数据服务强化API管理能力。支持将EDAP中的API一键发布到API网关,进行API授权、调用、流量控制等管理操作,提高数据流通管控能力。
安装过程中需要注意的是使用PHP5.3 + 以及开启zend + 安装时选择使用已有数据库。 1. 需要到控制面板切换到PHP5.3 2. 在php.ini里面添加配置 zend_loader.enable=1 开启zend 重载之后生效 3. 安装的时候要直接点击选择已有数据库,否则会造成无法创建数据库。
支持的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE DATABASE、CREATE TABLE、CREATE TABLE LIKE、ALTER TABLE、DROP DATABASE、CREATE VIEW、CREATE FUNCTION、CREATE PROCEDURE、ALTER FUNCTION、ALTER PROCEDURE、CREATE