使用Elasticsearch作为DTS目标端 使用Elasticsearch作为目标端,在任务创建、前置检查、任务启动、任务暂停、任务终止的操作流程请参考操作指南。 在 任务配置 和 对象映射 部分与其他数据源有些许不同。 4.1 任务配置 首先配置数据传输任务的上下游连接信息 如上图所示,目标端应选择Elasticsearch实例。
Palo Studio的创建者默认为“管理员”且不可被其他管理员更改。 LDAP认证下用户管理 使用LDAP认证之后,管理员可以通过右上角【添加用户】按钮,将LDAP中账户添加到Studio空间。 LDAP认证下,管理员无法修改用户邮箱、密码等账户信息,可以通过最右侧叉号图表,将用移出空间。 创建分组 Palo Studio默认群组为“管理员”和“所有用户”。
登录控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,并做如下配置: 设置集群名称 设置管理员密码 关闭日志开关 选择镜像版本“BMR 0.2.0(hadoop 2.6)” 选择内置模板“hadoop”。 请保持集群的其他默认配置不变,点击“完成”可在集群列表页可查看已创建的集群,当集群状态由“初始化中”变为“空闲中”时,集群创建成功。
游戏类型应用的RDS套餐选择建议 目前大多数游戏都采用了分区分服的策略,针对这一特点,在数据库选择上,推荐使用全局数据库配合分表分库DRDS数据库的方案,即: 登录数据、商城、聊天等全局数据统一存放在全局数据库中; 游戏数据按照分区分服存在不同数据库分片的不同分表中; 如果希望了解分布式关系型数据库DRDS的详细情况,请查看 DRDS相关文档 ,或前往 DRDS主页 申请免费试用。
至此,FineBI成功连接Palo数据库。 使用FineBI 1.数据库连接完成之后,就可以在FineBI中对Palo中的数据进行分析了。点击“数据准备”,添加业务包。 2.进入业务包,点击“添加表”按钮,选择数据库表进入。 3.在数据库表页面,可以看到已连接的Palo数据库中的表。 4.选择需要分析的数据,点击“确定”进行数据库连接。
SQL转储 SQL转储 ClickHouse 可以通过多种方式轻松集成到OLTP数据库基础架构中。一种方法是使用SQL转储在其他数据库和ClickHouse之间传输数据。 创建SQL转储 可以使用SQLInsert以 SQL格式转储数据。ClickHouse将在 INSERT INTO <table name> VALUES(...
DbName :所属数据库。 State :当前阶段。 PENDING :提交作业后的初始状态。 SNAPSHOTING :执行快照中。 DOWNLOAD :快照完成,准备下载仓库中的快照。 DOWNLOADING :快照下载中。 COMMIT :快照下载完成,准备生效。 COMMITING :生效中。 FINISHED :作业成功。 CANCELLED :作业失败。
String 是 目标端实例类型(OnBce:百度智能云数据库;OffBce:自建数据存储) OnBce crossRegionTag Integer 是 跨地域标识(0:同地域;1:跨地域) 0 createTime Long 是 资源创建时间,UNIX 时间戳(毫秒数) 1607606657000 standard String 是 规格(Large:大规格;目前仅支持大规格) Large endTime
连接数据源:Sugar BI支持多种方式对接数据源,包括直连数据库、上传 Excel/CSV 文件、API 接口、静态 JSON 录入。 创建数据模型:数据模型的作用是将源数据整合处理为适合分析的数据集,为后续工作做数据准备。在数据模型模块,可以将需要的多张数据表关联成一张宽表,并进行逻辑层面的数据处理(如字段重命名、新建计算字段、创建层级、调整字段顺序等操作)。
导入事务和原子性 导入原子性 PALO 中的所有导入操作都有原子性保证,即一个导入作业中的数据要么全部成功,要么全部失败。不会出现仅部分数据导入成功的情况。 在 BROKER LOAD 中我们也可以实现多多表的原子性导入。 对于表所附属的 [物化视图](TODO),也同时保证和基表的原子性和一致性。 Label 机制 PALO 的导入作业都可以设置一个 Label。