原理 每一次数据导入会在聚合模型内形成一个版本,在 Compaction 阶段进行版本合并,在查询时会按照主键进行数据聚合: 数据导入阶段:数据按批次导入,每批次生成一个版本,并对相同聚合键的数据进行初步聚合(如求和、计数); 后台文件合并阶段(Compaction):多个版本文件会定期合并,减少冗余并优化存储; 查询阶段:查询时,系统会聚合同一聚合键的数据,确保查询结果准确。
查看数据和分析数据 点击选定数据填报的「查看数据」按钮可进行看到收集上来并上载至数据库的问卷数据。支持数据编辑和导入导出。 问卷分发出去以后,Sugar BI会在该空间下创建一个「内置数据填报数据源」,该数据源与其他数据源一样,可用于创建数据模型,在报表和大屏中进行数据可视化展现。
4 import org.apache.spark.sql.types._ 5 import org.apache.spark.sql.
Example 展示名为 test1 的例行导入任务的子任务信息。
目前支持的数据源有:时序数据库、静态数据(JSON文件、csv文件)、仿真数据、物联网核心套件、用户HTTP、公告板以及 API 层提供第三方数据写入能力。 时序数据库:物可视支持天工时序数据库作为数据源,若您暂时未开通时序数据库服务,请参考创建 时序数据库 。 注意:天工时序数据库会根据写入和查询进行计费。通过物可视进行查询同样会产生费用,详情可查询 时序数据库的计费文档 。
在对话区点击子任务下的灰色按钮,在右侧容器区域查看该任务的过程输出内容,包括:文件内容预览、实时网页信息、生成的代码或图表,以及知识库/数据库召回的相关内容。点击支持跳转到对应网页,或查看知识库与数据库的具体切片详情,便于直观理解任务执行过程。 容器区点击右上角按钮可隐藏/显示容器,下方是容器导航按钮,可点击切换查看容器内容。
如果导入创建分区时,该表涉及其他元数据操作(如 Schema Change、Rebalance),则导入可能失败。
创建一张 UNIQUE KEY 模型的表 SQL 复制 1 CREATE TABLE order_table 2 ( 3 order_id BIGINT, 4 order_type VARCHAR(8), 5 order_status VARCHAR(32) 6 ) 7 UNIQUE KEY(order_id) 8 DISTRIBUTED BY HASH(order_id) BUCKETS 8; 导入第一批数据
SQL 复制 1 ALTER ROUTINE LOAD FOR [db.]job_name 2 [job_properties] 3 FROM data_source 4 [data_source_properties] [db.]job_name 指定要修改的作业名称。 tbl_name 指定需要导入的表的名称。 job_properties 指定需要修改的作业参数。
支持标准的发布、审批、删除、废弃流程,支持批量导入导出。 2021-06 平台整体升级,增强在线开发IDE的开发模式,将开发和运维过程进行分离。 实时计算支持Flink引擎,能够进行FlinkSQL、FlinkJAR的实时作业开发。 扩展离线计算脚本开发能力,增加HIVESQL脚本、JDBCSQL脚本。 增加数据标准,允许进行码表、标准、表模板的创建和管理。