方案概述 服务器 → KAFKA → BSC → KAFKA / BOS → 其他 配置步骤 一个完整的 Spark SQL 作业由 source 表、sink 表和 DML 语句构成。
当然,除了手动输入,也可以通过csv模板批量导入。与手动输入不同的是,最后会有一列Identifier,这里您可以填写下面产品测点对应的属性标识,会自动创建设备点表与物模型测点的原值映射。 注意 :如果使用设备点表导入,会覆盖当前的采集点内容和映射内容。 物模型点位映射 物模型点位已经出现在您的设备模板中,这是因为在创建设备模板时,已经选择了对应的产品。该部分显示的就是产品中测点的内容。
void setAccessKey(String accessKey) 设置安全凭证,参数为需要订阅数据的订阅任务对应的百度智能云账号的AccessKey。 void setSecretKey(String secretKey) 设置安全凭证,参数为百度智能云账号对应的SecretKey。可以到 安全认证/Access Key 页面创建并获取。
ts` BIGINT ) WITH ( 'connector.type' = 'BKAFKA', 'format.encode' = 'CSV', 'format.attributes.field-delimiter' = ' ', -- 分隔符为空格 'connector.topic' = 'xxxxxxxxx__bsc-source', 'connector.properties.bootstrap.servers
以下是脚本文件类型配置项详情: HIVESQL:基本信息、参数设置、版本 JDBCSQL:基本信息、参数设置、版本 Spark SQL:基本信息、参数设置、引擎设置、版本 PySpark:基本信息、参数设置、引擎设置、版本 Spark Scala:基本信息、参数设置、引擎设置、版本 Shell:基本信息、脚本设置、版本 Python:基本信息、脚本设置、版本 存放文件夹 默认为 任务开发 文件夹。
以下是脚本文件类型配置项详情: HIVESQL:基本信息、参数设置、版本 JDBCSQL:基本信息、参数设置、版本 Spark SQL:基本信息、参数设置、引擎设置、版本 PySpark:基本信息、参数设置、引擎设置、版本 Spark Scala:基本信息、参数设置、引擎设置、版本 Shell:基本信息、脚本设置、版本 Python:基本信息、脚本设置、版本 存放文件夹 默认为 任务开发 文件夹。
SET PROPERTY 描述 SET PROPERTY 语句用于设置用户属性,包括分配给用户的资源和导入集群设置。
它定义了导入过程中可以容忍的异常数据所占总数据的最大比例。
WAITING_TXN: 等待分界事务 ID 前的导入任务完成。 - RUNNING: 正在进行历史数据转换。 - FINISHED: 作业成功完成。 - CANCELLED: 作业失败。 Msg 如果作业失败,显示失败信息。 Progress 作业进度。仅在 RUNNING 状态下显示。进度以 M/N 的形式显示。N 是 Schema Change 中涉及的副本的总数。
平台也支持您上传 CSV文件 或 XLSX文件 来创建推理结果集。 此外,您还可将包含推理模型配置信息的文件 model_config.json 与上述数据样本文件进行打包压缩上传,详见 压缩包模板 。 保存位置为对象存储BOS 对象存储BOS:使用对象存储BOS,享受更大存储空间,数据高效灵活管理。 平台共享存储:平台提供一定免费额度的共享存储空间。