通过一个SPARK STREAM SQL作业实例来展现百度流式计算BSC上端到端的开发流程。本样例作业上游为KAFKA，下游为BOS。

准备工作

• 若没有用户名，请先完成注册，操作请参考 注册百度账号。
• 创建作业前需确保账号已开通流式计算BSC服务，操作请参考 开通服务。

• 在页面左上角选择区域，在不同区域创建的作业所依赖的资源不同。

  说明：

  • 百度智能云目前开放多区域支持，如果您需要在多区域新增作业，请参考 区域选择说明。
  • 在不同区域创建的实例相互独立。

创建作业

1. 登录 百度智能云控制台
2. 选择 产品服务 > 智能大数据 > 流式计算BSC
3. 选择 华北 - 北京 区域 （样例中用到的KAFKA上游主题创建在此区域）
4. 创建一个 SPARK_STREAM/SQL 类型的BSC作业，操作请参考 新增作业。
5. 通过资源管理，上传KAFKA证书，并绑定至当前作业，操作请参考 资源管理。

• 下载 样例KAFKA证书

  说明： 此KAFKA证书仅提供样例主题的读权限。

6. 编辑作业

示例作业的完整SQL语句如下（用户可以直接粘贴到编辑器中，更新输出端BOS地址，进行作业调试）：

-- 创建输入端表（source），连接KAFKA消息队列
create table source_table_kafka(
    stringtype STRING,
    longtype BIGINT,
    floattype FLOAT,
    binarytype Binary,
    integertype Integer,
    bytetype Byte,
    booleantype Boolean,
    datetype TIMESTAMP,
    doubletype Double,
    shorttype Short
) with(
    'connector.type' = 'BKAFKA',
    'connector.topic' = '2a504dd6a8344952b10835451d2d2ebb__BSC_Sample',
    'format.encode' = 'JSON',
    'connector.properties.bootstrap.servers' = 'kafka.bj.baidubce.com:9091',
    'connector.properties.ssl.filename' = 'BSC_Sample_kafka-key.zip'
);

-- 创建输出端表（sink），连接BOS
create table sink_table_bos(
    stringtype_out String,
    longtype_out BIGINT
) with(
    'connector.type' = 'BOS',
    'format.encode' = 'JSON',
    'connector.path' = 'bos://BOS_BUCKET_NAME/BOS_OBJECT_NAME' -- 用户需替换为实际BOS地址
);

-- 具体作业处理逻辑
insert into
    sink_table_bos
select
    stringtype AS stringtype_out,
    longtype AS longtype_out
from
    source_table_kafka

输入/输出端

• 样例中输入端为KAFKA，输出端为BOS（相同region下），具体参数含义及其它支持的输入/输出端类型，请参考 DDL语句。

• 输入端表的Scheme需与具体导入数据格式相匹配

  • 若格式为CSV，格式及字段顺序需完全匹配
  • 若格式为JSON，字段无需完全匹配
• 输出端表的Scheme需与具体作业逻辑输出数据相匹配

编写处理业务逻辑的SQL语句

样例中，从输入端表选取stringtype和longtype两字段，不做额外逻辑处理，仅重命名字段为stringtype_out和longtype_out储存于输出端表中。 如需查看其它语法及与语句，请参考 DML语句。

调试作业

• 下载 样例调试数据

1. 点击工具栏内 调试 按钮，弹出上传输入端测试数据的页面。如有多输入源，可在页面左侧选择切换输入源。

   • 上传文件：现阶段仅支持JSON文件类型
2. 选择 文件上传，上传 样例数据 。
3. 点击 开始调试 ，开始运行调试作业。
4. 作业完成后，会在 调试日志 中提示，用户可在 调试结果 处看到调试结果。

发布作业

点击 发布 按钮，即可发布作业。发布成功后，作业会出现在 作业运维 页面下的作业列表。

启动作业

1. 选择 百度流式计算BSC > 作业管理 > 作业运维 ，进入到作业运维页面。
2. 在作业列表处选择刚刚创建的作业。
3. 选中作业后，点击右侧工具栏 启动 按钮，弹出作业资源配置界面。用户可根据实际需要对 作业起始时间、网络类型、安全组、CU数目及规格进行配置。
4. 完成配置后，点击 启动 按钮启动作业。作业启动后，会根据用户所选 CU数目及规格进行收费。
5. 作业启动后，可在 作业运维 页面查看作业日志。