文档更新记录 2018-01-04 新增Python SDK附加文件作业示例
常见问题总览 故障类问题 作业运行失败怎么办? 作业为什么会运行失败? 作业为什么会提交失败? 集群为什么会自动终止? 配置类问题 如何配置集群,使得作业运行完毕后,集群自动终止? BMR无法手动停止 job,必须等待它运行完吗? 集群是否支持外网登录? Core节点与Task节点的使用区别在哪里,如何选择? 计费类问题 BMR如何进行收费? 费用不足,用户该如何充值? 充值时,一次性充多少钱可以
流式应用场景 概览 实现云上流式场景下数据流打通,方便用户在百度智能云上使用各个产品实现流式需求,实现流式数据处理全流程。 需求场景 事件流 事件流具能够持续产生大量的数据,这类数据最早出现与传统的银行和股票交易领域,也在互联网监控、无线通信网等领域出现、需要以近实时的方式对更新数据流进行复杂分析如趋势分析、预测、监控等。简单来说,事件流采用的是查询保持静态,语句是固定的,数据不断变化的方式。
从Flink导入 使用Flink ClickHouse 连接器进行导入。 表一 连接器选择 选项 默认 类型 描述 网址 必填 none String 格式的 ClickHouse jdbc url clickhouse://<host>:<port> 用户名 选填 none String 如果指定了“用户名”和“密码”,则必须同时指定。 密码 选填 none String
CSV and TSV CSV and TSV ClickHouse 支持从 CSV 导入数据和将数据导出到 CSV。由于 CSV 文件可能具有不同的格式细节,包括标题行、自定义分隔符和转义符号,ClickHouse 提供了格式和设置来有效解决每种情况。 从CSV文件导入数据 在导入数据之前,创建一个具有相关结构的表: CREATE TABLE sometable ( `path` String,
从Spark导入 将Apache Spark与ClickHouse集成 连接Apache Spark和ClickHouse有两种主要方式: Spark连接器-Spark连接器实现了DataSourceV2,并具有自己的目录管理。截至今天,这是集成ClickHouse和Spark的推荐方式。 Spark JDBC-使用JDBC数据源集成Spark和ClickHouse。 Spark连接器 此连接器利
实例操作接口 查询实例列表 接口描述 查询指定集群和实例组的实例 权限说明 请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证 。 注意事项 如果请求中没有用户验证信息(即匿名访问),返回 403 Forbidden ,错误信息: AccessDenied 。 请求结构 GET /v{version}/cluster/{clusterId}
按需计费 按需计费价格 按需计费定价根据地区收费标准分为内地和香港,具体请参见: 按需计费定价 。 您可在 BMR价格计算器 中预设BMR配置并查看对应的价格。 说明 通用型是cpu核数与内存比例为1:4的套餐,数据盘挂载的是CDS云磁盘,适用于大多数场景。 计算型是cpu核数与内存比例为1:2的套餐,数据盘挂载的是CDS云磁盘,适用于计算密集型场景。 内存型是cpu核数与内存比例为1:8的套餐,
性能类问题 BMR是否可估算处理作业的运行时间? 处理作业的运行时间依赖若干种因素,包括作业的规模和复杂度、设置实例的数目以及套餐类型等多种情况,因此BMR没有提供估算作业运行时间的服务。 BMR能运行一个超级大的作业吗? BMR对处理作业的大小没有任何限制。若作业大于5G,BOS 提供了MultiUpload通道上传文件。但需要注意,每个集群中的作业数量不能超过256个。 每个账户可以同时运行多
配置已有集群 对于已创建的集群,用户可以在产品服务中的 MapReduce-集群列表 页面查看所有集群的状态和详情。并对集群做一些具体操作,下面是关于所有操作的具体描述。 集群详情 1.登录MapReduce控制台,在集群列表中选择对应的 集群 ID/名称 点击进入集群详情页。 2.在详情界面的集群详情分别可以查看关于集群的基本信息、配置信息、相关工具、网络和实例信息,实例信息可以展开查看详细信息