计算资源
DataBuilder支持计算资源创建和管理功能,计算资源可用于平台内各类运行任务。下面将详细说明计算资源功能。
前提条件
- 具备计算资源相关查看或管理权限。
资源组
资源组用于实现计算资源的分组管理、配额控制与权限隔离,是保障平台多业务稳定运行的重要基础。本模块介绍资源组的创建、配置说明,明确操作规范与要求,确保资源合理分配与高效利用。
创建资源组
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 通过标签页选择资源组,单击列表右上角创建按钮,进入配置流程。
- 填写相关配置项,详细配置项说明参照如下。
表1 资源组基本配置说明
| 配置项名称 | 说明 |
|---|---|
| 资源组名称 | 输入自定义名称,用于标识该资源组。不超过64个字符。 |
| 地域 | 展示当前资源所在地区。 |
| 是否同VPC | 设置当前资源组下的各个资源是否属于同一VPC下。 |
表2 资源组CPU资源配置说明
| 配置项名称 | 说明 |
|---|---|
| 源连接与集成实例 | 下拉选择用于数据接入、集成的 CPU 实例。 |
| 数据处理实例 | 提供 3 种类型选项(Spark/Ray/ 客户端),需选择对应类型的 CPU 数据处理实例(如 Spark 用于分布式计算)。 |
| 分析与AI搜索实例 | 下拉选择用于数据分析、AI 搜索任务的 CPU 实例。 |
| 通用资源队列 | 选择 CPU 资源的调度队列,用于资源分配管理。 |
表3 资源组GPU资源配置说明
| 配置项名称 | 说明 |
|---|---|
| 数据处理实例 | 选择 Ray 类型的 GPU 数据处理实例。 |
| 通用资源队列 | 选择 GPU 资源的调度队列,用于 GPU 资源的分配管理。 |
资源组列表
创建成功的资源组以列表形式展示,列表支持按照创建时间进行排序。
表4 资源组列表项及操作说明
| 列表项名称 | 说明 |
|---|---|
| 资源组 | 资源组的标识。 |
| 资源组ID | 系统生成的唯一标识 |
| 创建时间 | 资源组的创建时间 |
| 操作 | 编辑:修改资源组的配置信息。详情:设置该资源组的访问 / 使用权限。删除:移除该资源组实例。 |
源连接与集成实例
源链接与集成实例是计算资源模块中负责实现多源数据的统一接入、传输与调度。本模块说明其创建、配置说明,确保数据链路稳定、数据集成任务可靠执行。
创建源连接与集成实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 通过标签页选择源连接与集成实例,单击列表右上角创建按钮,进入配置流程。
- 填写相关配置项,详细配置项说明参照表5。
表5 配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 节点类型 | CPU。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。 |
查看源连接与集成实例
创建成功的源连接与集成实例以列表形式展示,列表支持按照状态进行筛选。
表6 源链接与集成实例
| 列表项名称 | 说明 |
|---|---|
| 实例名称 | 用户自定义的源连接与集成实例名称。 |
| 实例 ID | 系统生成的源连接与集成实例的ID。 |
| 状态 | 列表支持按照状态进行筛选,状态类型分为:生效中、运行中、失效、创建失败。 |
| 实例规格数量 | 当前实例的规格数量。 |
| 创建时间 | 创建源连接与集成实例的时间。 |
| 付费方式 | 按量付费/包年包月。 |
| 操作 | 单击操作列不同按钮,对实例进行不同操作。 续费:单击续费按钮,对实例进行续费。 删除:删除:单击删除,可对源链接与集成实例进行删除。注意:实例删除后不可恢复,请谨慎操作。* 权限管理:对源链接与集成实例进行权限管理,对用户进行赋权等操作。 |
数据处理实例
数据处理实例用于对接入平台的多源数据进行清洗、转换与加工,是数据价值化的核心环节。本模块介绍其创建、配置说明,明确操作规范,确保数据处理任务可靠执行。
创建数据处理实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算实例通过切换tab页选择数据处理实例,在页面右上方单击创建按钮,进入配置流程。
- 填写相关配置项后,右侧确认订单无误可单击立即创建,数据处理实例配置完成。
表7 创建数据处理实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例模版名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例类型 | 选择实例类型:Ray/Spark/客户端。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 |
当实例类型选择Spark时候,镜像版本为4.0.0,同时支持填写相关Spark配置参数。| |节点类型|CPU。| |节点规格|根据需要选择节点规格。| |购买数量|购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。|
查看数据处理实例列表
创建成功的数据处理实例列表以列表形式展示,列表支持按照状态或实例类型进行筛选。
表8 列表项及操作项说明
| 列表项 | 说明 |
|---|---|
| 实例 ID | 实例的唯一ID。 |
| 实例名称 | 常驻实例名称。 |
| 监控 | 点击进入监控指标查看页面。 |
| 状态 | 列表支持按照状态进行筛选,状态分为:生效中、运行中、失效和创建失败。 |
| 节点规格 | 展示当前实例节点规格。 |
| 实例类型 | Ray/Spark/客户端。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 |
当实例类型选择Spark时候,镜像版本为4.0.0。| |创建时间|创建实例的时间。| |付费方式|按量付费。| |操作|在操作项单击删除按钮,可删除当前实例。注意:实例删除后不可恢复,请您谨慎操作。|
查看数据处理实例详情
在列表单击实例名称,通过tab页切换选择监控,查看监控指标。
支持通过时间范围、指标类型、监控级别、监控对象、性能指标或单行展示数对指标进行筛选。
表9 数据处理监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| RayNodeCount | 节点统计 | 实例:RayCompute | 个 |
| RayCpuUtilization | CPU利用率 | 实例:RayCompute节点:RaylNode | % |
| RayMemoryUtilization | 内存利用率 | 实例:RayCompute节点:RaylNode | % |
| RayGpuUtilization | GPU利用率 | 实例:RayCompute节点:RaylNode | % |
| RayGpuMemoryUtilization | 显存存利用率 | 实例:RayCompute节点:RaylNode | % |
| RayObjectStoreMemory | 对象存储内存 | 实例:RayCompute节点:RaylNode | GB |
| RaySchedulerPlacementGroups | 调度器放置组 | 实例:RayCompute节点:RaylNode | 个 |
| RayCpuResourceUsed | CPU逻辑资源使用量 | 实例:RayCompute节点:RaylNode | 个 |
| RayCpuResourceTotal | CPU逻辑资源使用总量 | 实例:RayCompute节点:RaylNode | 个 |
| RayGpuResourceUsed | GPU逻辑资源使用量 | 实例:RayCompute节点:RaylNode | 个 |
| RayGpuResourceTotal | CPU逻辑资源使用总量 | 实例:RayCompute节点:RaylNode | 个 |
| RaySchedulerTaskState | 调度器任务状态 | 实例:RayCompute节点:RaylNode | - |
| RaySchedulerActorState | 调度器Actor状态 | 实例:RayCompute节点:RaylNode | - |
| RaySchedulerTaskStateRate | 调度器任务状态变化率 | 实例:RayCompute节点:RaylNode | 个/秒 |
| RaySchedulerActorStateRate | 调度器Actor状态变化率 | 实例:RayCompute节点:RaylNode | 个/秒 |
| SparkNodeCount | 节点统计 | 实例:SparkCompute | 个 |
| SparkCpuUtilization | CPU利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkMemoryUtilization | 内存利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkMemorySwapUtilization | 内存交换空间利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkReceivedThroughNetwork | 网络接收量 | 实例:SparkCompute节点:SparkNode | Bytes/s |
| SparkTransmittedThroughNetwork | 网络发送量 | 实例:SparkCompute节点:SparkNode | Bytes/s |
| SparkActiveTasks | 活跃任务 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalFailedTasks | 失败任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalFailedTasksRate | 失败任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalCompletedTasks | 已完成任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalCompletedTasksRate | 已完成任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalNumberOfTasks | 任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalCompletedTasksRate | 任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalShuffleRead | 总Shuffle读取量 | 实例:SparkCompute节点:SparkNode | Bytes |
| SparkTotalShuffleWrite | 总Shuffle写入量 | 实例:SparkCompute节点:SparkNode | Bytes |
| SparkTotalTaskDuration | 总任务持续时间 | 实例:SparkCompute节点:SparkNode | s |
分析与AI搜索实例
本模块用于指导用户完成分析与AI搜索实例的创建与配置,明确操作流程与字段说明,保障实例正常部署与稳定运行。
创建分析与AI搜索实例
创建分析与AI搜索实例用于Notebook任务运行、数据预览等功能。
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算实例通过切换tab页选择分析与AI搜索实例,在页面右上方单击创建按钮,进入配置流程。
- 填写相关配置项后,右侧确认订单无误可单击立即创建,数据处理实例配置完成。
表10 创建分析与AI搜索实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例版本 | Doris 3.0。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。 |
查看分析与AI搜索实例列表
创建成功的分析与AI搜索实例列表以列表形式展示,列表支持按照状态或实例类型进行筛选。 表11 分析与AI搜索实例列表项说明
| 列表项 | 说明 |
|---|---|
| 实例ID | 实例的唯一ID。 |
| 实例名称 | 实例的名称,用来识别实例的唯一性。 |
| 监控 | 点击进入监控指标查看页面。 |
| 状态 | 实例的状态,分别为:生效中、运行中、失效和创建失败。列表支持按照状态进行筛选。 |
| 节点规格 | 展示当前实例的节点配置情况。 |
| 实例版本 | Doris 3.0。 |
| 数据目录 | 实例对应的数据存储目录。 |
| 创建时间 | 创建实例的时间。 |
| 付费方式 | 当前实例的付费方式。 |
| 操作 | 单击操作列操作,对实例进行不同操作。 配置变更:修改实例配置。 续费:对实例续费。 删除:删除当前实例,不支持删除正在运行中的实例。 权限管理:对实例进行权限管理,对用户进行赋权等操作。 |
查看分析与AI搜索实例
支持用户查看分析与AI搜索实例监控指标,在分析与AI搜索实例列表单击实例名称进入实例详情,通过tab页切换选择监控,查看监控指标。
支持通过时间范围、指标类型、监控级别、监控对象、性能指标或单行展示数对指标进行筛选。
表12 资源指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisNodeCount | 节点统计 | 实例 | 个 |
表13 导入及查询指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisConnectionTotal | 当前总连接数 | 实例 | 个 |
| DorisQueriesPerSecond | 每秒查询数 | 实例 | 个 |
| DorisErrorQueriesPerSecond | 每秒查询错误数 | 实例 | 个 |
| DorisAverageQueryLatency | 平均查询耗时 | 实例 | 毫秒 |
| Doris99thPercentileQueryLatency | 99分位查询耗时 | 实例 | 毫秒 |
| DorisCacheHitRatio | 查询缓存命中率 | 实例 | % |
| DorisJobAlterRunningRollup | Running状态Rollup任务数 | 实例 | 个 |
| DorisJobAlterRunningSchemaChange | Running状态SchemaChange任务数 | 实例 | 个 |
| DorisJobLoadPendingSpark | Pending状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingSpark | Loading状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadPendingInsert | Pending状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingInsert | Loading状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadFinishedInsert | Finished状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadCancelledInsert | Cancelled状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadPendingBroker | Pending状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadFinishedBroker | Finished状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadLoadingBroker | Loading状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadCancelledBroker | Cancelled状态Broker导入个数 | 实例 | 个 |
表14 基础监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisMaxTabletCompactionScore | 数据分片合并情况 | 实例 | N/A |
| DorisBrokerDeadNum | Broker异常个数 | 实例 | 个 |
| DorisBackendDeadNum | BE 异常个数 | 实例 | 个 |
| DorisFrontendDeadNum | FE 异常个数 | 实例 | 个 |
| DorisS3FileReaderTotal | 远程存储读次数(QPS) | 实例 | 个/秒 |
| DorisS3FileWriterTotal | 远程存储写次数(QPS) | 实例 | 个/秒 |
| DorisSlowQueryRecordsCount | 慢查询数 | 实例 | 个 |
| DorisQuerySuccRate | 查询成功率 | 实例 | % |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 实例 => 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 实例 => 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 实例 => 节点 | 个/秒 |
| DorisRequestTotalRate | 每秒请求数 | 实例 | 个/秒 |
| DorisMaxJournalId | 当前元数据日志id | 实例 | N/A |
表15 调度与事务数量监控说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisTxnCounterFailed | 失败的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterReject | 被拒绝的事务数量 | 实例 | 个/秒 |
| DorisScheduledTabletNum | Master节点正在调度的Tablet数量 | 实例 | 个 |
| DorisTxnCounterBegin | 开始的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterSuccess | 成功的事务数量 | 实例 | 个/秒 |
| DorisReportQueueSize | ComputeNode(BE)定期汇报任务在 LeaderNode(FE)端的队列长度 | 实例 | 个 |
| DorisMaxTabletCompactionScore | Tablet Compaction 最高分 | 实例 | 个 |
| DorisTxnStatusUnknown | 处于Unknown状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrepare | 处于Prepare状态的事务个数 | 实例 | 个 |
| DorisTxnStatusCommitted | 处于Committed状态的事务个数 | 实例 | 个 |
| DorisTxnStatusVisible | 处于Visible状态的事务个数 | 实例 | 个 |
| DorisTxnStatusAborted | 处于Aborted状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrecommitted | 处于Precommitted状态的事务个数 | 实例 | 个 |
表16 元数据监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEditLogWrite | 元数据日志写入次数 | 实例 | 个/秒 |
| DorisEditLogRead | 元数据日志读取次数 | 实例 | 个/秒 |
| DorisEditLogCurrentBytes | 元数据日志当前大小 | 实例 | Byte/s |
| DorisEditlogWriteLatencyMs_0_99 | 元数据日志写入延迟的99分位统计 | 实例 | 毫秒 |
| DorisEditLogCleanSuccess | 清理历史元数据日志成功次数 | 实例 | 个 |
| DorisEditLogCleanFailed | 清理历史元数据日志失败次数 | 实例 | 个 |
| DorisImageCleanSuccess | 清理历史元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageCleanFailed | 清理历史元数据镜像文件失败次数 | 实例 | 个 |
| DorisImagePushSuccess | 将元数据镜像文件推送给其他FE节点的失败次数 | 实例 | 个 |
| DorisImagePushFailed | 将元数据镜像文件推送给其他FE节点的成功次数 | 实例 | 个 |
| DorisImageWriteSuccess | 生成元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageWriteFailed | 生成元数据镜像文件失败次数实例 | 实例 | 个 |
表17 资源指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuUtilization | CPU利用率 | 节点 | % |
| DorisMemoryUtilization | 内存利用率 | 节点 | % |
| DorisReceivedThroughNetwork | 网络接收量 | 节点 | Bytes/s |
| DorisTransmittedThroughNetwork | 网络发送量 | 节点 | Bytes/s |
| DorisMaxDiskIoUtilPercent | 磁盘IO利用率 | 节点 | % |
表18 导入及查询指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisLoadRowsPerSecond | 每秒导入行数 | 节点 | Rows/s |
| DorisLoadBytesPerSecond | 每秒导入字节数 | 节点 | Bytes/s |
| DorisRoutineLoadRows | Routine Load 的行数 | 节点 | 行 |
| DorisRoutineLoadErrorRows | Routine Load 错误的行数 | 节点 | 行 |
| DorisJobLoadNeedScheduleRoutineLoad | NeedSchedule状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadRunningRoutineLoad | Running 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadStoppedRoutineLoad | Stopped 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadPausedRoutineLoad | Paused 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadCancelledRoutineLoad | Cancelled 状态Routine导入个数 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompaction | BaseCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompactionRate | BaseCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedBaseCompaction | BaseCompaction任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompaction | CumulativeCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompactionRate | CumulativeCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedCumulativeCompaction | CumulativeCompaction任务失败累计值 | 节点 | 个 |
| DorisStreamLoadReceiveBytes | Stream Load 接收的字节数累计值 | 节点 | Bytes |
| DorisStreamLoadReceiveBytesRate | Stream Load 接收的字节数累计值变化率 | 节点 | Bytes/s |
| DorisStreamLoadLoadRows | Stream Load 最终导入的行数累计值 | 节点 | 个 |
| DorisStreamLoadLoadRowsRate | Stream Load 最终导入的行数累计值变化率 | 节点 | 个/s |
| DorisStreamingLoadRequestsPerSecond | Stream Load 作业导入频率 | 节点 | 个/秒 |
| DorisQueryScanRows | 读取行数的数量 | 节点 | 个/秒 |
| DorisQueryCacheMemoryTotalByte | Query Cache 占用字节数 | 节点 | Byte |
| DorisQueryScanBytesPerSecond | 读取数据速率 | 节点 | Byte/s |
| DorisQueryCachePartitionTotalCount | 当前 Partition Cache 缓存个数 | 节点 | 个 |
| DorisQueryCacheSqlTotalCount | 当前 SQL Cache 缓存个数 | 节点 | 个 |
表19 基础监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuStolenPercent | CPU抢占率 | 节点 | % |
| DorisMemoryUsedGBytes | 内存使用量 | 节点 | Byte |
| DorisMemoryAllocatedBytes | Memory Allocated 大小 | 节点 | Byte |
| DorisProcessFdNumLimitSoft | 进程文件句柄 Soft 限制数量 | 节点 | 个 |
| DorisDisksAvailCapacity | 磁盘的剩余空间 | 节点 | Byte |
| DorisProcessFdNumUsed | 进程使用文件句柄数量 | 节点 | 个 |
| DorisProcessThreadNum | 进程运行的线程个数 | 节点 | 个 |
| DorisS3BytesReadTotal | S3FileReader 读取字节数累计值 | 节点 | Byte/s |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 节点 | 个/秒 |
表20 任务信息监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEngineRequestsTotalTotalPublish | Publish任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedPublish | Publish任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalFinishTask | FinishTask任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedFinishTask | FinishTask任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalDelete | Delete任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedDelete | Delete任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalClone | Clone任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedClone | Clone任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateRollup | CreateRollup任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateRollup | CreateRollup任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalSchemaChange | SchemaChange任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedSchemaChange | SchemaChange任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateTablet | CreateTablet任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateTablet | CreateTablet任务失败累计值 | 节点 | 个 |
| DorisCompactionBytesTotalBase | Base compaction 的数据量 | 节点 | Byte/s |
| DorisCompactionBytesTotalCumulative | Cumulative compaction 的数据量 | 节点 | Byte/s |
通用资源队列
创建通用资源队列用于创建和运行各类批量计算任务,如工作流内的sparkJar任务、质量监控任务等
创建通用资源队列
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算资源通过切换tab页选择通用资源队列,
- 如未创建过资源队列界面,单击立即创建按钮,进入配置流程;
- 创建过通用资源队的用户请在列表右上方单击创建按钮,进入配置流程。
- 填写创建通用资源队列配置项,填写完成后可在右边查看订单信息,确认无误后单击立即创建。
表21 创建通用资源队列配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击 私有网络-子网 创建新的子网。 |
| 队列名称 | 输入队列名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 队列类型 | CPU/GPU。 |
| 节点规格 | 根据需要选择对应节点规格。 |
| 购买数量 | 输入购买资源数量,最小值1个,最大值100个。特别提示:为保障服务高可用,建议在生产环境中,数据节点数量不小于3。 |
查看通用资源队列列表
创建成功的通用资源队列以列表形式展示,在列表单击资源池名称可查看通用资源队列详情。
| 列表项名称 | 说明 |
|---|---|
| 通用资源队列名称 | 创建通用资源队列时设置的自定义名称。 |
| 通用资源队列ID | 创建通用资源队列后系统生成的通用资源队列ID。 |
| 通用资源队列状态 | 展示通用资源队列状态,支持按照状态进行筛选。状态类型为:生效中、运行中、创建失败、已失效。 |
| 资源规格 | 通用资源队列中资源的规格详情。 |
| 资源数量 | 通用资源队列中资源的数量。 |
| 创建时间 | 创建通用资源队列的时间。 |
| 付费方式 | 按量付费。 |
| 操作 | 续费:对实例续费 删除:单击删除,可对通用资源队列进行删除。注意:通用资源队列删除后不可恢复,请谨慎操作。* 权限管理:对通用资源队列进行权限管理,对用户进行赋权等操作。 |
解释
