计算资源
DataBuilder支持计算资源创建和管理功能,计算资源可用于平台内各类运行任务。下面将详细说明计算资源功能。
前提条件
- 具备计算资源相关查看或管理权限。
资源组
资源组用于实现计算资源的分组管理、配额控制与权限隔离,是保障平台多业务稳定运行的重要基础。本模块介绍资源组的创建、配置说明,明确操作规范与要求,确保资源合理分配与高效利用。
创建资源组
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 通过标签页选择资源组,单击列表右上角创建按钮,进入配置流程。
- 填写相关配置项,详细配置项说明参照如下。
表1 资源组基本配置说明
| 配置项名称 | 说明 |
|---|---|
| 资源组名称 | 输入自定义名称,用于标识该资源组。不超过64个字符。 |
| 地域 | 展示当前资源所在地区。 |
| 是否同VPC | 设置当前资源组下的各个资源是否属于同一VPC下。 |
表2 资源组CPU资源配置说明
| 配置项名称 | 说明 |
|---|---|
| 源连接与集成实例 | 下拉选择用于数据接入、集成的 CPU 实例。 |
| 数据处理实例 | 提供 3 种类型选项(Spark/Ray/ 客户端),需选择对应类型的 CPU 数据处理实例(如 Spark 用于分布式计算)。 |
| 分析与AI搜索实例 | 下拉选择用于数据分析、AI 搜索任务的 CPU 实例。 |
| 通用资源队列 | 选择 CPU 资源的调度队列,用于资源分配管理。 |
表3 资源组GPU资源配置说明
| 配置项名称 | 说明 |
|---|---|
| 数据处理实例 | 选择 Ray 类型的 GPU 数据处理实例。 |
| 通用资源队列 | 选择 GPU 资源的调度队列,用于 GPU 资源的分配管理。 |
资源组列表
创建成功的资源组以列表形式展示,列表支持按照创建时间进行排序。
表4 资源组列表项及操作说明
| 列表项名称 | 说明 |
|---|---|
| 资源组 | 资源组的标识。 |
| 资源组ID | 系统生成的唯一标识 |
| 创建时间 | 资源组的创建时间 |
| 操作 | 编辑:修改资源组的配置信息。详情:设置该资源组的访问 / 使用权限。删除:移除该资源组实例。 |
源连接与集成实例
源链接与集成实例是计算资源模块中负责实现多源数据的统一接入、传输与调度。本模块说明其创建、配置说明,确保数据链路稳定、数据集成任务可靠执行。
创建源连接与集成实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 通过标签页选择源连接与集成实例,单击列表右上角创建按钮,进入配置流程。
- 填写相关配置项,详细配置项说明参照表5。
表5 配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 节点类型 | CPU。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。 |
查看源连接与集成实例
创建成功的源连接与集成实例以列表形式展示,列表支持按照状态进行筛选。
表6 源连接与集成实例
| 列表项名称 | 说明 |
|---|---|
| 实例 ID | 系统生成的源连接与集成实例的ID。 |
| 实例名称 | 用户自定义的源连接与集成实例名称。 |
| 监控 | 单击目标实例的监控按钮,跳转至该实例的监控页面。 |
| 状态 | 列表支持按照状态进行筛选,状态类型分为:生效中、运行中、失效、创建失败。 |
| 实例规格数量 | 当前实例的规格数量。 |
| 创建时间 | 创建源连接与集成实例的时间。 |
| 付费方式 | 按量付费/包年包月。 |
| 操作 | 单击操作列不同按钮,对实例进行不同操作。 |
查看源连接与集成实例详情
在创建完源链接与集成实例后,可单击实例ID或目标实例的监控按钮进入源链接与集成实例监控页面,可查看各项监控指标数据。核心功能如下:
- 图表支持按时间、指标类型等参数进行筛选,鼠标悬停查看详细数值。
- 单击右侧配置报警策略,将跳转至云监控报警策略页面。
- 鼠标移动至右上角按钮,支持权限管理或删除操作。
表7 筛选项说明
| 字段名称 | 说明 |
|---|---|
| 时间范围 | 支持按时间范围进行搜索,默认是1小时,最长时间窗口7天,最长可回溯30天内的监控信息。 |
| 指标类型 | 支持按指标类型进行筛选,默认是资源指标,可选范围:资源指标、任务指标。 |
| 监控级别 | 支持按监控级别进行筛选,默认是节点,可选范围:实例、节点。 |
| 监控对象 | 仅监控级别选择节点时展示。 |
| 性能指标 | 支持按性能指标进行筛选,默认是平均值,可选范围:平均值、最大值、最小值。 |
| 单行展示数量 | 支持按单行展示数量进行筛选,默认是2,可选范围:2、3、4。 |
表8 监控指标说明(实例级别)
| 指标类型 | 中文名称 | 说明 |
|---|---|---|
| 资源指标 | master节点正常运行数 | 当前处于正常运行状态的master节点总数量。 |
| worker节点正常运行数 | 当前处于正常运行状态的worker节点总数量。 | |
| 任务执行单元总数 | 系统中可用于执行任务的全部单元总量。 | |
| 任务执行单元空闲数 | 当前未分配任务、处于空闲状态的任务执行单元数量。 | |
| 任务执行单元利用率 | 当前正在使用的任务执行单元占总执行单元的比例。 | |
| 任务指标 | 运行中任务数 | 当前正在系统中执行、未完成(未终止、未失败)的任务总数量。 |
表9 监控指标说明(节点级别)
| 指标类型 | 中文名称 | 说明 |
|---|---|---|
| 资源指标 | 节点任务执行单元总数 | 当前节点可用于执行任务的执行单元总数量。 |
| 节点任务执行单元空闲数 | 当前节点未被占用、处于空闲状态的任务执行单元数量。 | |
| 节点任务执行单元利用率 | 节点已使用任务执行单元占总执行单元的比例。 | |
| 内存利用率 | 节点已使用物理内存占总物理内存的比例。 | |
| CPU利用率 | 节点 CPU 资源在统计周期内的繁忙使用比例。 | |
| Seatunnel Node网络接收量 | Seatunnel节点在统计周期内接收的网络数据总量。 | |
| Seatunnel Node网络发送量 | Seatunnel节点在统计周期内发送的网络数据总量。 |
数据处理实例
数据处理实例用于对接入平台的多源数据进行清洗、转换与加工,是数据价值化的核心环节。本模块介绍其创建、配置说明,明确操作规范,确保数据处理任务可靠执行。
创建数据处理实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算实例通过切换tab页选择数据处理实例,在页面右上方单击创建按钮,进入配置流程。
- 填写相关配置项后,右侧确认订单无误可单击立即创建,数据处理实例配置完成。
表7 创建数据处理实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例模版名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例类型 | 选择实例类型:Ray/Spark/客户端。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 |
当实例类型选择Spark时候,镜像版本为4.0.0,同时支持填写相关Spark配置参数。| |节点类型|CPU。| |节点规格|根据需要选择节点规格。| |购买数量|购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。|
查看数据处理实例列表
创建成功的数据处理实例列表以列表形式展示,列表支持按照状态或实例类型进行筛选。
表8 列表项及操作项说明
| 列表项 | 说明 |
|---|---|
| 实例 ID | 实例的唯一ID。 |
| 实例名称 | 常驻实例名称。 |
| 监控 | 点击进入监控指标查看页面。 |
| 状态 | 列表支持按照状态进行筛选,状态分为:生效中、运行中、失效和创建失败。 |
| 节点规格 | 展示当前实例节点规格。 |
| 实例类型 | Ray/Spark/客户端。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 |
当实例类型选择Spark时候,镜像版本为4.0.0。| |创建时间|创建实例的时间。| |付费方式|按量付费。| |操作|在操作项单击删除按钮,可删除当前实例。注意:实例删除后不可恢复,请您谨慎操作。|
查看数据处理实例详情
在列表单击实例名称,通过tab页切换选择监控,查看监控指标。
支持通过时间范围、指标类型、监控级别、监控对象、性能指标或单行展示数对指标进行筛选。
表9 数据处理监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| RayNodeCount | 节点统计 | 实例:RayCompute | 个 |
| RayCpuUtilization | CPU利用率 | 实例:RayCompute节点:RaylNode | % |
| RayMemoryUtilization | 内存利用率 | 实例:RayCompute节点:RaylNode | % |
| RayGpuUtilization | GPU利用率 | 实例:RayCompute节点:RaylNode | % |
| RayGpuMemoryUtilization | 显存存利用率 | 实例:RayCompute节点:RaylNode | % |
| RayObjectStoreMemory | 对象存储内存 | 实例:RayCompute节点:RaylNode | GB |
| RaySchedulerPlacementGroups | 调度器放置组 | 实例:RayCompute节点:RaylNode | 个 |
| RayCpuResourceUsed | CPU逻辑资源使用量 | 实例:RayCompute节点:RaylNode | 个 |
| RayCpuResourceTotal | CPU逻辑资源使用总量 | 实例:RayCompute节点:RaylNode | 个 |
| RayGpuResourceUsed | GPU逻辑资源使用量 | 实例:RayCompute节点:RaylNode | 个 |
| RayGpuResourceTotal | CPU逻辑资源使用总量 | 实例:RayCompute节点:RaylNode | 个 |
| RaySchedulerTaskState | 调度器任务状态 | 实例:RayCompute节点:RaylNode | - |
| RaySchedulerActorState | 调度器Actor状态 | 实例:RayCompute节点:RaylNode | - |
| RaySchedulerTaskStateRate | 调度器任务状态变化率 | 实例:RayCompute节点:RaylNode | 个/秒 |
| RaySchedulerActorStateRate | 调度器Actor状态变化率 | 实例:RayCompute节点:RaylNode | 个/秒 |
| SparkNodeCount | 节点统计 | 实例:SparkCompute | 个 |
| SparkCpuUtilization | CPU利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkMemoryUtilization | 内存利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkMemorySwapUtilization | 内存交换空间利用率 | 实例:SparkCompute节点:SparkNode | % |
| SparkReceivedThroughNetwork | 网络接收量 | 实例:SparkCompute节点:SparkNode | Bytes/s |
| SparkTransmittedThroughNetwork | 网络发送量 | 实例:SparkCompute节点:SparkNode | Bytes/s |
| SparkActiveTasks | 活跃任务 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalFailedTasks | 失败任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalFailedTasksRate | 失败任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalCompletedTasks | 已完成任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalCompletedTasksRate | 已完成任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalNumberOfTasks | 任务总数 | 实例:SparkCompute节点:SparkNode | 个 |
| SparkTotalCompletedTasksRate | 任务总数变化率 | 实例:SparkCompute节点:SparkNode | 个/s |
| SparkTotalShuffleRead | 总Shuffle读取量 | 实例:SparkCompute节点:SparkNode | Bytes |
| SparkTotalShuffleWrite | 总Shuffle写入量 | 实例:SparkCompute节点:SparkNode | Bytes |
| SparkTotalTaskDuration | 总任务持续时间 | 实例:SparkCompute节点:SparkNode | s |
分析与AI搜索实例
本模块用于指导用户完成分析与AI搜索实例的创建与配置,明确操作流程与字段说明,保障实例正常部署与稳定运行。
创建分析与AI搜索实例
创建分析与AI搜索实例用于Notebook任务运行、数据预览等功能。
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算实例通过切换tab页选择分析与AI搜索实例,在页面右上方单击创建按钮,进入配置流程。
- 填写相关配置项后,右侧确认订单无误可单击立即创建,数据处理实例配置完成。
表10 创建分析与AI搜索实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 按量付费:也称后付费。先使用资源,后续生成账单进行结算。 包年包月:也称预付费,在新建集群时先支付费用,后使用资源。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例版本 | Doris 3.0。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。 |
查看分析与AI搜索实例列表
创建成功的分析与AI搜索实例列表以列表形式展示,列表支持按照状态或实例类型进行筛选。 表11 分析与AI搜索实例列表项说明
| 列表项 | 说明 |
|---|---|
| 实例ID | 实例的唯一ID。 |
| 实例名称 | 实例的名称,用来识别实例的唯一性。 |
| 监控 | 点击进入监控指标查看页面。 |
| 状态 | 实例的状态,分别为:生效中、运行中、失效和创建失败。列表支持按照状态进行筛选。 |
| 节点规格 | 展示当前实例的节点配置情况。 |
| 实例版本 | Doris 3.0。 |
| 数据目录 | 实例对应的数据存储目录。 |
| 创建时间 | 创建实例的时间。 |
| 付费方式 | 当前实例的付费方式。 |
| 操作 | 单击操作列操作,对实例进行不同操作。 配置变更:修改实例配置。 续费:对实例续费。 删除:删除当前实例,不支持删除正在运行中的实例。 权限管理:对实例进行权限管理,对用户进行赋权等操作。 |
查看分析与AI搜索实例
支持用户查看分析与AI搜索实例监控指标,在分析与AI搜索实例列表单击实例名称进入实例详情,通过tab页切换选择监控,查看监控指标。
支持通过时间范围、指标类型、监控级别、监控对象、性能指标或单行展示数对指标进行筛选。
表12 资源指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisNodeCount | 节点统计 | 实例 | 个 |
表13 导入及查询指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisConnectionTotal | 当前总连接数 | 实例 | 个 |
| DorisQueriesPerSecond | 每秒查询数 | 实例 | 个 |
| DorisErrorQueriesPerSecond | 每秒查询错误数 | 实例 | 个 |
| DorisAverageQueryLatency | 平均查询耗时 | 实例 | 毫秒 |
| Doris99thPercentileQueryLatency | 99分位查询耗时 | 实例 | 毫秒 |
| DorisCacheHitRatio | 查询缓存命中率 | 实例 | % |
| DorisJobAlterRunningRollup | Running状态Rollup任务数 | 实例 | 个 |
| DorisJobAlterRunningSchemaChange | Running状态SchemaChange任务数 | 实例 | 个 |
| DorisJobLoadPendingSpark | Pending状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingSpark | Loading状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadPendingInsert | Pending状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingInsert | Loading状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadFinishedInsert | Finished状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadCancelledInsert | Cancelled状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadPendingBroker | Pending状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadFinishedBroker | Finished状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadLoadingBroker | Loading状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadCancelledBroker | Cancelled状态Broker导入个数 | 实例 | 个 |
表14 基础监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisMaxTabletCompactionScore | 数据分片合并情况 | 实例 | N/A |
| DorisBrokerDeadNum | Broker异常个数 | 实例 | 个 |
| DorisBackendDeadNum | BE 异常个数 | 实例 | 个 |
| DorisFrontendDeadNum | FE 异常个数 | 实例 | 个 |
| DorisS3FileReaderTotal | 远程存储读次数(QPS) | 实例 | 个/秒 |
| DorisS3FileWriterTotal | 远程存储写次数(QPS) | 实例 | 个/秒 |
| DorisSlowQueryRecordsCount | 慢查询数 | 实例 | 个 |
| DorisQuerySuccRate | 查询成功率 | 实例 | % |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 实例 => 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 实例 => 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 实例 => 节点 | 个/秒 |
| DorisRequestTotalRate | 每秒请求数 | 实例 | 个/秒 |
| DorisMaxJournalId | 当前元数据日志id | 实例 | N/A |
表15 调度与事务数量监控说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisTxnCounterFailed | 失败的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterReject | 被拒绝的事务数量 | 实例 | 个/秒 |
| DorisScheduledTabletNum | Master节点正在调度的Tablet数量 | 实例 | 个 |
| DorisTxnCounterBegin | 开始的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterSuccess | 成功的事务数量 | 实例 | 个/秒 |
| DorisReportQueueSize | ComputeNode(BE)定期汇报任务在 LeaderNode(FE)端的队列长度 | 实例 | 个 |
| DorisMaxTabletCompactionScore | Tablet Compaction 最高分 | 实例 | 个 |
| DorisTxnStatusUnknown | 处于Unknown状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrepare | 处于Prepare状态的事务个数 | 实例 | 个 |
| DorisTxnStatusCommitted | 处于Committed状态的事务个数 | 实例 | 个 |
| DorisTxnStatusVisible | 处于Visible状态的事务个数 | 实例 | 个 |
| DorisTxnStatusAborted | 处于Aborted状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrecommitted | 处于Precommitted状态的事务个数 | 实例 | 个 |
表16 元数据监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEditLogWrite | 元数据日志写入次数 | 实例 | 个/秒 |
| DorisEditLogRead | 元数据日志读取次数 | 实例 | 个/秒 |
| DorisEditLogCurrentBytes | 元数据日志当前大小 | 实例 | Byte/s |
| DorisEditlogWriteLatencyMs_0_99 | 元数据日志写入延迟的99分位统计 | 实例 | 毫秒 |
| DorisEditLogCleanSuccess | 清理历史元数据日志成功次数 | 实例 | 个 |
| DorisEditLogCleanFailed | 清理历史元数据日志失败次数 | 实例 | 个 |
| DorisImageCleanSuccess | 清理历史元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageCleanFailed | 清理历史元数据镜像文件失败次数 | 实例 | 个 |
| DorisImagePushSuccess | 将元数据镜像文件推送给其他FE节点的失败次数 | 实例 | 个 |
| DorisImagePushFailed | 将元数据镜像文件推送给其他FE节点的成功次数 | 实例 | 个 |
| DorisImageWriteSuccess | 生成元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageWriteFailed | 生成元数据镜像文件失败次数实例 | 实例 | 个 |
表17 资源指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuUtilization | CPU利用率 | 节点 | % |
| DorisMemoryUtilization | 内存利用率 | 节点 | % |
| DorisReceivedThroughNetwork | 网络接收量 | 节点 | Bytes/s |
| DorisTransmittedThroughNetwork | 网络发送量 | 节点 | Bytes/s |
| DorisMaxDiskIoUtilPercent | 磁盘IO利用率 | 节点 | % |
表18 导入及查询指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisLoadRowsPerSecond | 每秒导入行数 | 节点 | Rows/s |
| DorisLoadBytesPerSecond | 每秒导入字节数 | 节点 | Bytes/s |
| DorisRoutineLoadRows | Routine Load 的行数 | 节点 | 行 |
| DorisRoutineLoadErrorRows | Routine Load 错误的行数 | 节点 | 行 |
| DorisJobLoadNeedScheduleRoutineLoad | NeedSchedule状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadRunningRoutineLoad | Running 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadStoppedRoutineLoad | Stopped 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadPausedRoutineLoad | Paused 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadCancelledRoutineLoad | Cancelled 状态Routine导入个数 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompaction | BaseCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompactionRate | BaseCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedBaseCompaction | BaseCompaction任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompaction | CumulativeCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompactionRate | CumulativeCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedCumulativeCompaction | CumulativeCompaction任务失败累计值 | 节点 | 个 |
| DorisStreamLoadReceiveBytes | Stream Load 接收的字节数累计值 | 节点 | Bytes |
| DorisStreamLoadReceiveBytesRate | Stream Load 接收的字节数累计值变化率 | 节点 | Bytes/s |
| DorisStreamLoadLoadRows | Stream Load 最终导入的行数累计值 | 节点 | 个 |
| DorisStreamLoadLoadRowsRate | Stream Load 最终导入的行数累计值变化率 | 节点 | 个/s |
| DorisStreamingLoadRequestsPerSecond | Stream Load 作业导入频率 | 节点 | 个/秒 |
| DorisQueryScanRows | 读取行数的数量 | 节点 | 个/秒 |
| DorisQueryCacheMemoryTotalByte | Query Cache 占用字节数 | 节点 | Byte |
| DorisQueryScanBytesPerSecond | 读取数据速率 | 节点 | Byte/s |
| DorisQueryCachePartitionTotalCount | 当前 Partition Cache 缓存个数 | 节点 | 个 |
| DorisQueryCacheSqlTotalCount | 当前 SQL Cache 缓存个数 | 节点 | 个 |
表19 基础监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuStolenPercent | CPU抢占率 | 节点 | % |
| DorisMemoryUsedGBytes | 内存使用量 | 节点 | Byte |
| DorisMemoryAllocatedBytes | Memory Allocated 大小 | 节点 | Byte |
| DorisProcessFdNumLimitSoft | 进程文件句柄 Soft 限制数量 | 节点 | 个 |
| DorisDisksAvailCapacity | 磁盘的剩余空间 | 节点 | Byte |
| DorisProcessFdNumUsed | 进程使用文件句柄数量 | 节点 | 个 |
| DorisProcessThreadNum | 进程运行的线程个数 | 节点 | 个 |
| DorisS3BytesReadTotal | S3FileReader 读取字节数累计值 | 节点 | Byte/s |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 节点 | 个/秒 |
表20 任务信息监控指标说明
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEngineRequestsTotalTotalPublish | Publish任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedPublish | Publish任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalFinishTask | FinishTask任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedFinishTask | FinishTask任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalDelete | Delete任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedDelete | Delete任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalClone | Clone任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedClone | Clone任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateRollup | CreateRollup任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateRollup | CreateRollup任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalSchemaChange | SchemaChange任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedSchemaChange | SchemaChange任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateTablet | CreateTablet任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateTablet | CreateTablet任务失败累计值 | 节点 | 个 |
| DorisCompactionBytesTotalBase | Base compaction 的数据量 | 节点 | Byte/s |
| DorisCompactionBytesTotalCumulative | Cumulative compaction 的数据量 | 节点 | Byte/s |
通用常驻实例
创建通用常驻实例用于部署和运行各类长期在线服务,如接口服务、实时数据推送服务、常驻守护进程等。
创建通用常驻实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算实例通过切换tab页选择通用常驻实例,在页面右上方单击创建按钮,进入配置流程。
- 填写相关配置项后,右侧确认订单无误可单击立即创建,数据处理实例配置完成。
表21 创建通用常驻实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 实例名称 | 输入实例模版名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 节点类型 | 通用计算服务。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少2个,最大100个。如有更大节点数量的需求,请提工单联系产品团队。 |
查看通用常驻实例列表
创建成功的通用常驻实例以列表形式展示,列表支持按照状态进行筛选。
表22 列表项及操作项说明
| 列表项 | 说明 |
|---|---|
| 实例 ID | 实例的唯一ID。 |
| 实例名称 | 常驻实例名称。 |
| 状态 | 列表支持按照状态进行筛选,状态分为:生效中、运行中、失效和创建失败。 |
| 节点规格 | 展示当前实例节点规格。 |
| 创建时间 | 创建实例的时间。 |
| 操作 | 单击操作列不同按钮,对实例进行不同操作。删除:单击删除,可删除当前实例。注意:实例删除后不可恢复,请您谨慎操作。权限管理:对数据处理实例进行权限管理,对用户进行赋权等操作。 |
通用资源队列
创建通用资源队列用于创建和运行各类批量计算任务,如工作流内的sparkJar任务、质量监控任务等。支持独占资源队列和共享资源队列两种类型。
- 独占资源队列:部署在您的专属 VPC 内,按时长计费,资源完全隔离独享。
- 共享资源队列:Serverless 架构,按实际用量计费,免运维且按需弹性伸缩。
创建独占资源队列
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算资源通过切换tab页选择通用资源队列,独占资源队列支持两种创建方式:
以下展示未创建过通用资源队列的用户如何进行创建,创建过通用资源队的用户请在列表右上方单击创建按钮,进入配置流程。
DB独占资源
- 单击独占资源列表的立即创建>DB独占资源,填写创建DB独占资源配置项。
- 填写完成后可在右边查看订单信息,确认无误后单击立即创建。
表23 创建独占资源队列配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击私有网络-子网创建新的子网。 |
| 队列名称 | 输入队列名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 队列类型 | CPU/GPU。 |
| 节点规格 | 根据需要选择对应节点规格。 |
| 购买数量 | 输入购买资源数量,最小值1个,最大值100个。> 特别提示:为保障服务高可用,建议在生产环境中,数据节点数量不小于3。 |
连接百舸队列
- 单击独占资源列表的立即创建>连接百舸队列,填写创建关联百舸队列配置项。
- 填写完成,确认无误后单击提交。
用户提交时,需有百舸队列的权限。
队列需在百舸侧存在。
表24 创建连接百舸队列配置项说明
| 配置项名称 | 说明 |
|---|---|
| 地域 | 展示当前区域。 |
| 资源池名称 | 下拉选择百舸存量的资源池。 |
| 队列名称 | 下拉选择百舸存量的队列。 |
创建共享资源队列
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算资源模块。
- 在计算资源通过切换tab页选择通用资源队列,单击共享资源列表的立即创建。
- 填写创建共享资源队列配置项。填写完成后可在右边查看订单信息,确认无误后单击立即创建。
表25 创建共享资源队列配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式仅支持按量付费。按量付费也称后付费。先使用资源,后续生成账单进行结算。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击私有网络去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击私有网络-子网创建新的子网。 |
| 队列名称 | 输入队列名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| CPU | 配置队列的CPU资源规格。单位:CU,1CU=1核4G。 |
查看通用资源队列列表
创建成功的通用资源队列以列表形式展示,在列表单击队列名称可查看通用资源队列详情。
| 列表项名称 | 说明 |
|---|---|
| 队列名称 | 创建通用资源队列时设置的自定义名称。 |
| 队列ID | 创建通用资源队列后系统生成的通用资源队列ID。 |
| 类型 | 通用资源队列的类型,类型包含:全部、独占资源、共享资源。支持按类型进行筛选。 |
| 状态 | 展示通用资源队列状态,支持按照状态进行筛选。状态类型为:全选、生效中、运行中、创建失败、失效。 |
| 队列资源 | 展示该队列配置的计算资源规格。 |
| 创建时间 | 创建通用资源队列的时间。 |
| 付费方式 | 按量付费/包年包月。 |
| 操作 |
评价此篇文章
