计算实例
DataBuilder支持计算资源创建和管理功能,计算资源可用于工作流的调试和运行。下面将详细说明计算资源功能。
前提条件
- 具备空间管理员权限。
创建计算实例
创建常驻实例
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算实例模块。
- 通过tab页切换选择数据处理实例>常驻实例,单击创建按钮。
- 进入创建实例配置项页面,根据需求填写相关配置项。
- 填写完毕后右侧确认订单,单击立即创建,集群创建完毕。
- 创建成功的常驻实例以列表形式展示,列表支持按照实例状态进行筛选,同时支持按照创建时间进行排序。
注意:当前阶段每个智能云主账号最多可以创建2个常驻实例。
表一 创建常驻实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例类型 | Ray/Spark/JDBC。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 当实例类型选择Spark时候,镜像版本为3.5.5。 |
| Spark配置 | 实例类型选择Spark类型时,需填写此项。输入Spark配置,支持添加Spark配置。 |
| 节点类型 | CPU/GPU。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少1个,最大5个。如有更大节点数量的需求,请提工单联系产品团队。 |
表二 常驻实例列表项说明
| 列表项 | 说明 |
|---|---|
| 实例 ID | 实例的唯一ID。 |
| 实例名称 | 常驻实例名称。 |
| 状态 | 列表支持站哨状态筛选,状态分为:生效中、运行中、失效和创建失败。 |
| 节点规格 | 展示当前实例节点规格。 |
| 实例类型 | Ray/Spark/JDBC。 |
| 镜像版本 | 当实例类型选择Ray类型时,镜像版本为AI 增强版 1.0。 当实例类型选择Spark时候,镜像版本为3.5.5。 |
| 创建时间 | 创建常驻实例的时间。 |
| 付费方式 | 按量付费。 |
| 操作 | 在操作项单击删除按钮,可删除当前实例。注意:实例删除后不可恢复,请您谨慎操作。 |
创建分析与AI搜索实例
- 通过tab页切换选择分析与AI搜索实例,在查看检索界面单击创建实例。填写相关配置项确认订单后单击确认购买,实例创建成功。
- 创建成功的实例以列表形式展示,列表支持按照实例状态进行筛选。同时支持按照创建时间进行排序。
注意:当前阶段每个智能云主账号最多可以创建2个分析与AI搜索实例。如需创建更多计算实例,请提工单联系产品团队。
表三 创建分析与AI搜索实例配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 |
| 地域 | 显示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC)。也可单击 私有网络 去创建新的私有网络。 |
| 子网与可用区 | 下拉选择可用区和子网。可单击 私有网络-子网 创建新的子网。 |
| 实例名称 | 输入实例名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例版本 | Doris 3.0。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点的数量。最少1个,最大5个。如有更大节点数量的需求,请提工单联系产品团队。 |
表四 分析与AI搜索实例列表项说明
| 列表项 | 说明 |
|---|---|
| 实例ID | 实例的唯一ID。 |
| 实例名称 | 实例的名称,用来识别实例的唯一性。 |
| 状态 | 实例的状态,分别为:生效中、运行中、失效和创建失败。列表支持按照状态进行筛选。 |
| 节点规格 | 展示当前实例的节点配置情况。 |
| 实例版本 | Doris 3.0。 |
| 数据目录 | 实例对应的数据存储目录。 |
| 创建时间 | 创建实例的时间。 |
| 付费方式 | 当前实例的付费方式。 |
| 操作 | 单击操作列操作,对实例进行不同操作。 |
监控告警
支持用户查看分析与AI搜索实例监控指标,在计算实例>分析与AI搜索实例中单击实例id,进入实例详情,通过tab页切换选择监控,查看监控指标。
支持通过时间范围、指标类型、监控级别、监控对象、性能指标或单行展示数对指标进行筛选。
资源指标
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisNodeCount | 节点统计 | 实例 | 个 |
导入及查询指标
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisConnectionTotal | 当前总连接数 | 实例 | 个 |
| DorisQueriesPerSecond | 每秒查询数 | 实例 | 个 |
| DorisErrorQueriesPerSecond | 每秒查询错误数 | 实例 | 个 |
| DorisAverageQueryLatency | 平均查询耗时 | 实例 | 毫秒 |
| Doris99thPercentileQueryLatency | 99分位查询耗时 | 实例 | 毫秒 |
| DorisCacheHitRatio | 查询缓存命中率 | 实例 | % |
| DorisJobAlterRunningRollup | Running状态Rollup任务数 | 实例 | 个 |
| DorisJobAlterRunningSchemaChange | Running状态SchemaChange任务数 | 实例 | 个 |
| DorisJobLoadPendingSpark | Pending状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingSpark | Loading状态Spark导入任务数 | 实例 | 个 |
| DorisJobLoadPendingInsert | Pending状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadLoadingInsert | Loading状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadFinishedInsert | Finished状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadCancelledInsert | Cancelled状态Insert导入任务数 | 实例 | 个 |
| DorisJobLoadPendingBroker | Pending状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadFinishedBroker | Finished状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadLoadingBroker | Loading状态Broker导入个数 | 实例 | 个 |
| DorisJobLoadCancelledBroker | Cancelled状态Broker导入个数 | 实例 | 个 |
基础监控
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisMaxTabletCompactionScore | 数据分片合并情况 | 实例 | N/A |
| DorisBrokerDeadNum | Broker异常个数 | 实例 | 个 |
| DorisBackendDeadNum | BE 异常个数 | 实例 | 个 |
| DorisFrontendDeadNum | FE 异常个数 | 实例 | 个 |
| DorisS3FileReaderTotal | 远程存储读次数(QPS) | 实例 | 个/秒 |
| DorisS3FileWriterTotal | 远程存储写次数(QPS) | 实例 | 个/秒 |
| DorisSlowQueryRecordsCount | 慢查询数 | 实例 | 个 |
| DorisQuerySuccRate | 查询成功率 | 实例 | % |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 实例 => 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 实例 => 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 实例 => 节点 | 个/秒 |
| DorisRequestTotalRate | 每秒请求数 | 实例 | 个/秒 |
| DorisMaxJournalId | 当前元数据日志id | 实例 | N/A |
调度与事务数量监控
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisTxnCounterFailed | 失败的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterReject | 被拒绝的事务数量 | 实例 | 个/秒 |
| DorisScheduledTabletNum | Master节点正在调度的Tablet数量 | 实例 | 个 |
| DorisTxnCounterBegin | 开始的事务数量 | 实例 | 个/秒 |
| DorisTxnCounterSuccess | 成功的事务数量 | 实例 | 个/秒 |
| DorisReportQueueSize | ComputeNode(BE)定期汇报任务在 LeaderNode(FE)端的队列长度 | 实例 | 个 |
| DorisMaxTabletCompactionScore | Tablet Compaction 最高分 | 实例 | 个 |
| DorisTxnStatusUnknown | 处于Unknown状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrepare | 处于Prepare状态的事务个数 | 实例 | 个 |
| DorisTxnStatusCommitted | 处于Committed状态的事务个数 | 实例 | 个 |
| DorisTxnStatusVisible | 处于Visible状态的事务个数 | 实例 | 个 |
| DorisTxnStatusAborted | 处于Aborted状态的事务个数 | 实例 | 个 |
| DorisTxnStatusPrecommitted | 处于Precommitted状态的事务个数 | 实例 | 个 |
元数据监控
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEditLogWrite | 元数据日志写入次数 | 实例 | 个/秒 |
| DorisEditLogRead | 元数据日志读取次数 | 实例 | 个/秒 |
| DorisEditLogCurrentBytes | 元数据日志当前大小 | 实例 | Byte/s |
| DorisEditlogWriteLatencyMs_0_99 | 元数据日志写入延迟的99分位统计 | 实例 | 毫秒 |
| DorisEditLogCleanSuccess | 清理历史元数据日志成功次数 | 实例 | 个 |
| DorisEditLogCleanFailed | 清理历史元数据日志失败次数 | 实例 | 个 |
| DorisImageCleanSuccess | 清理历史元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageCleanFailed | 清理历史元数据镜像文件失败次数 | 实例 | 个 |
| DorisImagePushSuccess | 将元数据镜像文件推送给其他FE节点的失败次数 | 实例 | 个 |
| DorisImagePushFailed | 将元数据镜像文件推送给其他FE节点的成功次数 | 实例 | 个 |
| DorisImageWriteSuccess | 生成元数据镜像文件成功次数 | 实例 | 个 |
| DorisImageWriteFailed | 生成元数据镜像文件失败次数实例 | 实例 | 个 |
资源指标
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuUtilization | CPU利用率 | 节点 | % |
| DorisMemoryUtilization | 内存利用率 | 节点 | % |
| DorisReceivedThroughNetwork | 网络接收量 | 节点 | Bytes/s |
| DorisTransmittedThroughNetwork | 网络发送量 | 节点 | Bytes/s |
| DorisMaxDiskIoUtilPercent | 磁盘IO利用率 | 节点 | % |
导入及查询指标
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisLoadRowsPerSecond | 每秒导入行数 | 节点 | Rows/s |
| DorisLoadBytesPerSecond | 每秒导入字节数 | 节点 | Bytes/s |
| DorisRoutineLoadRows | Routine Load 的行数 | 节点 | 行 |
| DorisRoutineLoadErrorRows | Routine Load 错误的行数 | 节点 | 行 |
| DorisJobLoadNeedScheduleRoutineLoad | NeedSchedule状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadRunningRoutineLoad | Running 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadStoppedRoutineLoad | Stopped 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadPausedRoutineLoad | Paused 状态Routine导入个数 | 节点 | 个 |
| DorisJobLoadCancelledRoutineLoad | Cancelled 状态Routine导入个数 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompaction | BaseCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalBaseCompactionRate | BaseCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedBaseCompaction | BaseCompaction任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompaction | CumulativeCompaction任务总累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCumulativeCompactionRate | CumulativeCompaction任务总累计值变化率 | 节点 | 个/s |
| DorisEngineRequestsTotalFailedCumulativeCompaction | CumulativeCompaction任务失败累计值 | 节点 | 个 |
| DorisStreamLoadReceiveBytes | Stream Load 接收的字节数累计值 | 节点 | Bytes |
| DorisStreamLoadReceiveBytesRate | Stream Load 接收的字节数累计值变化率 | 节点 | Bytes/s |
| DorisStreamLoadLoadRows | Stream Load 最终导入的行数累计值 | 节点 | 个 |
| DorisStreamLoadLoadRowsRate | Stream Load 最终导入的行数累计值变化率 | 节点 | 个/s |
| DorisStreamingLoadRequestsPerSecond | Stream Load 作业导入频率 | 节点 | 个/秒 |
| DorisQueryScanRows | 读取行数的数量 | 节点 | 个/秒 |
| DorisQueryCacheMemoryTotalByte | Query Cache 占用字节数 | 节点 | Byte |
| DorisQueryScanBytesPerSecond | 读取数据速率 | 节点 | Byte/s |
| DorisQueryCachePartitionTotalCount | 当前 Partition Cache 缓存个数 | 节点 | 个 |
| DorisQueryCacheSqlTotalCount | 当前 SQL Cache 缓存个数 | 节点 | 个 |
基础监控
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisCpuStolenPercent | CPU抢占率 | 节点 | % |
| DorisMemoryUsedGBytes | 内存使用量 | 节点 | Byte |
| DorisMemoryAllocatedBytes | Memory Allocated 大小 | 节点 | Byte |
| DorisProcessFdNumLimitSoft | 进程文件句柄 Soft 限制数量 | 节点 | 个 |
| DorisDisksAvailCapacity | 磁盘的剩余空间 | 节点 | Byte |
| DorisProcessFdNumUsed | 进程使用文件句柄数量 | 节点 | 个 |
| DorisProcessThreadNum | 进程运行的线程个数 | 节点 | 个 |
| DorisS3BytesReadTotal | S3FileReader 读取字节数累计值 | 节点 | Byte/s |
| DorisQueryLatencyMs_0_99 | 查询延时99分位数 | 节点 | 毫秒 |
| DorisRequestTotal | 累计操作请求数 | 节点 | 个 |
| DorisQueryErrRate | 每秒查询错误数 | 节点 | 个/秒 |
任务信息监控
| 英文名称 | 中文名称 | 维度名称:维度值 | 单位 |
|---|---|---|---|
| DorisEngineRequestsTotalTotalPublish | Publish任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedPublish | Publish任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalFinishTask | FinishTask任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedFinishTask | FinishTask任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalDelete | Delete任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedDelete | Delete任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalClone | Clone任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedClone | Clone任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateRollup | CreateRollup任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateRollup | CreateRollup任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalSchemaChange | SchemaChange任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedSchemaChange | SchemaChange任务失败累计值 | 节点 | 个 |
| DorisEngineRequestsTotalTotalCreateTablet | CreateTablet任务总累计值 | 节点 | 个/秒 |
| DorisEngineRequestsTotalFailedCreateTablet | CreateTablet任务失败累计值 | 节点 | 个 |
| DorisCompactionBytesTotalBase | Base compaction 的数据量 | 节点 | Byte/s |
| DorisCompactionBytesTotalCumulative | Cumulative compaction 的数据量 | 节点 | Byte/s |
使用计算实例
支持在notebook模块选择不同实例,常驻实例执行ray任务。分析与AI搜索实例执行doris向量检索、全文检索和实时查询任务。
- 在工作区选择notebook进入后,在右上角选择常驻实例或者分析与AI搜索实例进行连接。
- 已连接的实例会在最上方展示,单击断开连接可断开当前实例。
删除计算实例
单击列表操作项中的删除按钮,可删除分析与AI搜索实例。
注意:实例删除时,实例对应的数据目录也会被删除,实例删除后不可恢复,请谨慎操作。
资源池
支持空间管理员创建资源池,管理资源池,查看资源池关联的计算实例。
创建资源池
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算实例模块。
- 在计算实例通过切换tab页选择资源池,在资源池单击创建资源池按钮。
- 填写创建资源池配置项,填写完成后可在右边查看订单信息。
表五 创建资源池配置项说明
| 配置项名称 | 说明 |
|---|---|
| 付费方式 | 付费方式有按量付费和包年包月。 |
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击 私有网络-子网 创建新的子网。 |
| 资源池名称 | 输入实例模版名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 资源池类型 | CPU。 |
| 资源规格 | g.c16m64. |
| 资源数量 | 输入资源数量,最小值1个,最大值10个。 |
| 镜像版本(预加载) | Spark 3.5.5 。 |
资源池列表
创建成功的资源池以列表形式展示在资源池列表,单击资源池名称可查看资源池概览和详情。
表六 资源池列表说明
| 列表项名称 | 说明 |
|---|---|
| 资源池名称 | 创建资源池设置的资源池名称。 |
| 资源池ID | 创建资源池后生成的资源池ID。 |
| 资源池状态 | 展示资源池状态,状态类型为:生效中、运行中、创建失败、已失效。 |
| 资源规格 | 资源池中资源的规格详情。 |
| 资源数量 | 资源池中资源的数量。 |
| 创建时间 | 创建资源池的时间。 |
| 付费方式 | 按量付费。 |
| 操作 |
查看资源池
单击资源池名称可查看资源池概览和详情。
资源池概览
通过切换tab页选择概览,查看资源池详细信息和关联计算实例列表。
表七概览详细信息说明
| 详细信息名称 | 说明 |
|---|---|
| 资源池名称 | 创建资源池设置的资源池名称。 |
| 资源池ID | 创建资源池后生成的资源池ID。 |
| 可用区 | 资源池所属的可用区。 |
| 子网 | 资源池的子网名称和IP。 |
| 资源规格 | 资源池的规格明细。 |
| 资源总量 | 创建资源池时指定的资源总数量。 |
| 已使用资源数量 | 当前已经用于创建计算实例的资源数量。 |
| 闲置资源数量 | 当前资源池中没有用于创建计算实例的限制资源数量。 |
资源池详情
通过切换tab页选择详情,查看资源池详情。在资源池详情页面右上角支持删除资源池,包年包月的资源池不支持提前删除,只支持到期释放。按量付费的资源池可以删除。注意:资源池删除后不可恢复,请谨慎操作。
任务实例
任务实例模板
- 登录百度智能云 DataBuilder 控制台,在侧边导航选中计算实例模块。
- 在计算实例通过切换tab页选择数据处理实例>任务实例模版。
- 在任务实例模版界面单击创建按钮,填写创建任务实例模版配置项。
- 填写完成后单击创建模版,模版创建完成。
表八 创建任务实例模版配置项说明
| 配置项名称 | 说明 |
|---|---|
| 地域 | 展示当前区域。 |
| 网络 | 下拉选择已有私有网络(VPC),也可单击 私有网络 去创建新的私有网络。 |
| 可用区与子网 | 下拉选择可用区和子网,可单击 私有网络-子网 创建新的子网。 |
| 实例模版名称 | 输入实例模版名称。由大小写字母、数字、中文以及-_/.特殊字符,必须以字母或者中文开头,长度1-64。 |
| 实例类型 | Spark。 |
| 镜像版本 | 镜像版本为3.5.5。 |
| 节点类型 | CPU/GPU。 |
| 节点规格 | 根据需要选择节点规格。 |
| 购买数量 | 购买节点数量。 |
任务实例模版列表
创建成功的实例模版任务以列表形式展示,列表支持通过创建时间进行排序。
表九 任务实例模版列表说明
| 列表项名称 | 说明 |
|---|---|
| 实例模版名称 | 实例模版的名称,用于识别实例模版的唯一性。 |
| 实例类型 | spark。 |
| 镜像版本 | 3.5.5。 |
| 节点规格 | 展示当前实例任务模版的节点规格。 |
| 创建时间 | 创建实例模版的时间。 |
| 付费方式 | 按量付费 |
| 操作 |
