方式,AES128加密;2:不加密,即被叫号码为明文;3:自定义加密,即被叫号码采用客户自定义的加密方式,需在配置台-隐私配置-其他配置中配置自定义加解密服务地址,便于请求解密,必填 4 secretId : 2 , //密钥ID,加密类型为系统加密时,必填 5 customerInfoList
导入本地数据 Stream Load 用于将本地文件导入到 PALO 中。 不同于其他命令的提交方式,Stream Load 是通过 HTTP 协议与 PALO 进行连接交互的。 该方式中涉及 HOST:PORT 应为 HTTP 协议端口。 公有云用户必须使用 Compute Node(BE)的 HTTP 协议端口,默认为 8040。
对于有特殊需求的场景,PALO 提供了最小写入副本数等其他选项来进一步提高系统的灵活性。 最小写入副本数 多数派写入策略在保证数据可靠性的同时,也可能在某些场景下影响系统的可用性。例如,在两副本的情况下,必须两个副本都写入成功才能完成导入,这意味着在导入过程中不允许任何一个副本不可用。
其他高可用性机制 除了最小写入副本数选项,Doris 还采用了以下机制来提高导入的可用性: 导入重试:自动重试因临时故障导致的失败导入任务。 负载均衡:将导入任务分散到不同的 BE 节点,避免单点压力过大。 事务机制:确保数据的一致性,失败时自动回滚。
下载脚本示例 特别注意: 以下示例均在网络可达的前提条件下验证,使用前请先验证资源池可以访问源数据地址 验证使用镜像registry.baidubce.com/aihcp-public/pytorch:2.7.0-cu12.8.61-py3.12-ubuntu24.04,自定义其他镜像时可根据事件信息进行脚本调试 示例脚本只是方便用户理解下载方法,实际使用时需要根据需求对脚本进行修改 从魔搭下载数据集
参数 说明 数据来源 您可以选择数据来源为本账号对象存储或其他账号对象存储。 数据源名称 输入数据源的名称。名称支持大小写字母、数字、中文以及-_ /.特殊字符,必须以中文或字母开头,长度1-65。 存储桶选择 此处会列出实例所在 Region 下 对象存储全部的 Bucket。若该地区还没有 Bucket,请先去 对象存储控制台上创建。
上传已标注文件要求格式为zip格式压缩包 已有数据集 支持选择百度云 BOS 导入、分享链接导入、平台已有数据集导入;支持选择线上已有的数据集,包括其他图像类模型的数据集 BOS目录导入格式要求:请确保将全部图片已保存至同一层文件目录,该层目录下子文件目录及非相关内容(包括压缩包格式等)不导入 分享链接导入请确保将全部图片已保存至同一压缩包,压缩包仅支持zip格式,压缩前源文件大小限制5G以内;仅支持来自百度
Label 的主要作用是唯一标识一个导入任务,并且能够保证相同的 Label 仅会被成功导入一次。 Label 机制可以保证导入数据的不丢不重。如果上游数据源能够保证 At-Least-Once 语义,则配合 PALO 的 Label 机制,能够保证 Exactly-Once 语义。 Label 在一个数据库下具有唯一性。Label 的保留期限默认是 3 天。
3、选择新的数据源 如果导入文件中的报表和大屏中用到了数据库类型的数据源,您需要选择这些数据源在目标报表空间中对应的新数据源。如果没有,您需要在报表空间中先创建好新的对应数据源后再进行导入操作。
导入已标注数据 目录 导入已标注数据方式说明 从已有数据集导入已标注数据 查看已标注数据 导入已标注数据方式说明 如果您已有标注好的数据,支持快速导入到BML,方便直接进入后续训练环节。 实例分割任务向选定的数据集导入已标注好的数据目前支持一种方式: 将其他数据集已经标注好的数据导入 从已有数据集导入已标注数据 从已有数据集导入已标注数据,支持选择数据集及导入的具体标签进行导入。