单店导入 该方式适用于将单条门店数据导入至门店库中,在「导入方式」选项中选择「单店导入」,在页面上按要求完成各项目填写,点击「确认」即可开始导入。 门店导入状态 在门店导入页面点击「确认」后,可在门店库列表中查看门店导入的状态。
data数据 名称 类型 备注 successNum int 名单导入成功条数 failedNum int 名单导入失败条数 resList obj 导入明细 resList数据 名称 类型 备注 status boolean 导入的状态,true为 成功 bool extJson string 调用方的业务随路数据, 字符串,百度侧原文回传 reason string 失败原因 taskMemberId
3 secretType : 1 , //加密类型, 1:系统加密,即被叫号码采用系统的加密方式,AES128加密;2:不加密,即被叫号码为明文;3:自定义加密,即被叫号码采用客户自定义的加密方式,需在配置台-隐私配置-其他配置中配置自定义加解密服务地址,便于请求解密,必填 4 secretId
导入本地数据 Stream Load 用于将本地文件导入到 PALO 中。 不同于其他命令的提交方式,Stream Load 是通过 HTTP 协议与 PALO 进行连接交互的。 该方式中涉及 HOST:PORT 应为 HTTP 协议端口。 公有云用户必须使用 Compute Node(BE)的 HTTP 协议端口,默认为 8040。
对于有特殊需求的场景,PALO 提供了最小写入副本数等其他选项来进一步提高系统的灵活性。 最小写入副本数 多数派写入策略在保证数据可靠性的同时,也可能在某些场景下影响系统的可用性。例如,在两副本的情况下,必须两个副本都写入成功才能完成导入,这意味着在导入过程中不允许任何一个副本不可用。
其他高可用性机制 除了最小写入副本数选项,Doris 还采用了以下机制来提高导入的可用性: 导入重试:自动重试因临时故障导致的失败导入任务。 负载均衡:将导入任务分散到不同的 BE 节点,避免单点压力过大。 事务机制:确保数据的一致性,失败时自动回滚。
下载脚本示例 特别注意: 以下示例均在网络可达的前提条件下验证,使用前请先验证资源池可以访问源数据地址 验证使用镜像registry.baidubce.com/aihcp-public/pytorch:2.7.0-cu12.8.61-py3.12-ubuntu24.04,自定义其他镜像时可根据事件信息进行脚本调试 示例脚本只是方便用户理解下载方法,实际使用时需要根据需求对脚本进行修改 从魔搭下载数据集
参数 说明 数据来源 您可以选择数据来源为本账号对象存储或其他账号对象存储。 数据源名称 输入数据源的名称。名称支持大小写字母、数字、中文以及-_ /.特殊字符,必须以中文或字母开头,长度1-65。 存储桶选择 此处会列出实例所在 Region 下 对象存储全部的 Bucket。若该地区还没有 Bucket,请先去 对象存储控制台上创建。
上传已标注文件要求格式为zip格式压缩包 已有数据集 支持选择百度云 BOS 导入、分享链接导入、平台已有数据集导入;支持选择线上已有的数据集,包括其他图像类模型的数据集 BOS目录导入格式要求:请确保将全部图片已保存至同一层文件目录,该层目录下子文件目录及非相关内容(包括压缩包格式等)不导入 分享链接导入请确保将全部图片已保存至同一压缩包,压缩包仅支持zip格式,压缩前源文件大小限制5G以内;仅支持来自百度
Label 的主要作用是唯一标识一个导入任务,并且能够保证相同的 Label 仅会被成功导入一次。 Label 机制可以保证导入数据的不丢不重。如果上游数据源能够保证 At-Least-Once 语义,则配合 PALO 的 Label 机制,能够保证 Exactly-Once 语义。 Label 在一个数据库下具有唯一性。Label 的保留期限默认是 3 天。