获取数据量观测数据 接口描述 获取数据量观测数据 API调用地址 POST /api/bes/cluster/data_size_tendency 请求参数 Header 参数 参数名 类型 是否必须 描述 示例值 x-Region String 是 区域 bd Body 参数 参数名称 参数类型 是否必须 描述 示例值 clusterId String 是 集群id 111111111111111
需具有以下任一权限: 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy 只读访问千帆大模型平台的权限:QianfanReadAccessPolicy 完全控制千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataFullControlAccessPolicy 运维操作千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataOperateAccessPolicy
SDK调用 调用示例 Python import os from qianfan import resources # 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk os . environ [ QIANFAN_ACCESS_KEY ] = your_iam_ak
什么是数据洞察 1. 如何理解数据洞察与处理 在大语言模型的精调领域,数据准备占据着至关重要的作用。贴合业务精调目标的高质量SFT数据集,可有效提升大语言模型的训练效率及效果表现。 SFT数据集评价标准 什么是一份好的SFT数据集?以下列举了一些经过验证的实践经验: 精调数据最好来自于业务场景的真实调用数据,样本分布情况相近,从而让大模型更好的参考学习。
详情请查看 三方云与BOS间存储类型对应关系 2021-06 在线迁移支持 三方云增量迁移 ,通过对源端全量扫描的方式实现源端数据的实时同步 2021-02 全新发布 CloudFlow 在线迁移服务,支持通过可视化操作的方式对三方云对象存储数据进行在线迁移
分享链接导入 输入链接地址导入:压缩包(请确保将全部数据文件保存至同一压缩包)。 平台已有数据集 仅支持选择未发布的数据集版本。 以上所有步骤完成后,即可导入数据至数据集。
数据目的地管理 概述 数据目的地管理功能对规则有权限进行写入操作的下游产品进行统一管理,数据目的地分为百度智能云云产品和自定义两个类型。 百度智能云云产品 用户在百度云购买、开通的存储、计算、消息队列等产品,如时序数据库TSDB、百度消息服务for Kafka等。 该类型目的地不需要用户维护,系统会直接读取当前账户有权限操作的云产品列表供选择。
日期时间格式化设置 如果当前维度字段类型为日期、日期时间、时间戳时,可以通过对当前维度字段进行日期时间数据聚合的设置,如图将数据进行聚合或者时间格式的调整: 可以通过选择需要转换的日期类型将数据进行聚合或者日期格式的调整: 日期类型说明 年:根据筛选数据时间的「年份」进行数据的聚合 年-季度:根据筛选数据时间按照当前「年份的季度」进行聚合 年-月:根据筛选数据时间按照当前「年份的月份」进行聚合 年-
使用流程 Step 1 功能入口 您可从数据总览页操作列点击【质检报告】或查看页面点击【质检报告】进入该功能页面 Step 2 指标查看 本期报告分为整体指标和分布指标两类。整体指标包括数据集存储大小、图片数量、破损图像数三类;分布指标包括色彩分布空间、图像存储大小分布、高宽比分布、分辨率分布、色偏分布五类。 可以通过切换数据集版本查看不同版本下质检报告。
使用流程 Step 1 功能入口 您可从数据总览页操作列点击【质检报告】或查看页面点击【质检报告】进入该功能页面 Step 2 指标查看 本期报告分为整体指标和分布指标两类。整体指标包括数据集存储大小、图片数量、破损图像数三类;分布指标包括色彩分布空间、图像存储大小分布、高宽比分布、分辨率分布、色偏分布五类。 可以通过切换数据集版本查看不同版本下质检报告。