数据同步 - 百度数据湖管理与分析平台EDAP | 百度智能云文档
数据同步 为了方便数据发布生成数据API，需要将数据湖中的数据进行导出，本示例通过可视化ETL作业，将数据从EDAP数据湖同步到RDS。 数据湖数据导出到RDS 1、进入项目“产品体验测试”，选择可视化作业，在画布中添加源端插件DataLakeSource、目标端插件DataBase。 2、点击插件进行属性配置，源端数据表为test_stu，目标端数据表为mysql_stu。
挂载CFS数据卷 - 容器实例BCI | 百度智能云文档
此时，如果多个BCI同时修改相同数据，请进行同步与冲突保护。 在删除所有使用此挂载点的BCI实例前，请勿删除CFS挂载点，否则可能会造成操作系统无响应。 控制台操作
核心概念 - 数据流转平台CLOUDFLOW | 百度智能云文档
核心概念 核心概念 在您使用数据流转平台前，请先阅读并了解如下关键词的概念： 迁移任务 ：用户发起的由一个源端到一个目的端的数据迁移任务； 迁移文件 ：迁移任务中发起迁移操作的文件； 迁移进程 ：一个迁移任务的迁移过程，过程中可以查看文件的迁移进度，如 共需迁移 xx 个文件，已成功迁移 xx 个，失败 xx 个，待迁移文件 xx 个； 迁移任务配置 ：对迁移任务进行配置，包括配置源端和目的端的 AS
创建数据集 - EasyDL零门槛AI开发平台 | 百度智能云文档
如果训练图片场景无法全部覆盖实际场景要识别的图片： 如果要识别的主体在图片中占比较大，模型本身的泛化能力可以保证模型的效果不受很大影响 如果识别的主体在图片中占比较小，且实际环境很复杂无法覆盖全部的场景，建议用物体检测的模型来解决问题（物体检测可以支持将要识别的主体从训练图片中框出的方式来标注，所以能适应更泛化的场景和环境） 如果需要寻求第三方数据采集团队协助数据采集，可以在百度智能云控制台内 提交工单
基于Langchain和数据湖分析的检索增强生成的样板间实现 千帆社区
RAG/Agent多项能力再升级，速来解锁～ AppBuilder 195 看过 大模型智能客服最佳实践分享 课程学习指南 AI加速器 160 看过 这里有一个“小度智能音箱灵动版”待领取 AI加速器 102 看过 免费领取“小度智能音箱随身版” AI加速器 116 看过
基于Langchain和数据湖分析的检索增强生成的样板间实现 千帆社区
RAG/Agent多项能力再升级，速来解锁～ AppBuilder 195 看过 大模型智能客服最佳实践分享 课程学习指南 AI加速器 160 看过 这里有一个“小度智能音箱灵动版”待领取 AI加速器 102 看过 免费领取“小度智能音箱随身版” AI加速器 116 看过
使用DataEnhance扩展数据集 - 百舸异构计算平台AIHC | 百度智能云文档
主要增强策略 策略名 介绍 适用领域 agent_instruct 基于大模型针对数据可扩展的方向给出建议，然后基于数据和建议用大模型生成新的数据 通用 evol_instruct 基于大模型将种子数据从广度和深度两个维度进行数据扩展 通用 self_instruct 通过迭代的方式，基于一个有限的手动编写的种子数据集，利用大模型指导生成更广泛的数据集 通用 mathscale 基于种子数据，进行主题
存储数据至HBase - MapReduce BMR_全托管Hadoop/Spark集群
写入数据。 示例：若设置行’row1’、列’ family:col1’对应的数据为’val1’，请执行命令：hbase(main):001:0> put 'test', 'row1', 'family:col1', 'val1' 读取数据。
如何从评估指标判断大模型训练效果 - ModelBuilder
可通过增加场景数据集，或者混入场景的混合语料，进一步训练模型。 降低BatchSize。如过训练的BatchSize过大，可调低BatchSize的值。因为值越大，测试数据的泛化效果越差。同时，收敛所需的Epoch也越大。 增加Epoch数。可通过增加Epoch数来增加训练的轮次，增加训练的Step后，Loss曲线会逐步下降达到稳定状态。 增加学习率。
大模型训练——PEFT与LORA介绍 千帆社区
而在LORA的策略下，增加了右侧的“旁支”，也就是先用一个Linear层A，将数据从d dd维降到r rr，这个r rr也就是LORA的秩，是LORA中最重要的一个超参数。一般会远远小于d dd，尤其是对于现在的大模型，d dd已经不止是768或者1024，例如LLaMA-7B，每一层transformer有32个head，这样一来d dd就达到了4096.
