基于Langchain和数据湖分析的检索增强生成的样板间实现 千帆社区
本文以基于大模型的RAG 过程为抓手，对大数据在大模型推理过程中辅助数据同步、存储和处理做了一定的阐述，总结如下： 对于大数据架构来说，可以通过大模型的框架可以实现对于半结构化和非结构化的数据处理。 对于大模型来说，存储侧不再是依赖本地存储，也可以依赖分布式文件系统、对象存储等典型的大数据存储介质。
[AI行业案例]-OCR助力大宗货运物流交易提效
业务流程如下： 第一步：司机登录运销宝平台 第二步：匹配、查找货源，并接单 第三步：承运结束后，司机拍摄并上传磅单图片，系统自动录入磅单关键信息 第四步：司机可查询已完成的运单 相关案例 物易云通 物流货运 iOCR助力物流行业智能化管理 快成物流 物流货运 百度OCR加速大宗物流产业智能化管理 查看更多案例 > 合作咨询 售前咨询 填写您的业务需求，专属客户经理会尽快联系您，提供1对1咨询服务
数据血缘 - 百度数据湖管理与分析平台EDAP | 百度智能云文档
选择显示范围 默认直系父子，即上游1层、下游1层，如果没有上游或下游，则显示0层。 支持用户自定义上下游层级，可下拉选择：0层、1层、2层、3层。 在图谱中点击节点左侧的“+”、“-”可以展开或折叠上一层级，末端节点无展开/折叠按钮。 查看节点信息 点击节点右侧“更多”，选择“查看节点信息“，右侧显示节点信息：表名称、数据源类型、数据源链接、数据库、更新时间、schema信息。
配置专家模式表格数据预测任务 - BML 全功能AI开发平台 | 百度智能云文档
五种，超参搜索范围设置过大可能会导致训练时间过长。
如何处理Redis集群数据倾斜 - 云数据库 SCS_云缓存
开启从只读。 查看慢日志找到复杂命令，业务针对性优化。 IO 消耗型访问倾斜 热key。 开启从只读，提交工单开启代理层热 key 缓存，提交工单升配网络IO。 开启平台热key分析出热 key，业务针优化。 大key。 开启从只读，提交工单升配网络IO。 开启平台大key分析出大key，业务针优化。 结果集大的命令。 开启从只读，提交工单升配网络IO。 查看慢日志找到复杂命令，业务针对性优化。
导入未标注数据 - BML 全功能AI开发平台 | 百度智能云文档
导入未标注数据 目录 导入未标注数据方式说明 从本地上传图片导入 从本地上传压缩包导入 导入线上已有数据集 导入未标注数据方式说明 为选定的实例分割数据集导入未标注数据（即原始图片）的方式有两种。一种为从本地选择图片文件；一种为从平台中其余同为图片类型数据集中导入。 从本地上传图片导入 选择 无标注数据-本地-上传图片 ，点击上传图片后选择本地图片文件进行导入。
序列标注数据导入 - BML 全功能AI开发平台 | 百度智能云文档
样本数据详见Demo数据 平台限免阶段每个账户最多支持100万条样本数据，超出后会被平台忽略 二次导入已标注数据 平台支持用户对于已有的数据集，进行二次导入数据。请注意，再次导入的已标注数据，标注标签需要完全一致。注意，二次导入过程 不校验json文件 。只对标注文本进行校验，与第一次上传的json文件里不一致的标签和标注数据，平台将过滤掉。
导入已标注数据 - BML 全功能AI开发平台 | 百度智能云文档
导入已标注数据 目录 导入已标注数据方式说明 从已有数据集导入已标注数据 查看已标注数据 导入已标注数据方式说明 如果您已有标注好的数据，支持快速导入到BML，方便直接进入后续训练环节。 实例分割任务向选定的数据集导入已标注好的数据目前支持一种方式: 将其他数据集已经标注好的数据导入 从已有数据集导入已标注数据 从已有数据集导入已标注数据，支持选择数据集及导入的具体标签进行导入。
使用自定义任务处理数据 - 百度百舸 · AI计算平台 | 百度智能云文档
使用自定义任务处理数据 在百舸平台中用户可以利用已有资源池队列或创建专门的CPU资源池，使用分布式训练任务模块提交自定义任务方式处理数据，并将处理好的数据写入到BOS、PFS、CFS等存储中供后续业务使用。 此文档提供使用百舸自定义任务处理数据的最佳实践方法和思路，针对不同业务场景，用户可参考该文档实现更加复杂的数据处理任务，亦可以创建可以并发处理的分布式处理任务。
数据质量 - 百度数据湖管理与分析平台EDAP | 百度智能云文档
数据质量 数据汇聚到平台后，需要对数据的完整性、唯一性、有效性、准确性、一致性、及时性进行探查，清洗脏数据，以确保数据的存储和共享的质量。
