Iceberg Catalog - Baidu Palo/Doris 使用文档
Hadoop Catalog 注意： warehouse 的路径必须指向 Database 路径的上一级。
使用自定义任务处理数据 - 百度百舸 · AI计算平台 | 百度智能云文档
选择源数据存储和目标存储，分别设置挂载路径为/mnt/data/json和/mnt/data/jsonl（与启动脚本中的目录保持一致），同时挂载代码目录，并设置挂载路径为/mnt/scripts（与脚本中使用的路径保持一致） 提交任务，等待数据处理完成，在任务详情中可以通过事件、日志查看任务运行情况 高级拓展 业务中常用的周期执行数据处理任务可以使用百舸OpenAPI进行任务提交，也可以集成到自有系统中进行业务调用
部署模型SDK至Intel Movidius设备 - 智能边缘BIE | 百度智能云文档
6.4 添加模型文件 将模型资源文件RES目录压缩，并上传至对象存储，然后在BIE配置项中引入这个压缩文件。
存证平台 - 超级链BaaS平台 | 百度智能云文档
存证平台 存证平台功能介绍 存证平台提供了一种区块链与IPFS相结合的存证解决方案，可以满足更加安全、更加可控、更加可信的存储需求。 使用BDChain存证平台的具体优势有： 避免了将数据存储在中心化节点中带来的隐私泄漏、数据丢失等问题。 文件本身存储在IPFS网络，文件hash存储在链上，可以满足大文件的上传需求，并且解决了现有区块链存证成本高昂，低吞吐等问题。
ERNIE-Speed-Pro-128K结合向量数据库构建知识库案例 千帆社区
rom pymochow.configuration import Configuration # 从用户输入中获取要导入的文件路径或名称 path_file = input( 请输入你要导入的知识库名称: ) # 如果文件路径中包含 .docx
数据集 - 百度千帆·数据智能平台DataBuilder | 百度智能云文档
详情包括数据集的版本、版本ID、数据路径、创建人、创建时间、最近修改人、修改时间、数据格式、样本数、数据集大小和属性。 数据集详情 通过切换tab页选择详情可查看数据集数据集基本信息。包括数据集名称、数据集 ID、数据集类型、所有者、创建人、创建时间、最近修改人、修改时间、存储类型和数据类型。 权限管理 通过切换tab页选择权限管理，可在权限管理页面查看当前数据集的用户。
工作空间 - 百度千帆·数据智能平台DataBuilder | 百度智能云文档
工作空间详细信息包括空间名称、空间别名、空间ID、存储路径（BOS存储路径，单击复制按钮可进行复制操作）、空间状态（运行中或不可用）、元存储、创建人（创建工作空间的用户名称）、创建时间（创建工作空间的时间和描述）、描述（支持在详情中修改）。 打开工作空间 ：详情页面右上角可以打开工作空间，进入工作空间内部。 删除工作空间 ：右上角删除工作空间，注意：工作空间删除后无法恢复，请您谨慎操作。
创建训练任务 - 百度百舸 · AI计算平台 | 百度智能云文档
百舸平台上共享内存默认为10Gi，如业务有额外需求，可以按需修改 RDMA 开启后系统将自动调度任务到支持RDMA的节点上 数据集挂载 支持选择数据集挂载 存储挂载 当前支持并行文件存储 PFS、文件存储 CFS以及对象存储BOS，自运维资源池额外支持本地盘 最大运行时长 您可以设置任务运行的最长时长，在完成配置后，超过该时长的任务将停止运行。默认不限制运行时长。
用BML实现开源大模型的预训练（Post-pretrain） - BML 全功能AI开发平台 | 百度智能云文档
MEGATRON_PATH Megatron代码的基础路径（***/Megatron-LM） INPUT 输入数据的json/jsonl文件路径，要求jsonl格式 OUTPUT_PREFIX 输出二进制训练文件前缀 WORKERS 处理数据的工作进程数，根据机器配置选择，多进程可以加快处理速度 JSON_KEYS json文件中训练文本的字段名，若有多个，按空格拼接，比如“key0 key1 key2
baetyl-broker - 智能边缘BIE | 百度智能云文档
36 driver: boltdb # 底层存储插件，默认 boltdb 37 source: var/lib/baetyl/broker.db # 存储文件路径 38 queue: # 存储 39 batchSize: 10 # 消息通道缓存大小 40 expireTime: 24h # 消息过期时间间隔，在此间隔前的消息在下次清理时会被清理掉 41 cleanInterval: 1h # 消息清理间隔
