应用场景
更新时间:2024-09-29
大模型预训练
百舸平台提供了大模型预训练的基础环境,您可以利用百舸提供的强大的底层算力、高速网络、高性能存储一站式搭建大模型预训练环境,支持多种主流训练框架,同时可以使用百舸平台提供的AI加速能力加速大模型预训练过程。
- 强大的算力资源:百舸平台提供多种GPU算力资源,包括A100、A800等,满足您对大模型训练场景的算力需求;
- 高速网络:百舸平台默认开启RDMA高速互联网络,保障大模型训练网络性能;
- 高性能存储:百舸使用百度云并行文件系统PFS作为高性能存储,为您的模型训练数据保驾护航;
- 支持多种训练框架:百舸平台支持Pytorch、MPI等主流的训练框架,您可以提交运行支持该框架的训练任务;
- 百度验证的AI加速能力:百舸提供经百度内部验证的AI加速能力,实现大模型训练场景性能大幅提升。
模型微调
您可以在百舸平台上对已经训练好的模型进一步调整参数,以适应特定任务或领域。通常情况下,微调会利用已有的模型参数和一些特定的训练数据来进行。
- 灵活的任务管理:百舸平台提供灵活的任务管理能力,可对任务进行复制、停止、删除等操作,方便在模型微调过程中做参数调整;
- 强大的日志管理:百舸平台提供强大的日志管理能力、监控大盘展示并集成了Tensorboard功能,您可以通过日志、监控、Tensorboard实时查看任务运行情况,调整模型参数,提高训练效果。