AIAK大模型训练加速工具包
更新时间:2023-12-21
什么是AIAK大模型训推加速工具包?
AIAK大模型训推加速工具包(后文使用简称 AIAK)是百舸基于百度云IAAS资源推出的大模型AI加速能力,用来加速Megatron、Deepspeed等训练框架的大语言模型,能极大提升大模型分布式训练和推理的性能。下图为AIAK的整体解决方案架构图。
应用场景
AIAK大模型训推加速工具包支持但不限于以下场景:
- 训练加速镜像,例如Llama2,ChatGLM2等模型的Postpretrain场景的训练加速。
- 推理加速镜像,例如Llama2,ChatGLM2等模型的推理加速。
- 模型权重格式转换和并行策略切分工具,支持模型权重从Huggingface到Megatron框架的相互转换,支持Megatron框架下模型权重按照不同的DP、TP、PP并行策略进行切分。
- 自适应并行工具,支持并行策略自动搜索,方便用户快速进行性能调优,以达到该配置下的最优配置性能。
产品优势
- 多框架支持:提供对Megatron和Deepspeed多种训练框架的加速优化。
- 轻量便捷:基于开源框架编写并集成了主流开源大模型的模型代码,用户只需修改少量参数,即可快速提交训练任务或进行推理服务部署。
- 性能优异:相比社区主流框架,如Megatron和vLLM等,使用AIAK大模型训推加速工具包,训练和推理性能可大幅提升。