简介:复旦大学邱锡鹏团队推出MOSS,一个拥有160亿参数的开源对话语言模型,新增多项能力,助力AI技术普及与发展。
在人工智能领域,每一次技术的飞跃都引领着行业的变革。近日,复旦大学邱锡鹏教授团队宣布其研发的MOSS大模型正式开源,这一消息迅速在学术界和工业界引起广泛关注。MOSS不仅拥有160亿参数的庞大规模,还新增了多项能力,为AI技术的普及和应用提供了新的可能。
自ChatGPT发布以来,类ChatGPT模型的开发成为了全球关注的焦点。复旦大学自然语言处理实验室迅速响应,于2023年2月20日发布了国内首个对话式大型语言模型MOSS,并公开邀请公众参与内测。经过多轮迭代和优化,MOSS于同年4月正式开源,成为国内首个开放测试的类ChatGPT产品。
MOSS的研发过程充满了挑战与创新。团队采用了跨语言预训练、监督微调和偏好感知训练等先进技术,使MOSS具备了高度的灵活性和执行各种指令的能力。在预训练阶段,MOSS学习了约7000亿中英文及代码单词,为其后续的多语言能力和多种插件支持打下了坚实的基础。
MOSS的160亿参数是其强大能力的核心所在。这些参数使得MOSS在处理与人类的多轮交互时,能够展现出高度的灵活性和准确性。无论是执行对话生成、编程、事实问答等任务,还是进行搜索引擎、文生图、计算器、方程求解等操作,MOSS都能游刃有余地应对。
值得一提的是,MOSS在精度要求不那么高的情况下,甚至可以在单张3090显卡上运行。这一特性极大地降低了AI技术的门槛,使得中小企业和个人开发者也能够轻松接入和使用MOSS。
除了基础的对话生成能力外,MOSS还新增了多项能力,进一步拓展了其应用场景。例如,MOSS支持中英双语,拥有多轮对话和使用多种插件的双重能力。这些插件包括搜索引擎、文生图、计算器等,使得MOSS能够更加全面地满足用户的需求。
此外,MOSS还具备伦理判断和法律知识。在面对一些敏感或不当的指令时,MOSS能够给出有价值观的回答,确保其在应用过程中的安全性和可靠性。
MOSS的开源对于AI技术的发展具有重要意义。首先,它降低了预训练语言模型的研发和应用门槛,使得更多的中小企业和个人开发者能够参与到AI技术的研发中来。其次,MOSS的开源为学术界和工业界提供了重要的技术参考和实践经验,有助于推动AI技术的进一步普及和应用。
展望未来,随着MOSS的持续优化和升级,我们有理由相信它将在更多领域展现出强大的潜力。同时,我们也期待更多像MOSS这样的开源项目能够涌现出来,共同推动AI技术的繁荣和发展。
复旦MOSS的开源是AI技术发展历程中的一个重要里程碑。它不仅展示了我国在AI技术领域的强大实力和创新能力,更为全球AI技术的发展注入了新的活力和动力。我们有理由相信,在未来的日子里,MOSS将携手更多的开发者和研究者,共同探索AI技术的无限可能。