简介:李开复对零一万物陷入的架构争议进行回应,强调行业通用标准与开源贡献。同时,10月中国游戏厂商及应用出海收入30强名单出炉,展现行业新动态。
近日,李开复和他的创业公司零一万物因发布的预训练大模型Yi-34B陷入了架构争议。在Yi-34B的Hugging Face开源主页上,有开发者质疑零一万物发布的模型使用了Meta LLaMA的架构,并指出仅对两个张量名称进行了修改。这一质疑迅速引发了业界的关注和讨论。
面对争议,零一万物公司迅速作出回应。公司开源团队总监Richard Lin承认了修改LLama张量名称的做法不妥,并表示将会按照外界建议把修改后的张量名称从Yi改回LLaMA。紧接着,零一万物公开了对Yi-34B训练过程的详细说明,强调模型训练的核心不仅在于架构,更在于训练得到的参数。
李开复也在朋友圈转发了该说明,并再度发文回应争议。他表示:“全球大模型架构一路从GPT2到Gopher、Chinchilla、Llama2,再到Yi,行业逐渐形成大模型的通用标准。就像做一个手机App开发者,不会去自创iOS、Android以外的全新基础架构。01.AI起步受益于开源,也贡献开源,从社区中虚心学习,我们会持续进步。”李开复的回应体现了零一万物对开源社区的尊重和学习的态度,也表达了公司持续进步的决心。
值得注意的是,在零一万物陷入争议的同时,中国游戏行业也迎来了新的动态。10月中国游戏厂商及应用出海收入30强名单出炉,这一名单不仅展示了中国游戏行业的实力,也反映了中国游戏厂商在全球市场的竞争力。
其中,中国移动游戏市场实际销售收入环比增长0.51%,同比增长17.07%,显示出中国移动游戏市场的强劲增长势头。而中国自主研发游戏海外市场实际销售收入也实现了同比增长29.42%,表明中国游戏厂商在海外市场也取得了显著的成绩。
回到零一万物的争议上,业界专家也对此发表了看法。有专家认为,当前国内AI大模型虽然众多,但能够被用户认可的大模型还不多。很多大模型仅仅在测试中能够对标ChatGPT等国外产品,且当前国内的大模型发展也受制于算力。因此,对于零一万物等创业公司来说,如何在保持创新的同时,又能充分利用开源社区的资源,实现快速起步和持续发展,是一个值得深思的问题。
不过,零一万物对此已经有了自己的思考和实践。在训练模型过程中,零一万物沿用了GPT/LLaMA的基本架构,但根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集。同时,在Infra部分进行算法、硬件、软件联合端到端优化,实现训练效率倍级提升和极强的容错能力等原创性突破。
这些科学训模的系统性工作,往往比起基本模型结构能起到巨大的作用和价值。零一万物团队在训练前的实验中,尝试了不同的数据配比科学地选取了最优的数据配比方案,投注大部分精力调整训练方法、数据配比、数据工程、细节参数、训练过程监测技巧等。这一系列超越模型架构之外的研究与工程并进且具有前沿突破性的研发任务,才是真正属于模型训练内核最为关键、能够形成大模型技术护城河know-how积累的部分。
此外,零一万物还表示,将积极拥抱开源社区,从社区中虚心学习,并持续贡献自己的力量。未来,零一万物将继续坚持自主创新,同时充分利用开源社区的资源,推动AI技术的不断发展和进步。
总的来说,李开复对争议的回应展示了零一万物对开源社区的尊重和学习的态度,也体现了公司持续进步的决心。而中国游戏厂商及应用出海收入30强的名单,则展示了中国游戏行业的实力和竞争力。这些动态都为我们提供了宝贵的思考和启示,让我们期待未来更多的创新和突破。
在这个过程中,我们也看到了开源社区的重要作用。开源社区不仅为创业者提供了宝贵的资源和支持,也为整个行业的发展注入了新的活力和动力。因此,我们应该更加珍惜和呵护这个社区,让更多的人能够从中受益,共同推动科技的进步和发展。
同时,对于像千帆大模型开发与服务平台、曦灵数字人、客悦智能客服这样的AI产品来说,它们也应该积极拥抱开源社区,从中学习并贡献自己的力量。通过这些产品的不断创新和进步,我们可以期待未来AI技术能够为我们带来更多的便利和惊喜。例如,千帆大模型开发与服务平台可以利用其强大的计算和存储能力,为开发者提供更加高效和便捷的模型训练和部署服务;曦灵数字人则可以通过其先进的人工智能技术,为用户带来更加真实和生动的交互体验;而客悦智能客服则可以利用其自然语言处理和机器学习技术,为用户提供更加智能和贴心的服务。这些产品的不断发展和进步,都将为我们的生活带来更多的便利和乐趣。