简介:ChatGLM是一个基于千亿基础模型训练的支持中英双语的对话机器人,具备多领域知识、代码能力、常识推理及运用能力。它为中英双语场景提供了一个高效和智能的解决方案,并在多个自然语言处理任务上优于其他千亿规模的模型。
ChatGLM是由清华大学技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。它基于GLM130B千亿基础模型训练,不仅具备多领域知识、代码能力、常识推理及运用能力,而且支持与用户通过自然语言对话进行交互,处理多种自然语言任务。例如,对话聊天、智能问答、创作文章、创作剧本、事件抽取以及生成代码等。
在人工智能语言模型飞速发展的背景下,大多数的语言模型仍然以英文为主,对其他语言的支持较弱,无法很好地适应多语言的场景。为了解决这个问题,清华大学数据挖掘实验室推出了一个开源的中英双语对话语言模型:ChatGLM。
ChatGLM是一个基于千亿基座模型GLM-130B开发的对话机器人,具有问答、多轮对话和代码生成功能。目前,ChatGLM有两个版本:千亿参数的ChatGLM(内测版)和62亿参数的ChatGLM-6B(开源版)。其中,ChatGLM-6B在2023年3月14日正式开源,结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。
ChatGLM的技术基础是GLM-130B,这是一个包含多目标函数的自回归预训练模型,同时支持中文和英文,并且在多个自然语言处理任务上优于其他千亿规模的模型。经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。而千亿参数的ChatGLM则更进一步,在问答和对话方面具有更强大的能力。例如,ChatGLM可以根据用户提供的主题和语言来生成不同风格和内容的文本,也可以根据用户提供的代码需求来生成相应的代码片段。
与其他千亿规模的语言模型相比,ChatGLM有以下几个特点: