第三代基座大模型ChatGLM3瞄向视觉模态GPT-4V,提高中文图文理解能力,接入搜索增强,根据问题自动在互联网上查找相关资料并在回答时提供参考文献或文章链接。端测模型ChatGLM3-1.5B和ChatGLM3-3B支持vivo、小米、三星手机及车载平台。
10月27日,在2023中国计算机大会上,中文认知大模型企业北京智谱华章科技有限公司(下称“智谱AI”)推出第三代基座大模型ChatGLM3,采用多阶段增强预训练方法让训练更充分,并推出可部署在手机的ChatGLM3-1.5B和ChatGLM3-3B,支持vivo、小米、三星在内多款手机以及车载平台。
瞄向视觉模态GPT-4V,ChatGLM3实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM看图识语义在10余个国际标准图文评测数据集上取得SOTA(最佳性能,State-of-the-art)。CogVLM模型提高了中文图文理解能力,可完成复杂的目标检测,并打上标签完成自动数据标注。可根据食材照片给出食谱,根据对话者的口味调整食谱。
根据食材照片给出食谱。
智谱AI首席执行官张鹏对澎湃科技(www.thepaper.cn)表示,多模态大模型已经在语音、视觉、自然语言的交互感知方面有很多具体进展,未来多模态大模型会走向更重要的舞台,可能会融合更多模态的数据,多模态预训练也会导致大模型智能能力或认知能力进一步提升。
可分析图片内容。
ChatGLM3的代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务。“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。
根据用户需求生成代码并执行。
网络搜索增强WebGLM接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考文献或文章链接。
ChatGLM3集成了AgentTuning技术,激活了模型智能体能力,并开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等场景。
目前ChatGLM3推出了可手机部署的端测模型ChatGLM3-1.5B和ChatGLM3-3B,支持vivo、小米、三星在内多款手机以及车载平台,支持移动平台上CPU芯片的推理,速度为20 tokens/s。
端测模型ChatGLM3-1.5B和ChatGLM3-3B支持vivo、小米、三星手机及车载平台。
张鹏表示,自2022年初,智谱AI推出的GLM系列模型已支持在昇腾、神威超算、海光DCU架构上进行大规模预训练和推理。目前智谱AI的产品已支持10余种国产硬件生态,与国产芯片企业的联合创新有助于国产原生大模型与国产芯片的发展。