赋能自动驾驶、智慧医疗、气象预报等领域,“书生通用大模型体系”在上海发布体系|书生|上海
今天举行的2023世界人工智能大会·科学前沿全体会议上，上海人工智能实验室与商汤科技联合香港中文大学、复旦大学、上海交通大学、清华大学发布了全新升级的“书生通用大模型体系”，包括“书生·多模态”“书生·浦语”“书生·天际”三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。上海市副市长刘多出席会议。
目前，“书生”大模型在130多个评测中，性能达到世界领先或先进水平。其中，“书生·多模态”无缝整合了语言、图像、视频等多种模态，首次实现通过自然语言定义视觉任务，并具有多模态交互和跨模态生成能力。升级后的“书生·浦语”是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型。“书生·天际”则是全球首个城市级NeRF实景三维大模型，有千亿参数，在全球首次实现对100平方公里城市实景进行4K高精度建模以及编辑。
“书生通用大模型体系”在世界人工智能大会上发布。
如同人类是通过多种信息认识世界，让AI模型认知和理解世界，也需要突破单一模态，融合视觉、语言、语音等多种模态信息。此次发布的“书生”多模态模型包含200亿参数，使用80亿多模态样本训练，可通过自然语言定义各种任务，实现开放世界理解，支持多模态生成和跨模态交互，并支持350万语义标签的识别和理解，覆盖开放世界常见的类别和概念。
上海人工智能实验室主任助理乔宇教授介绍，“书生”体系在80多种多模态和视觉评测任务中性能领先，超过谷歌、微软、OpenAI等研发的同类模型。
书生·浦语有1040亿参数，是在包含18000亿token的高质量语料上训练而成。今年6月亮相后，它在一个月内完成了五个方面的升级：
一是语境窗口的长度从2K提升到8K，具备了理解长输入、展开复杂推理、进行长时间多轮对话的能力；二是多语种和结构化表达能力进一步加强，新版模型支持20多种语言，还可通过表格和图表等方式汇总与呈现复杂信息；三是多维度能力全面提升，在42个主流评测集上性能明显提升，在其中35个评测集上性能超越ChatGPT；四是数理逻辑能力明显进步，大幅提高了数值计算、函数运算、方程求解等数理能力，在2023年高考数学选择题上，正确率提升超过70%；五是安全与对齐能力显著增强，可以更可靠地遵循人类指令，安全性也得到明显改善。
“书生”根据张大千的《湖山清夏图》创作的七言绝句
在全面升级的同时，“书生·浦语”开源了一个70亿参数的轻量级版本InternLM-7B，以及贯穿数据、预训练、微调、部署和评测五个环节的全链条工具体系。InternLM-7B在包含40个评测集的全维度评测中展现出卓越且平衡的性能，刷新了7B量级模型的世界纪录。上海人工智能实验室教授林达华表示：“通过开源开放，我们希望助力大模型的创新和应用，让更多领域和行业受惠于大模型变革的浪潮。”
上海人工智能实验室对大模型的探索，还延伸至三维城市空间。全体会议上，实验室联合香港中文大学、上海市测绘院发布了城市级实景三维大模型“书生·天际”。它已实现对100平方公里范围进行城市实景建模，分辨率精度可达4K；并支持对全范围的高精度实时渲染，以及城市级编辑、风格化转换等功能。未来，上海人工智能实验室将对“书生·天际”的算法、算子和系统全部进行开源。
在“书生·天际”中编辑地标建筑
据悉，“书生”大模型正在助力自动驾驶、智慧医疗、地球科学等多个领域的智能化进程。在自动驾驶领域，上海人工智能实验室联合团队的研究成果《以路径规划为导向的自动驾驶》近日摘取了CVPR最佳论文奖，首次提出感知决策一体化的自动驾驶通用大模型UniAD，使自动驾驶更智能。
在智慧医疗领域，上海人工智能实验室牵头推出了医疗多模态基础模型群“OpenMEDLab浦医”，为大模型在医疗领域的高效落地提供了基础。
在地球科学领域，全球中期天气预报大模型“风乌”实现了气象有效预报时间首破10天。这个大模型仅需30秒，即可生成未来10天全球高精度预报结果，在效率上大幅优于传统模型。
