“紫东太初”全模态大模型发布,精准定位三维场景,听出《月光曲》畅谈贝多芬图像|应用|贝多芬
不仅可以听出《月光曲》畅谈贝多芬，也可以在三维场景里实现精准定位，还能够通过图像与声音的结合完成场景分析。6月16日，在人工智能框架生态峰会上，中国科学院自动化研究所正式发布“紫东太初”全模态大模型。
该模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、传感信号、3D点云等模态数据，突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。
会上，自动化所所长徐波首次对外实时展示了“紫东太初”全模态认知大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能，并邀请现场观众与大模型即时互动。
【从多模态到全模态的持续探索】
人类在认知世界时，往往同时涉及语音、图像、文字等信息。机器需要实现更高水平的智能，就需要像人一样，发展贯通图、文、音等更多模态的大模型。自2019年起，自动化所坚持以“图-音-文”多模态技术为核心，确立多模态大模型布局，整合所内图像、文本、语音等研究方向的优势资源，开展集团式攻关，并于2021年9月成功打造“紫东太初”1.0多模态大模型。“紫东太初”1.0助推人工智能从“一专一能”迈向“多专多能”，向发展通用人工智能迈出了坚实的第一步。
迈入数字经济时代，数据的范畴不断拓宽，不仅包含人类自身产生的语音、图像、文字等数据，还有机器产生的大量结构和和非结构化数据。针对新需求与新趋势，“紫东太初”2.0从技术架构上实现了结构化和非结构化数据的全模态开放式接入；突破了能对信息进行充分理解和灵活生成的多模态分组认知编解码技术，大模型多模态认知能力大幅提升。
从1.0到2.0，“紫东太初”大模型打通了感知、认知乃至决策的交互屏障，使人工智能进一步感知世界、认知世界，从而延伸出更加强大的通用能力。
【产业应用前景广阔】
“紫东太初”2.0以自动化所自研算法为核心，以昇腾AI硬件及昇思MindSporeAI框架为基础，依托武汉人工智能计算中心算力支持，着力打造全栈国产化通用人工智能底座。
目前，“紫东太初”大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列应用。
在医疗场景，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。研究团队与北京协和医院合作，利用“紫东太初”较强的逻辑推理能力，正尝试在人类罕见病诊疗领域有所突破。
徐波表示，自动化所将以“紫东太初”大模型为基础，持续探索与类脑智能、博弈智能等技术路径的相互融合。
