人工智能也可“体检”？上海首家批筹的人工智能质检中心这么干工具|人工智能|质检中心
一张可爱的熊猫图片，加入一些干扰信息后，被人工智能识别为“长臂猿”；一个表示“停止”的交通标识，加入一些黑白方块后，则被人工智能误以为是“绿灯”。“我们会对送检的人工智能软件各项指标进行‘体检’，并出具详细‘体检报告’。”上海科学院直属上海计算机软件技术开发中心主任蔡立志告诉解放日报·上观新闻记者。
就在上个月，由上海计算机软件技术开发中心筹建的上海市生成式人工智能质量检验检测中心挂牌，成为上海首家批筹的人工智能领域的质检中心。
近来，以ChatGPT为代表的生成式人工智能成为“热词”。今年5月发布的《中国人工智能大模型地图研究报告》显示，我国已有79个10亿级以上参数规模的大模型。如何客观地评价大模型的性能，成为大模型应用的关键一环。就在这个月，国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》，管理办法的落地急需专业的第三方机构提供人工智能质检服务。
据悉，上海市生成式人工智能质检中心重点聚焦生成式人工智能、工业智能质检、智慧医疗、人脸识别、自动驾驶领域的人工智能检验检测。
“与传统质量检测‘守住质量底线’不同，我们的人工智能质检的定位一方面是助力企业提升创新能力，另一方面还要帮助企业守住法规法律红线和伦理道德底线。”上海计算机软件技术开发中心软件工程研究所副所长陈敏刚介绍。比如，在一些大语言模型应用初期，部分恶意用户会通过角色扮演、分步提问等方式，规避大语言模型安全规则，诱导其给出违反法律法规的回答，或者生成违背伦理道德的内容。“我们的检测就是要找出类似的漏洞，提升人工智能系统的安全性，减少各类风险等”。
据介绍，该质检中心将参考国内外人工智能测评标准，自主研发人工智能深度安全和测评技术与工具，包括对抗样本生成与防御评估工具、自然语言处理系统测评数据生成工具、人工智能虚假人脸检测工具、人工智能风险评估与治理工具等，为企事业单位提供人工智能质量“一站式”测评服务。
近年来，在上海科学院部署下，上海计算机软件技术开发中心布局并开展了人工智能的应用、治理、测评等技术研究与第三方技术服务，参与编写了《人工智能标准化白皮书》，完成了《人工智能深度合成图像系统技术规范》、《人工智能计算机视觉系统测评规范》等30余项标准研制，近三年来为人工智能企业与应用方提供第三方测评年均超过500项。
