• 首  页
  • 视  频
  • 图  片
  • 上海科技报
上海脑科学与类脑研究中心发力全球化研发
首个AI规模化产业应用统一平台在张江诞生
2020年01月15日  作者:耿挺   编辑:chunchun   审核:刘纯  版面:B2

  在人工智能的“算法江湖”上,有着众多“门派”,比如谷歌、亚马逊、脸书、微软、百度等。这些“门派”都发展了一套自己的“武功秘籍”—— Tensorflow、MXNet、Pytorch、PaddlePaddle等不同的深度学习框架,并培养了一大批“追随者”——使用这些深度学习框架的企业和科研机构。而这仅仅是人工智能科研与产业链上“五花八门”的一个缩影。

  从算法到芯片,从软件到硬件,不同组合的人工智能实现系统给大规模应用造成了平台兼容性差、运行效率低等瓶颈问题。这使得人工智能在研发到大规模产业应用之间存在一道天然鸿沟。

  1月13日,张江实验室脑与智能科技研究院/上海脑科学与类脑研究中心思凯迈(Skymind)软脑联合实验室,推出全球首个人工智能规模化产业应用统一部署平台(Konduit),从底层破解了瓶颈难题,有望让鸿沟变通途。

群雄并起的人工智能存在天然鸿沟

  人工智能浪潮兴起时间不长,群雄并起的局面犹在。目前,全球针对模型训练的主流开源人工智能深度学习框架有10个之多,包括谷歌的Tensorflow、思凯迈的Deeplearning4j、亚马逊的MXNet、脸书的Pytorch、百度的PaddlePaddle、微软的CNTK等。

  全球人工智能企业中,不超过5%数量的企业能够掌握自主的人工智能技术,剩下的95%以上需要基于这10个框架。然而,基于这些框架生产部署的应用端,相互之间存在兼容难和兼容差的难题。再加上基础芯片和硬件的不同,一道天然鸿沟出现在人工智能模型训练和产业应用两大环节之间。

  与此同时,一个典型的机器学习模型需要经历数据提取、数据预处理、特征选取、模型训练、模型测试及结果展示、模型部署等多个环节,每个环节又有一个或多个小步骤组成。模型开发更是一个循环迭代的过程,需要多次重复才能最终达到一个意向的结果。

  在目前的人工智能企业,开发人员需要花费大量时间解决多平台兼容性问题,如识别人脸的算法与识别物品的算法不同,但却要在一个画面中实现同时识别,就需要运行两次算法,造成效率低下。

  除此之外,天然鸿沟还表现在:训练与应用在不同语言之间的二次开发、不同的代码形态和路径;各框架间的底层运算库的不同,导致优化困难;处理多个模型及批量推理工作时,效率低下;第三方系统框架升级,常常会导致无法同步兼容新的版本……
这些瓶颈问题都成为人工智能产业应用发展的阻碍。

统一平台实现流水化机器学习模型

  随着张江实验室脑与智能科技研究院/上海脑科学与类脑研究中心思凯迈(Skymind)软脑联合实验室一项科学研究的完成,全球首个人工智能规模化产业应用统一部署平台在张江诞生,人工智能模型训练和产业应用之间的天然鸿沟将成通途。

  这个平台解决了人工智能从科研到生产部署的技术障碍,兼容了目前全球主流的深度学习框架、主流芯片商和大数据系统平台,支持通过云端或本地化部署,为开发人员提供基础服务模块,从数据预处理到最终的模型服务应用,让开发人员能够编写属于自己的机器学习模型工作管道机制,并通过简单的应用程序编程接口来实现对外开放。

  一个叫做工作流水线步骤(Pipeline Step)的首创概念被引入该平台。在实际部署中,一个流水线步骤将执行机器学习模型生产周期中的一部分任务。而多个流水线步骤组成了一个完整的模型生产流水线。

  研究人员表示,通过步骤的流水化封装和管理,可以使模型开发和部署更加高效和易用,从而帮助开发者们创建机器学习领域的“生产流水线”,把人工智能模型快速地部署到各类实际应用场景,实现模型成果的快速转化,创造人工智能的社会和商业价值。

新型研发机构搭建全球化科研网络

  “Skymind的人工智能算法工程师们想知道神经网络是如何工作的,并应用到之后的算法开发中去,我们的其他项目参与研究团队在神经网络模型、智能芯片、整机研制等方面具有特长。”张江实验室脑与智能科技研究院院长、上海脑科学与类脑研究中心执行主任、中国科学院院士张旭说,“这恰恰是张江脑智院和上海脑中心的科研方向,也是我们有足够号召力吸引Skymind来上海成立联合实验室的原因。”

  在他看来,科研国际化的难度要高于经济全球化,“经济上引入跨国企业,引入投资就可以。但科研上,人家要跟你合作,你这里必须要有真真切切研究,并能与人家产生重要的联系。”

  “Skymind拥有一个全球化的科研网络,来自美国、德国、澳大利亚、加拿大、日本、中国等世界各地的成百上千名研究人员共同开发人工智能领域新技术。其中的核心人物都是产业界赫赫有名的领军人物。”张旭说,“这样的国际化新型研发机构模式值得上海借鉴,也是上海建设全球科创中心需要探索的道路。软脑联合实验室将通过全球化科研网络,在科研上走通国际化道路。”