OpenKS知目开源取得突破,百度飞桨提供底层技术支持

4月24日,浙江大学召开OpenKS(知目)知识计算引擎开源项目发布会,宣布浙大与合作单位研发的OpenKS知识计算引擎取得重大进展。中国工程院院士、国家新一代人工智能战略咨询委员会组长、浙江大学计算机学院教授潘云鹤表示,OpenKS作为知识计算引擎项目中的基础软件架构,定义并丰富了知识计算的内涵,是我国在大数据人工智能方向的又一次有益尝试。

(浙江大学OpenKS“知目”知识计算引擎开源项目发布会)

该项目由浙江大学牵头,联合北京大学、北京航空航天大学、哈尔滨工业大学、西北工业大学、之江实验室等顶尖学术机构、百度等行业领军企业联合建设,旨在建立一整套可服务于知识密集型行业共性需求的知识计算工具、算法与系统,帮助这些行业快速地构建行业知识图谱,提供行业相关的智能规划与决策支持。

由于构建知识计算需要面临海量数据,庞大算力和复杂模型算法等诸多挑战,OpenKS直接基于百度飞桨深度学习框架进行建设,在降低研发门槛的同时还节约了大量时间。在百度飞桨的助力下,OpenKS可实现模型的大规模分布式训练与图计算,解决了从数据到知识,从知识到决策的三大问题。

OpenKS基于百度飞桨实现模型的大规模分布式训练与图计算)

从细节来看,OpenKS的构建使用了飞桨超大规模深度学习模型训练技术,支持百亿图谱分布式存储和检索,还支持百节点数据并行训练万亿稀疏参数,进而学习大规模的知识图谱。针对诸如知识问答、知识推荐等知识图谱的具体应用,OpenKS还采用了飞桨集合通信多机多卡训练、引入纯GPU参数服务器来提升稀疏模型的计算性能,不仅节约成本,还保障了集群的稳定性和扩展性。

面对图学习算法通用性与性能兼顾的挑战,OpenKS则以飞桨图学习PGL作为知识表示学习以及知识存储的重要模块之一。一方面采用PGL的大规模分布式异构图引擎,进行知识表征学习的在线服务,支撑日益增长的知识关系;另一方面集成PGL的多种图表征学习算法,同时采用了PGL的高效消息传递接口,保证知识图谱的先进性。

(百度飞桨开源深度学习平台)

最终,OpenKS得以向各机构研发人员提供一系列知识学习与计算的多层级接口标准,及时提供算力、算法支撑,以缩短各个行业的智能化改造时间。目前OpenKS已基本支持知识学习与计算全流程主要任务,涉及非结构化数据集与知识图谱载入、多模态数据知识抽取、知识表征、分布式知识学习与计算、知识服务与智能应用等环节模块。

随着新一代人工智能技术进步,知识图谱技术作为人工智能领域最重要的知识表示方式,已成为研究热点。从全社会来看,众多知识密集型行业,如金融风控、智慧城市、工程教育等均有着从海量数据中构建知识图谱并基于此进行快速决策的共性需求,而浙大与合作单位研发的OpenKS知识计算引擎取得重大进展,有望为高校科研探索及各行各业的“智变”提供充沛动力。

(0)
上一篇 2021年4月28日 18:01
下一篇 2021年4月28日 18:47