1. 首页
  2. 游戏

网易推出超大模型推理引擎EET:超速响应 3秒创作一首歌词

近日,网易旗下AI研究与应用机构网易伏羲推出新一代Transformer推理引擎Easy and Efficient Transformer(简称:EET引擎)。该引擎具有可扩展、性能高、易使用等特点,能够在自然语言处理和多模态领域,有效提升Transformed-based超大模型的推理效率,让AI算法产生更大的社会价值,助力中国在超大模型生态研发领域领先全球。

目前,EET引擎已经应用在网易云音乐、Lofter,以及《逆水寒》、《天谕》等游戏中,在情境对话、语义判别、故事生成、AI作词、AI作曲等场景中发挥效能。

近年来,国内外掀起了对Transformed-based超大模型的研发热潮。Google、OpenAI、华为、微软、NVIDIA等AI巨头纷纷投身其中,在多个领域展开“军备竞赛”。然而,超大模型庞大的参数量带来了巨大的计算压力,处在高速发展期的超大模型生态,急需好用、高效、具有扩展性的推理引擎,来助推工程落地。

而技术应用,正是网易伏羲的重点研究方向。据悉,此次推出的EET引擎相当于在超大模型和应用场景之间搭建了一座桥梁,把超大模型的算法成果运用到实际业务中,有效降低响应时间、增强用户体验、提高吞吐量、缓解线上部署压力。

在应用中,EET引擎主要解决两个问题:首先,针对AI线上服务的延迟问题,EET引擎可以在更短的时间内响应用户,提升用户体验。

举例来说,在网易伏羲研发的AI写歌产品中,用户可以通过设定关键词、韵脚、词格、段落属性等信息参数,在AI技术的帮助下,迅速创作一首歌词。由于其中涉及到海量参数的计算,一首歌词的创作大约需要20秒的时间。应用EET引擎的之后,同样一首歌词的创作时间被缩短到了3~4秒,用户体验大大提升。

第二,EET引擎还能降低硬件成本,提升线上模型的吞吐量。简单来说,假如完成一项计算任务需要部署10台服务器,在应用EET引擎之后,只需要2台服务器就能完成相同的任务。

与同类推理引擎相比,EET引擎的加速效果表现出色。在一组与字节跳动推理引擎LightSeq的比较实验中,EET引擎的加速效果在小规模情况下比LightSeq高0.819到1.64倍;在中等模型情况下,EET引擎的加速效果比LightSeq高1.46到2.9倍。


EET在小模型(hidden_units=768, sequence_length=769)的情况下与LightSeq进行比较

EET在中等模型(hidden_units=1024, sequence_length=1024)的情况下与LightSeq进行比较

目前,超大模型的规模已经发展到千亿级别,正在向万亿规模进发。网易伏羲也将进一步优化EET引擎,未来将支持千亿、乃至万亿规模的超大模型,为前沿技术发展和应用提供动力。

网易伏羲成立于2017年,是国内专业从事游戏和泛娱乐产业人工智能研究和应用的顶尖机构。网易伏羲的研究方向包括强化学习、图像动画、自然语言、虚拟人、用户画像、大数据平台、云计算平台、云游戏等领域。在为网易众多产品提供高质量和前沿AI技术的同时,网易伏羲正在进一步把AI技术和产品开放给更多合作伙伴,全面释放创作者的生产力,革新用户体验。