1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

搜狗-清华天工研究院提出ChoreoNet模型:让数字人闻声起舞

 2020-08-22 08:42  来源:A5专栏  我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

近日,搜狗分身技术团队联合清华大学天工智能计算研究院贾珈老师团队共同发表的数字人技术论文《ChoreoNet:基于舞蹈动作单元的音乐-舞蹈合成框架》被2020国际顶级盛会ACM Multimedia录用为长文。

(截图来源:ACM Multimedia官网https://2020.acmmm.org)

ACM Multimedia专注于推进多种媒体的研究与应用,涉及人工智能、计算视觉、数据科学、深度学习、人机交互等多个新兴领域,是中国计算机学会推荐的多媒体领域唯一A类国际学术会议,被认为是多媒体技术领域奥运级别的盛会。虽然鼓励来自全球的各类机构分享、交流最新研究成果,但该会议论文接受率很低,只有对日常生活和技术突破具有巨大影响潜力的研究项目才会被通过。

“攻克难关”备受认可

音乐和舞蹈是与人们生活密不可分且高度相关的两种艺术形式,近年来,“乐舞合成”也是业内高度关注的领域。不过,早期合成基于相似度检索进行,合成结果的多样性有限,而目前通行的方法是利用神经网络模型,将音乐特征映射到人体骨骼关键点,但由于人类骨架关键点的高度冗余和带噪特性,逐帧关键点预测非常困难,导致合成质量有限,成为困扰业内人士的一大“难关”。

搜狗分身技术团队与清华天工研究院贾珈老师团队在论文中提出了一个极具创造性的解决方案,该方案将人类编舞知识融合到乐舞合成框架中,设计多个舞蹈单元(CAU),并使用CAU序列预测模型,开发了一个像人类一样根据音乐编排舞蹈动作的舞蹈合成框架——ChoreoNet。通过实验验证和数据对比,相较于基线法,ChoreoNet性能更好,合成动作也更加自然逼真,无论是音乐匹配度、动作自然度还是其他方面,表现都更加优秀。

(截图来源:ChoreoNet论文)

此次,该论文被ACM Multimedia认可并录取为长文,不仅代表了搜狗AI分身技术在身体动作及姿态生成方面的突破,也从侧面印证了搜狗强大的AI技术实力和能够实现持续输出的创新能力。值得注意的是,搜狗是在业内率先选择通过音频来驱动身体动作作为研究课题的先行者。

“死磕技术”引领方向

在搜狗的AI战略版图中,“自然交互+知识计算”是核心方向,技术研究和推动技术向产品的快速转化均以此为基础和方向,而搜狗“分身”是其中关键和重要一环。

在2018年发布全球首个AI合成主播之后,搜狗分身持续研究并打造更加逼真自然的数字人能力,在2D/3D数字人领域构建了音画同步、逼真的面部表情唇动生成及驱动能力。此外,如何能够让数字人更加自然并且富有表现力也是搜狗分身的重点研究方向,其中身体动作以及姿态的表达至关重要。搜狗在首代AI合成主播问世后不到3个月的时间,便成功推出与“坐播”截然不同的“站播”合成主播,今年5月推出的3D AI合成主播不止面部细节经得起高清镜头考验,更是实现了自如行走。本次与清华大学天工智能计算研究院的工作选择了音乐场景,重点研究如何提升身体动作生成及驱动的表现力和自然度,为AI数字人的技术探索开启了新方向。

“未来应用”前景广阔

人工智能是未来科技的风向标,而5G时代的到来又大大加速了这一进程。自2018年搜狗推出全球首个AI合成主播之后,能够与普通人的生活深度交融并广泛运用于各行各业的“AI分身”便深受关注,不少科技企业躬身入局。

从上文可以看出,搜狗从未停下突破的步伐,从2D到3D、“坐播”到“站播”、从支持单一语种到支持多语种、再到支持互动。目前搜狗分身技术已经在司法、传媒、会展、艺术、金融客服等多个场地落地,为新华社、央视、平安惠普、北京互联网法院等打造了多个AI合成主播、AI合成客服、AI虚拟法官等,也创造了雅妮、新小微、新小浩、新小萌等多个经典AI数字人形象。

由音频驱动的数字人或数字舞蹈演员,拥有巨大的想象空间和市场化应用前景。特别是与搜狗现有3D数字人的技术相结合后,使用场景可以从目前集中的传媒、金融、法律等领域向影视、娱乐领域进军,搅动万亿规模的市场。

AI为人赋能,这是搜狗人工智能的发展理念,也是搜狗分身技术的愿景。作为一项既能解决行业痛点,又能为用户创造价值,既能给社会带来变革、又能对科技产生影响,同时还能持续突破和进步的前沿技术,搜狗分身的未来,无疑具备更多的可能性、极大的想象空间。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
人工智能
ai技术

相关文章

  • IoT开发者为王,涂鸦智能硬核“靠边站”

    IoT盛宴:涂鸦向下,产品向上

    标签:
    人工智能
  • IPO观察丨黑芝麻智能递表港交所,车芯行业已迈向量产决战期?

    虽然我国汽车芯片行业还处在发展初期,但已经迸发出无限潜力。一方面,智能汽车的发展不断带动需求增长;另一方面,政策引导下,汽车芯片企业持续抢占高地。对此,在7月5日-7日举办的2023年中国汽车论坛上,中国汽车工业协会副秘书长李邵华就做出表示,“中国将成为未来汽车芯片发展的集聚地”。车规芯片行业近日的

    标签:
    人工智能
  • 汇聚中国AI顶尖力量 云天励飞参与华为AI大模型联合创新

    2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队

    标签:
    ai技术
  • 用友大易:迈入AI招聘2.0时代,让人力资源回归本质

    这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特

    标签:
    ai技术
  • 新发布的PaaS2.0,能否助力涂鸦智能再起飞?

    文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定

    标签:
    ai技术
  • 库克已纳投名状:苹果AI没得选,只能选百度

    苹果16弄了两个版本,一个是专门给中国人用的,准备用百度的AI,还要交钱。第二个是全世界都可以用的,用了ChatGPT,包括台湾、香港、澳门都可以用。以后都这样了。好,问题就出在这,苹果和百度的合作出现问题了,新闻连起来看,才能明白其中含义。新闻一:苹果正在和腾讯、字节初步接洽,考虑将二者的AI模型

  • AI加速时代的“进度条”,我们拨动了百分之几?

    “技术日新月异,人类生活方式正在快速转变,这一切给人类历史带来了一系列不可思议的奇点。我们曾经熟悉的一切,都开始变得陌生。”计算机之父约翰·冯·诺依曼曾这样说到。

    标签:
    ai智能
  • AI视频赛道,要变天了

    “毁灭你,与你何干?”,这是在刘慈欣的科幻小说《三体》里用来形容人类与三体人之间的战争的一句话。

    标签:
    ai智能
  • “创造市场”与“算法进化”,中美AI竞速的岔路口

    “人工智能的商业模式,是要创造一个市场,而非一个算法”。这是世界AI泰斗MichaelI.Jordan的观点。而当前的全球AI市场,占据主导地位的中美双方,却也走出了两条截然不同的技术路径,前者执着于前沿技术的探索,后者则发力应用优化和商业化落地。南辕北辙的两个方向,或许已经无法直接进行排位先后、优

    标签:
    ai智能
  • 智能体进化发展了一年,现在的RPA Agent迭代到什么程度了?

    智能体进化发展了一年,现在的RPAAgent迭代到什么程度了?从实在智能最新发布的实在Agent7.0,看RPAAgent的迭代升级抓取豆瓣信息、自己制作PPT,这款AIAgent真的实现了流程全自动化AIAgent构建到执行全自动化,持续进化RPAAgent再次降低智能体应用门槛实在智能重磅发布实

  • 崔大宝:大模型降温背后的难点、卡点、节点

    崔大宝|节点财经创始人进入2024年,大模型似乎有熄火之势:资本市场,与之关联的概念炒不动了,英伟达股价动辄暴跌重挫,引发“泡沫戳破”的担忧;消费市场,BATH们的推新活动少了,产品更新迭代的速度慢了,民众的关注度降了……热闹的大概只剩下两场酣仗:自5月15日字节跳动宣布“以厘计费”,打响国内大模型

    标签:
    大模型
  • 这一届“出道”的数字人,已经拿捧上了“铁饭碗”

    文|智能相对论作者|陈泊丞好消息!你心心念念的事业单位发录取公告了!坏消息!他们没录你,录了个数字人。图片来源网络随着数字人技术的突破,越来越多的传统企业和机构开始用上了“数字员工”。甚至很多中国人心心念念的“铁饭碗”,也被这些数字人给捧上了。数字人捧上了“铁饭碗”简单翻看一下全国各地事业单位的“录

    标签:
    数字人
  • 来到IPO关口,地平线离“三分天下”还有多远?

    黑芝麻智能敲钟后,港交所门口又有一些智驾芯片企业引发关注。据悉,近日地平线已通过中国证监会IPO备案,拟发行不超过11.5亿股境外上市普通股并在香港联合交易所上市,预计筹集约5亿美元资金。从天眼查可以了解到,该公司成立于2015年,是一家乘用车高级辅助驾驶(ADAS)和高阶自动驾驶(AD)解决方案供

  • 机器人大会引领产业动向,卓翼飞思绘制无人系统教科研新蓝图

    8月21日,万众瞩目的2024世界机器人大会暨博览会在北京亦创国际会展中心盛大开幕。这场为期5天,集“展览”“论坛”“赛事”于一体的机器人盛会,反映了当下机器人领域的繁荣生态。据官方统计数据,今年现场逛展观众高达25万人次,比去年增加25%。机器人行业有多火?看看2024世界机器人大会火爆程度便可知