近日,搜狗分身技术团队联合清华大学天工智能计算研究院贾珈老师团队共同发表的数字人技术论文《ChoreoNet:基于舞蹈动作单元的音乐-舞蹈合成框架》被2020国际顶级盛会ACM Multimedia录用为长文。
(截图来源:ACM Multimedia官网https://2020.acmmm.org)
ACM Multimedia专注于推进多种媒体的研究与应用,涉及人工智能、计算视觉、数据科学、深度学习、人机交互等多个新兴领域,是中国计算机学会推荐的多媒体领域唯一A类国际学术会议,被认为是多媒体技术领域奥运级别的盛会。虽然鼓励来自全球的各类机构分享、交流最新研究成果,但该会议论文接受率很低,只有对日常生活和技术突破具有巨大影响潜力的研究项目才会被通过。
“攻克难关”备受认可
音乐和舞蹈是与人们生活密不可分且高度相关的两种艺术形式,近年来,“乐舞合成”也是业内高度关注的领域。不过,早期合成基于相似度检索进行,合成结果的多样性有限,而目前通行的方法是利用神经网络模型,将音乐特征映射到人体骨骼关键点,但由于人类骨架关键点的高度冗余和带噪特性,逐帧关键点预测非常困难,导致合成质量有限,成为困扰业内人士的一大“难关”。
搜狗分身技术团队与清华天工研究院贾珈老师团队在论文中提出了一个极具创造性的解决方案,该方案将人类编舞知识融合到乐舞合成框架中,设计多个舞蹈单元(CAU),并使用CAU序列预测模型,开发了一个像人类一样根据音乐编排舞蹈动作的舞蹈合成框架——ChoreoNet。通过实验验证和数据对比,相较于基线法,ChoreoNet性能更好,合成动作也更加自然逼真,无论是音乐匹配度、动作自然度还是其他方面,表现都更加优秀。
(截图来源:ChoreoNet论文)
此次,该论文被ACM Multimedia认可并录取为长文,不仅代表了搜狗AI分身技术在身体动作及姿态生成方面的突破,也从侧面印证了搜狗强大的AI技术实力和能够实现持续输出的创新能力。值得注意的是,搜狗是在业内率先选择通过音频来驱动身体动作作为研究课题的先行者。
“死磕技术”引领方向
在搜狗的AI战略版图中,“自然交互+知识计算”是核心方向,技术研究和推动技术向产品的快速转化均以此为基础和方向,而搜狗“分身”是其中关键和重要一环。
在2018年发布全球首个AI合成主播之后,搜狗分身持续研究并打造更加逼真自然的数字人能力,在2D/3D数字人领域构建了音画同步、逼真的面部表情唇动生成及驱动能力。此外,如何能够让数字人更加自然并且富有表现力也是搜狗分身的重点研究方向,其中身体动作以及姿态的表达至关重要。搜狗在首代AI合成主播问世后不到3个月的时间,便成功推出与“坐播”截然不同的“站播”合成主播,今年5月推出的3D AI合成主播不止面部细节经得起高清镜头考验,更是实现了自如行走。本次与清华大学天工智能计算研究院的工作选择了音乐场景,重点研究如何提升身体动作生成及驱动的表现力和自然度,为AI数字人的技术探索开启了新方向。
“未来应用”前景广阔
人工智能是未来科技的风向标,而5G时代的到来又大大加速了这一进程。自2018年搜狗推出全球首个AI合成主播之后,能够与普通人的生活深度交融并广泛运用于各行各业的“AI分身”便深受关注,不少科技企业躬身入局。
从上文可以看出,搜狗从未停下突破的步伐,从2D到3D、“坐播”到“站播”、从支持单一语种到支持多语种、再到支持互动。目前搜狗分身技术已经在司法、传媒、会展、艺术、金融客服等多个场地落地,为新华社、央视、平安惠普、北京互联网法院等打造了多个AI合成主播、AI合成客服、AI虚拟法官等,也创造了雅妮、新小微、新小浩、新小萌等多个经典AI数字人形象。
由音频驱动的数字人或数字舞蹈演员,拥有巨大的想象空间和市场化应用前景。特别是与搜狗现有3D数字人的技术相结合后,使用场景可以从目前集中的传媒、金融、法律等领域向影视、娱乐领域进军,搅动万亿规模的市场。
AI为人赋能,这是搜狗人工智能的发展理念,也是搜狗分身技术的愿景。作为一项既能解决行业痛点,又能为用户创造价值,既能给社会带来变革、又能对科技产生影响,同时还能持续突破和进步的前沿技术,搜狗分身的未来,无疑具备更多的可能性、极大的想象空间。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
虽然我国汽车芯片行业还处在发展初期,但已经迸发出无限潜力。一方面,智能汽车的发展不断带动需求增长;另一方面,政策引导下,汽车芯片企业持续抢占高地。对此,在7月5日-7日举办的2023年中国汽车论坛上,中国汽车工业协会副秘书长李邵华就做出表示,“中国将成为未来汽车芯片发展的集聚地”。车规芯片行业近日的
2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队
这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特
文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定
2025国际人工智能程序设计精英挑战赛(IAEPC)在香港中文大学成功举办。作为主办方之一,欧美同学基金会理事长李军接受了大赛主持人艾诚采访。在采访中,李军认为IAEPC不仅是一场“冠军中的冠军”对决,更是一次全球AI人才的线下交流盛会。大赛“史无前例”的吸引了全球青年科技精英汇聚香港,更加推动和普
2025国际人工智能程序设计精英挑战赛(IAEPC)在香港中文大学成功举办。作为大赛发起人方之一及裁判委员会负责人,施韩原与杜瑜皓接受了大赛主持人艾诚采访。裁判委员会主席施韩原分享了此次大赛的亮点,IAEPC首次引入创新赛道,探索选手如何与AI合作进行答题。裁判委员会副主席杜瑜皓认为,选手最终目标并
2025国际人工智能程序设计精英挑战赛(IAEPC)在香港中文大学成功举办。来自深圳的学生吴林林作为主办方记者团成员,采访了大赛冠军选手之一。在吴林林的采访中,选手认为与来自全球的参赛者交流是自己学到的最重要的一课。在科技与AI之前,选手们可以平等、开放、友好的交流。以下是采访实录(有删节):吴林林
2025国际人工智能程序设计精英挑战赛(IAEPC)在香港中文大学成功举办。来自深圳的学生吴林林作为主办方记者团成员,采访了大会嘉宾:全国政协委员、香港特别行政区立法会议员、香港中文大学工程学院副院长、IAEPC联合发起人黄锦辉先生。在吴林林的采访中,黄锦辉教授勉励年轻人要像懂中文和英语一样懂AI,
昨天新出了一个AI,据说比DeepSeek还牛,而截止到今早,已经有10万人在排队申请Manus邀请码了,而且它邀请码已经炒到10万了。这是北京的一家人工智能公司蝴蝶科技,创始人是一名来自华中科技大学的90后毕业生肖弘,突然向全球宣布:世界上第一款真正的人工智能、通用智能体产品出现了,名叫Manus
谣言肆虐,擦亮眼睛
苹果16弄了两个版本,一个是专门给中国人用的,准备用百度的AI,还要交钱。第二个是全世界都可以用的,用了ChatGPT,包括台湾、香港、澳门都可以用。以后都这样了。好,问题就出在这,苹果和百度的合作出现问题了,新闻连起来看,才能明白其中含义。新闻一:苹果正在和腾讯、字节初步接洽,考虑将二者的AI模型
“技术日新月异,人类生活方式正在快速转变,这一切给人类历史带来了一系列不可思议的奇点。我们曾经熟悉的一切,都开始变得陌生。”计算机之父约翰·冯·诺依曼曾这样说到。
“人工智能的商业模式,是要创造一个市场,而非一个算法”。这是世界AI泰斗MichaelI.Jordan的观点。而当前的全球AI市场,占据主导地位的中美双方,却也走出了两条截然不同的技术路径,前者执着于前沿技术的探索,后者则发力应用优化和商业化落地。南辕北辙的两个方向,或许已经无法直接进行排位先后、优