羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 你有没有看过油管很火的外国小姐姐模仿游戏NPC 视频？ △来自YouTube@Loczniki official 这僵硬的姿势、空洞的眼神、面瘫的表情，让游戏玩家们直呼DNA动了！ 如果你也苦于此很久了，现在，网易的一项新技术将轻松改变这一局面： 只需一段语音，AI就能自动生成3D对话动作 ，效果甚至超越真人 ！ 不仅能按角色的性别、说话的习惯和姿态，合成不同风格的动作，还可自由替换或指定待定动作。 △左图为男性，右图是女性 目前，该技术已在语音合成手势动作领域的权威赛事GENEA 2022上斩获第一，并被ICMI 2022收录。效果超越真人的新技术 在此之前，业界最常用的语音合成对话动作技术是StyleGestures。 该技术由美国艺电（Electronic Arts） 推出，曾在2年前的第一届GENEA 2020中取得第一。 但与真实动捕数据相比，StyleGestures合成的动作仍有明显的机械感，且缺少可控性，不同的语音合成效果很随机，有种碰运气的感觉。 为了解决这两个问题，网易的新技术分为离线的数据库构建 和在线的语音驱动动作合成 两个模块进行。 数据库构建 GENEA 2022主办方发布的18小时数据集中，包括不同说话人的语音、文本和对应的全身动作。 由于没有经过人工的清洗和处理，导致动作数据中有很大一部分的动作质量较差。 因此，研究人员需要先对此进行预处理 ：舍弃动作质量较差的数据、完善不带手指旋转信息的动作、再通过左右对称的方式生成更多的数据集。 其次，根据说话文本单词之间的时间间隔，将连续的文本切分为短片段 。 并且针对时长小于1s的连续动作进行合并，对左右半身的动作进行镜像扩充，最终得到约6000个全身动作片段，以及时长范围从1s的短句到超过10s的长句。 接下来是对动作节奏和语音节奏进行自动标注 。 动作方面，说话人每做出一个变化的手势，就对应于一个节奏变化的时间点，简单来说就是特定单词重音时需要手势进行一次变化，即手势有一个明显的速度变化的过程。 因此通过计算双手速度的极小值，把每个极小值的时间点作为节奏的时间点，最后每个动作片段的节奏可以表示为长度为32位的0-1向量，1表示手势动作变化的时间点。 语音方面，根据语音对应文本中的每个单词时间点信息，同样可以得到语音对应的节奏。 如下图所示， 每个语音片段的节奏可以表示为长度为32位的0-1向量，1表示单词出现的时间点。 最后，在对每个动作片段建立动作节奏后， 还需要建立动作图 。 动作图是一个有向图，图中的每个节点表示一个动作片段，两个节点之间的连边则表示这两个动作之间过渡的代价。 过渡代价越小，也就意味着两个动作之间的过渡越自然，这一步可以帮助将离散的动作片段合并为长的平滑过渡的全身动作序列。 语音驱动动作合成 在离线建立动作库之后， 就可以输入任意一段语音和对应的文本进行在线合成。 在对语音和文本进行算法自动切分后，利用训练后的StyleGestures这一概率生成式的神经网络模型，生成期望的动作。 其中，上半身的动作最为重要，研究人员利用动态规划算法，从构建的动作图中搜索动作节奏和动作风格嵌入匹配误差最小的动作序列，同时保证前后动作的过渡代价小、过渡自然，最后输出一个节奏匹配的上半身动作序列。 下半身动作的合成则不用考虑节奏，只考虑下半身动作之间过渡的自然性即可，同样经过图优化得到一个下半身动作序列。 最后，采用混合的方式融合上下半身动作，就得到了和语音文本匹配的全身动作序列。 与其他参赛系统相比，网易的新方法在在人类相似性评估中取得了最高的中位数分数，甚至超越了真实人类水平。 在适当性评价中，该方法在上半身表现中排名第一，在全身表现中排名第二。 研究团队 研究团队来自网易互娱AI Lab，作者共三人。 研究人员指出，这项新技术不仅可用于游戏中，虚拟角色线上演讲、数字人动作动画合成、元宇宙形象等等场景也都能使用。 论文链接附在文末，感兴趣的小伙伴可以自取～ 论文链接： https://dl.acm.org/doi/pdf/10.1145/3536221.3558063 — 完 — 量子位 QbitAI · 头条号签约 关注我们，第一时间获知前沿科技动态
适合学生开学入手的5款神机都是同价位性能旗舰买哪个都不亏正值开学季，很多小伙伴都要入手一款在大学期间兼顾，打游戏刷视频拍美照的新机，今天小Y就为大家整理了五款性能颜值都在线，特别适合学生党入手的神机，排名不分先后，根据自己的预算选择，入如何评价近代史上文明离婚的第一个女人徐志摩之妻张幼仪？很多年前一部人间四月天让观众认识了著名诗人徐志摩，也接触到这位早逝诗人与张幼仪陆小曼林徽因之间爱恨纠葛。其中徐志摩的发妻张幼仪，作为近代史上文明离婚的第一个女人，因为徐志摩的一句还全球常见的地震带分布，以及定义标准，四川正好站在风口浪尖上地球内部有一种推动地壳岩层的应力，当此应力超过了岩层所能承受的强度，使得岩层破裂，快速地发生相对移动，瞬间释放出巨大的能量而产生一种像钢片反弹发生的弹性波，经由地球内部向各方扩散，为新机让路降价2200元，128GB双模5GIP68防水，苹果5G售价亲民大家好，我是唐三，随着手机数码行业的高速发展，华米OV四大厂商几乎各个价位段的手机都有涉猎，各种走量的千元机中端机竞争非常激烈，但获得消费者一致认可的高端旗舰机，除了华为Mate系取代中国供应链？越南更像补充来源环球时报环球时报报道记者赵觉珵环球时报驻越南特约记者允煦外媒近日称，苹果公司计划首次在越南生产智能手表AppleWatch和笔记本电脑MacBook。此前，韩国三星也宣布将在越元宇宙房地产量价猛跌警惕泡沫背后的欺骗性本报记者秦枭北京报道就在现实中的房地产行业陷入低迷之时，元宇宙世界的房地产也是举步维艰。随着元宇宙与加密货币在2021年迅速走红，各行各业纷纷进军元宇宙，元宇宙房地产交易也愈发火爆广东智能网联汽车零部件产业明确三大发展方向近日，广东省政府制定实施了稳工业13系列增量政策。其中，1是指进一步促进工业经济平稳增长的若干政策措施，3是指广东省汽车零部件产业强链工程实施方案广东省硅能源产业发展行动计划（20为什么现在很少提克隆了？克隆羊多莉的一生给出答案，太惨了在四大名著中，吴承恩的西游记以其天马行空的想象力而独树一帜，书中随便找出一段情节都令人拍案叫绝，比如孙悟空经常在紧要关头拔出一把猴毛变出一大群猴子，帮助自己斩妖除魔。这些猴子不仅长中国企业新品亮相2022年柏林国际电子消费展中新社柏林9月5日电（记者马秀秀）2022年柏林国际电子消费品展览会（IFA展）正在举行。期间，多家中国企业携新产品和技术应用亮相，冀进一步做好本土化经营，谋求深度合作与发展。其间新型诈骗层出不穷，预防和整治缺一不可作者宏丹8月31日，中国互联网络信息中心（CNNIC）在京发布第50次中国互联网络发展状况统计报告。报告显示，截至2022年6月我国网民规模为10。51亿，互联网普及率达74。4，一百块入手小米电视，除了屏幕小点，没有一点违和感2019年，小米曾推出过一款小爱触屏音箱，当时的价格也不贵才299元。但是这款产品的系统非常封闭，似乎早就被小米放弃了，如今二手小爱触屏音箱只要一百来块。但你怎么都想不到，就是这么