Pine 发自 凹非寺 量子位 | 公众号 QbitAI 输入一段台词，让照片＂演戏＂又进阶了！ 这次的AI直接让＂演技＂整体上了一个台阶，表演生气、开心、可怜……各种情绪都不在话下。 并且，口型、眼神、头部动作也都让这个AI狠狠拿捏住了！ 甚至还能调节喜怒哀乐的程度。 这是英伟达最新推出的一款AI，名为SPACEx （此SPACEx非马斯克的SpaceX） ，全称是可控表达的语音驱动肖像动画（Speech-driven Portrait Animation with Controllable Expression） 。 其实，在英伟达推出SPACEx之前，已经有不少语音驱动照片的AI问世，那相较于之前那些AI，SPACEx有什么优势呢？人脸动作更稳定，更注重细节 此前，最常使用的语音驱动照片的AI主要有三个：PC-AVS、MakeItTalk和Wav2Lip。 但这三个AI都或多或少有些缺陷之处，并且要么只能对口型，要么就只是整体面部控制的比较好，多个功能往往不能兼顾。 先来说说PC-AVS，它在对图像和语音进行处理时，会对输入图像进行严格的剪裁，甚至还会改变姿势，此外，生成的人脸动作很不稳定。 而MakeItTalk，在对口型方面效果不是很好，有时候生成的视频中还会出现空白的地方。 Wav2Lip的功能则比较单一，它主要是配音AI，只改变唇部的动作，唇部之外的面部表情毫无变化。 而这些问题，在SPACEx身上通通都被解决掉了，话不多说，直接看看它们之间的效果对比！ 可以看出，无论是细节的口型、眼神，还是整体的面部动作，SPACEx都会更加自然一些。 而细分到各个具体的功能，SPACEx都集成了哪些功能呢？ 下面这个表格给出了答案，情绪控制、标记面部landmark、头部转动和动作生成，SPACEx都能很好地兼顾，不会像以往的模型顾此失彼。 值得注意的是，SPACEx生成视频的质量也整体上升了一个台阶，以往同类型的AI最高只能达到384的分辨率，而SPACEx这次已经达到了512X512。 兼顾这么多功能还能生成高质量视频，SPACEx又是怎样做到的呢？具体原理 其中，很大一部分功劳是face-vid2vid贡献的，它是英伟达两年前公布的一个AI算法。 它不仅能压缩视频的流量，还能保证视频的画质。 并且，face-vid2vid还能让视频中的人物随意扭头。 不过它要求输入的是一个视频，而SPACEx则是一个图片，它俩又是怎么关联到一起的？ 这得从SPACEx生成视频的过程来看，主要分三个阶段。 第一个阶段可以概括为Speech2Landmarks ，即从输入的语音中来预测各个音节所对应的标准面部landmarks。 在预测的过程中，还会插入对应的情绪标签。 预测好面部landmarks后，来到第二步：Landmarks2Latents ，输入各个图像的face-vid2vid关键点，以控制整个面部表情。 然后将这些关键点对应到上一步输出的标准面部landmarks上。 最后一步便能通过face-vid2vid生成器来生成视频了。 话说回来，当然SPACEx也不是个全能选手，当输入有较大的头部旋转时，现有的方法表现就不是很好了。 不过还是值得一试的，感兴趣可以戳下文链接～ 论文地址： https://arxiv.org/pdf/2211.09809.pdf 参考链接： https://deepimagination.cc/SPACEx/ — 完 — 量子位 QbitAI · 头条号签约 关注我们，第一时间获知前沿科技动态
广西上百只野猴游泳过江，事出反常必有妖，是动物在预示灾难吗？9月17日，在广西龙虎山风景区内，不少游客都拍到了令人不解的一幕只见上百只猴子，竟然纷纷从树上岸边跳入江水中，一个接一个排着队，向对岸游过去。相关视频发布到网络上后，很快就引起了网山西运城解州关帝庙馆藏文物展开展9月22日，在山西省第八次旅游发展大会暨第33届关公文化旅游节举办期间，关公馆藏文物展在运城解州关帝庙崇圣祠举办。本次展览设在崇圣祠的主殿和偏殿，主殿以天下崇祀为主题，展示崇圣祠的汾阳赵家庄社区柿子树上挂灯笼秋高气爽硕果香，又是一年柿子红。金秋时节，文峰街道赵家庄社区火红的柿子挂满枝头，在秋日美景的映衬下，柿子像盏盏灯笼，在秋风中摇曳招展。行走在社区田间，丰硕的柿子树给两旁的道路增添了报告显示即兴度假渐成国庆假期新趋势今年国庆假期，多地倡导就地过节。美团平台上，景区酒店玩乐餐饮等本地消费业态搜索热度大涨。相比以往提前1周甚至半个月制订出游计划，这个假期人们更倾向于在出游前3天内甚至当天寻找本地周我的城市我的河世界上最大的内陆河是东欧的伏尔加河，全长三千六百多公里，也是欧洲第一长河中国第一大内陆河是新疆塔里木河，全长两千五百多公里，滋润着塔克拉玛干沙漠周围辽阔的土地，阻止着沙漠肆无忌惮地疗养野趣轻奢全国最高端13家房车露营营地近日，第三批全国自驾车旅居车营地质量等级认定工作启动。国家文化和旅游局发布的自驾车旅居车营地质量等级划分，对于完善自驾游配套设施引导旅居车营地建设具有重要意义。全国上榜的13家5C西安回民街的历史追溯提到西安回民街，大家第一反应是美食一条街，几乎汇聚了西安所有知名的清真美食。来西安旅游的人都会去回民街逛一逛，吃吃小吃，看看街景，体验体验网红美食街。回民街航拍对回民街美食的文章数安徽人游安徽国庆指南假期来黟县最新玩法，值得收藏！国庆将至趁着小长假去旅行吧风景可以治愈人的心灵当生活总被各种琐事填满内心总是闷闷不乐的时候你是不是该出去走走了趁着阳光正好，微风不燥关键是秋天太适合玩了来一场说走就走的旅行吧欢度国本地游和周边游将成为假期出行主流各地采取多种措施满足群众需求央视网消息还有两天就到国庆假期了，购物旅游餐饮等消费又将迎来传统的旺季。今年的国庆假期，本地游和周边游是出行的主流。各地在做好疫情防控的同时，采取多种措施，满足群众的出行旅游需求。国庆节，来滨江公园感受黑科技湖北日报讯（记者郑岚通讯员杨明东）国庆将至，游玩宜昌滨江公园再添一处新去处。近日完成安装的滨江公园市政府段路面3D投影互动系统投入使用，一步一景，让市民行走其间再添新乐趣。水波纹荷国庆节，祖国的生日举国欢庆的节日，国庆节即将到来。1949年10月1日，中华人民共和国中央人民政府成立，开启历史新的篇章。今年是第73个国庆节，即祖国成立73周年。国庆节即将到来，大街小巷挂起了国旗