范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

华为3D实景地图,30分钟构建超精细数字世界,达到厘米级

  机器之心专栏
  作者:黄经纬
  华为 HDC2022 发布了 3D 实景地图,可以实现任意视角下 3D 物理环境的实景渲染。
  千百年来,人类都致力于记录和解释身处的物理世界。随着计算机科学的发展,将物理世界数字化重建,不仅是长远的理想,更是千行百业努力的当下工作。真实的数字化重建三维物理环境,进而从任意视角观察重建的环境,是图形学、计算机视觉领域每个人的终极梦想,也是虚拟增强现实、元宇宙等众多未来应用的基石。
  华为 HDC2022 发布了令人震撼的 3D 实景地图,可以实现任意视角下 3D 物理环境的实景渲染。通过 2500 张照片,仅需 30 分钟就可以构建出 5 平方公里的超精细数字世界,拥有厘米级精细化建筑和真实光照还原能力。
  华为 3D 实景地图技术由毕业于斯坦福大学、现华为 2012 实验室技术专家黄经纬博士及其团队研发完成。先来看看使用实景渲染技术的室内外效果。
  1 问题背景
  从任意视角观察一个三维场景被广泛应用于游戏领域。通过美术师绘制的三维场景加以标准的 CG 渲染管线,用户可以自由的探索场景的每个角落。为了用自动化的手段得到更加真实的场景,计算机视觉从业人员致力于采集真实的物理世界的数据,用以重建一个孪生的三维场景供人预览。然而经过数十年的发展,重建模型的渲染效果仍不足以替代人工生产的场景。为了进一步改善复杂光照场景下的渲染效果,光场重建和渲染技术被提出,并在小场景下得到了惊艳的效果。近些年,神经辐射场(NeRF)的概念,可用于同时重建复杂的几何和光照。然而对于复杂的大场景,这些方案都存在一定的局限性。华为 3D 实景地图整合了各方案的优势,从而可以在复杂大场景下进行高质量的真实重建和快速渲染。
  2 相关工作的局限与机遇
  除去很多昂贵的三维重建解决方案,最接近商用的解决方案仍然是基于多视角图片的三维重建。然而,重建技术往往假设表面在各视角下拥有一致的光照,因此无法处理高光、半透明物体的重建。光场重建模型可以根据不同视角采集的光线加权来处理复杂光照,但在表面重建错误的情况下,新视角下的渲染往往存在残影。虽然神经辐射场(NeRF)技术使用复杂的模型能正确的概括真实场景,但恢复模型参数往往需要稠密采集的图片,否则就成为一个欠约束问题,在稀疏采集的大场景下新视角的泛化性尤为欠缺。
  然而,各个方案亦有他们的优势。基于多视角图片的各向同性光照假设,在大部分情况下都是实用的,基于搜索深度信息的本质使其拥有稀疏视角的高效重建并拥有很好的泛化性,能够很好的弥补光场渲染和神经辐射场渲染的不足。光场渲染可以直接从采集的光线中获取颜色,既保证真实,又无需像神经辐射场那样优化复杂的 MLP 或者球谐函数。神经辐射场作为一个全局模型,改善了传统重建融合局部重建结果无法全局优化的情况,同时引入不透明度下的体渲染增强了模型描述环境的能力。
  3 解决方案
  华为 3D 实景地图结合了各家所长,提出了显式辐射场模型,系统模块如下:
  第一阶段,系统使用传统三维重建方法对环境进行粗略构建,形成三角形网格。针对 3D 数字溪村场景,初始的几何构建能力使系统能使用 500 米高空航拍的 2500 张图片快速构建,并拥有新视角下渲染的泛化性。这个模型是粗模,虽然可以被直接用于渲染,但几何和环境光照的恢复不够真实。
  在第二阶段,粗模作为环境轮廓,被初始化为显示辐射场。其具体的表达形式是纯几何的,即在粗模表面附近显式的记录不透明度为 1,其他地方不透明度为 0。接下来,系统使用采集的图片和三维重建中获取的图片位姿进一步优化辐射场模型。具体而言,可以对于每个局部区域进行区域增长式优化不透明度,从而过滤重建粗模中的噪音,并补全模型的缺失几何。在此过程中,不同于神经辐射场对光照模型用 MLP 或球谐函数来表达,而是直接使用类似于光场渲染的采样技术,快速获得特定位置和方向上的最佳模型光照。采样中由于使用加权平均的限制,空间中没有表面的点与对应采集图片相应像素比,仍会引起较大的颜色误差。因此,可以使用 L2 损失函数调整不透明度,从而优化几何体。
  在最终阶段,辐射场模型转化为可用于渲染管线支持的网格模型。使用纹理模型进行光栅化渲染对性能尤为关键。系统将显式的辐射场模型重构回网格,并根据光场渲染压缩技术将表面光照压缩成多个纹理,用于使用着色器进行快速渲染。对于大规模场景,系统对几何进行 LOD 层次化,使模型渲染可以由粗至细加载进行。
  借此,显式辐射场技术综合百家所长,能够实现良好的视角泛化性、精细的几何和真实光照效果,并以高效的渲染效率处理大规模场景。
  4 效果展示
  显式辐射场技术,可以帮助重建的环境获取真实的渲染光照效果。
  对比传统几何重建(左),辐射场能够更好的恢复精细的桥梁结构(右)。
  同时,本技术可以恢复复杂的材质(如透明玻璃、高光桌面)效果和复杂的几何体(植物、吊灯)。
  5 挑战与未来
  虽然在技术上实现了显著突破,但其商业价值仍需时间去发掘和思考,其主要问题在于环境采集的方式。为了得到优质的环境重建,图像的采集往往需要专业人士或者专业设备来实现。例如,大规模的室外环境可以通过专业的大飞机倾斜摄影完成。航飞场景往往容易遮挡地面,对于地面应用,如高自由度的街景,仍需要地面采集的数据以避免航飞带来的遮挡问题。另外为了保证环境的高覆盖采集,地面的采集往往需要使用全景设备,也为采集带来了额外的成本而不适用于众包生产。
  从应用来看,未来最广阔的市场仍属于是广大消费者,因此,对于大规模实景地图的云渲染技术至关重要。另外,如何让实景渲染的真实场景与有价值的应用结合带来全新的用户体验,仍然是元宇宙行业需要思考的首要命题。对于 2B 场景,确实有大量的客户需要实景渲染能力,然而其所带来的价值以及生产成本的平衡,需要进一步探索,从而找到技术的真正落地点。
  6 致谢
  本技术由华为 2012 实验室技术专家黄经纬,预研算法工程师郭晓阳、时北极,三维重建工程师张彦峰,空三与采集负责人张行航等成员共同完成。更多有关 3D 数字溪村的体验可在 Petal Map 地图应用中搜索松山湖溪村进行体验。 欢迎访问技术负责人主页:https://cs.stanford.edu/~jingweih 或者通过邮件方式联系作者:jingweih@cs.stanford.edu

大学生遍地都是,而有些家长和同学不惜一切挤破头脑的上大学,大学生出路在哪里啊?谢邀!大学生遍地都是毕业出来路在何方?为什么有些家长和同学还不惜一切挤破头脑上大学?我也是一位家长从家长的角度谈谈自己的观点我也会让自家的孩子不惜一切挤破头脑上大学如孩子有异议我会北京哪些大学只招京籍生源?相对于外地的大学,在北京的大学公平多了。看看别的省市大学招收本地生源的比例后会觉得北京的大学太顾大局了都招外藉生源。但是,每所学校招生放出去的招生指标和地域是不一样的。例如,今年的为什么李佳琦作为211大学毕业生,毕业后却选择做销售顾问?你好很高兴回答你的问题。看到你提的问题突然想起这句话。人各有志,富贵在天。关于这个问题,我想应该从以下几方面来分析一下。成名之路李佳奇2011年,考入南昌大学艺术与设计专业,在本专为什么全世界没有研发出抗艾滋病的药物?有一种说法是艾滋病属于慢性病,现在的医疗技术可以活很久,理论上使用最新技术最新的药物可以活到正常人寿命,在加上艾滋病的传染途径最大的还是在于自身,所以不少人倜傥,艾滋病的诞生就是给很多人过40岁后会发现谁都靠不住,你怎么看?有很多人过40岁后发现谁都靠不住,你怎么看?回答的确谁都靠不住,因为我们的父母,一年有单位上和社保局,5万元的退休金。自己还有几十万的积蓄,可经常还受别人的窝囊气,有些人经常欺辱和工作能力不错,但脾气爆,经常和别部门的人吵架,这样的员工该怎么管理?通过题主的描述,我们能初步了解,这个员工具备以下两个特点一工作能力强,说明他把本职工作做的很好经常与别的部门产生摩擦,说明在协调方面,他的能力有所欠缺。题主既然提出如何管理他的疑问从小打好英语底子,上初中以后就很有优势是真的吗?是真的。我孩子现在上初二,自从上了初中以后,英语没报课外班,但是一直考的不错,每次考试基本满分,一般作文会扣一分左右,学的也很轻松。上小学的时候,我们上的某思的数学辅导班,班上有几孩子最近一次数学考试139分。昨天突然说不想上学了,说学不会数学,我该怎么办?不知道我的回答是否能赶在你今天见孩子之前能够看到。我认为比成绩更重要的是你孩子的心态出现了很大的问题!这个事儿真的需要好好沟通一下才行的!孩子的自我要求太高满分150分(我看题主写地产做甲方没法再进一步,准备跳槽到监理公司做总监,有什么建议?换岗不换行,甲方也好,监理也罢,还是在工程圈子折腾,加上一般监理公司的主营业务还是在房地产项目,也许风水轮流转,你还会和以前的同事又一次碰面事,还围绕同一个工程项目服务,只不过,角离职后原来公司又打电话给你,让你去总公司工作,并且提升工资,你会去吗?要根据自己当时离职的原因,才能决定是否会原来的公司r情况1,是自己主动离职的(好比对领导不满?没有发展空间?做的事情不喜欢?等等),如果这种情况不太建议再回原来的公司。因为导致你当为了好就业选择考研,只考上了二本院校的研究生,有必要去读吗?感谢这位朋友的邀请,欢迎大家点赞关注风雨文化教育!考研是很多本科生必然面临的选择,在考研大军中每年都有逆袭的故事,大多数人都会把自己的目标定在985或者211这些重点大学上,当然也
华为苹果竞逐卫星通信缘何受青睐卫星通信这一热点正在悄然浮现,9月7日,北京商报记者获悉,涉足这一领域的银河航天完成最新一轮融资,投后估值约110亿元人民币,而日前的华为新品发布会,则让消费者对卫星通信有了更加直鹏城实验室首个静止轨道QV频段星地通信试验系统成功运行读特客户端深圳新闻网2022年9月8日讯(深圳特区报首席记者闻坤)记者昨日从鹏城实验室获悉,我国首个基于地球静止轨道卫星(距地面约3。6万公里)的QV频段星地通信试验系统在鹏城实验西宁房价四连跌,两万炒房客被套西宁楼市,西宁楼市分析第41期这周西宁房价又跌了,西宁房价从去年的11000元高位,跌到现在的9780元,平均房价跌了1000多元了,跌幅超过了10。西宁楼市自从没有了棚改拆迁以后,就变得一蹶不振,根本没有当年销量大涨133,广汽埃安反攻新势力?科创板新能源车第一股,要来了?9月6日,广汽埃安宣布完成股份制改革,正式更名为广汽埃安新能源汽车股份有限公司,冲刺IPO再进一步。不久前广汽埃安刚启动A轮融资,投后估值高达1000毛主席在视察密云水库时,发生了一件奇事毛主席的这张照片十分罕见,看不出他这是在哪里,在干什么。其实,这是毛主席1959年视察密云水库时,在木船上休息的一张照片。当时他刚游完泳,头发尚未干透,还有些蓬乱,神情显得有些疲惫微软Win11任务栏平板UI回归图标更大,可自动隐藏成细条今年早些时候,微软为Windows11推出了适用于平板用户的任务栏,然而在Windows11Build22610中被取消了。该任务栏设计就像安卓或iOS,用户可以从任务栏向上滑动来普京发言敲定发展方向,军演结束收获利好,一文一武为俄坚定信心最近几天普京可谓是相当忙,先是亲临现场参观了俄罗斯举行的东方2022军事演习,紧接着又马不停蹄地赶往符拉迪沃斯托克参加第七届东方经济论坛。不过忙有忙的好处,至少俄罗斯在这两件事中收宣布了这两国将断交阿尔巴尼亚总理阿尔巴尼亚将与伊朗断绝外交关系据当地媒体9月7日报道,阿尔巴尼亚总理拉马当天表示,在对7月份的网络攻击事件进行调查后,阿尔巴尼亚将与伊朗断绝外交关系,并下令伊朗驻该国赚再多的钱,出再大的名,依然救不了李雪琴嘿李雪琴,你这样真是北大的吗?李雪琴偏着头笑了笑,用亲切的铁岭口音回答道我但凡聪明一点,好看一点,我都考不上北大。北大才女北大学霸,这仿佛是李雪琴一辈子都难以磨灭的标签。哪怕她出现科技名词什么是海洋地磁调查?海洋地磁调查marinegeomagneticsurvey定义在海上用磁力仪测量地磁场强度,根据磁异常场特征了解海底地壳结构和构造洋底生成和演化历史及矿产资源分布规律的地球物理调查世界末日冰川融化的速度加快一项对思韦茨冰川的新研究表明,它未来可能会以最近两倍的速度退缩,有可能导致海平面大幅上升。南极洲的思韦茨冰川有可能使全球海平面增加几英寸世界最受关注的冰川之一很快融化得比预期更快,