范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

ResNet假说被推翻?Reddit小哥这么多年都没人搞懂Ta的原理

  来源:Reddit
  编辑:LRS  【新智元导读】ResNet 发布至今已经有六年多了,但它的工作原理至今仍然是个迷。最近Reddit 上一个网友发帖表示,是否ResNet的创新出发点就有问题?
  2015年,一个里程碑的神经网络模型ResNet发布。因为在过深的网络训练会产生梯度消失和梯度爆炸,并且训练过深的网络中会出现准确率下降的问题,而RestNet 采用残差连接很容易让研究人员训练出上百层甚至上千层的网络。
  在ResNet论文观察到的退化问题(degradation problem),即34层的网络在整个训练过程中比18层的网络具有更高的训练误差,但18层网络的解空间显然是34层网络的子空间。
  一个很自然的假设是这个问题和RNN 网络中观察到的梯度消失问题(Vanishing Gradient Problem)相同,也是长短时记忆网络(Long-Short Term Memory Networks, LSTM)主要改进的问题。
  但论文的作者Kaiming 大神当时并不这么认为,他在论文中写道
  「我们认为这种优化困难不太可能是由梯度消失引起的,因为这些普通神经网络使用 BN 进行训练,确保前向传播的信号具有非零方差可以缓解这个问题。我们还验证了反向传播的梯度,结果可以看到表现出 BN 的结果也很正常。因此,前向或后向的信号都不会消失。事实上,34 层的普通网络仍然能够达到有竞争力的精度,这表明这个解决方法在一定程度上是有效的。我们推测普通神经网络的收敛速度可能呈指数级低,这会影响训练误差的减少。未来将研究这种优化困难的原因。」
  这个论点也被网友称为「ResNet 假说」,而关于ResNet 假说的正确性最近又在Reddit 上引起了热议。
  提问者认为,最近的许多论文和教程似乎都假设 ResNet 假设是错误的,论文的作者大多添加了跳跃连接以「改进梯度传播流」,并引用了原始的 ResNet 论文来支持这一主张。虽然添加跳跃连接会改善梯度流是很有道理的,但首先是什么导致了退化问题依然没有答案。
  跳过连接通过改进梯度流来解决退化问题的想法似乎与 ResNet 假设明显矛盾;那么这个想法是从哪里来的呢?ResNet 假说是否被证伪了?
  有网友从技术角度认为并没有完整的分析,关于 ResNets 的工作原理主要存在三种相互竞争的假说,并且给出了相关的论文:
  1、进行了迭代细化(iterative refinement)
  这篇论文从分析和实证两方面研究了resnet。研究人员通过显示残差连接自然地鼓励残差块的特征在从一个块到下一个块的过程中沿着损失的负梯度移动,从而在resnet中形式化了迭代细化的概念。
  此外,实证分析表明,resnet能够进行表征学习和迭代优化。通常,Resnet块倾向于将表示学习行为集中在前几层,而更高层执行特征的迭代细化。
  最后,研究人员观察到共享残差层会导致表示爆炸和反直觉的过拟合,文中提出了一个简单的策略可以帮助缓解这个问题。
  2、指数级的集成模型
  这项工作中对残差网络提出了一种新颖的解释:这个模型可以被视为许多不同长度路径的模型的集成。此外,残差网络似乎通过在训练期间仅利用短路径来实现非常深的网络。为了支持这一观察,研究人员将残差网络重写为一个显式的路径集合。
  研究结果表明,这些路径表现出类似整体的行为并不强烈地相互依赖。并且大多数路径都比人们预期的要短,在训练期间也只需要短路径,因为较长的路径不会产生任何梯度。
  例如,具有 110 层的残差网络中的大部分梯度来自仅 10-34 层深的路径。这篇论文的结果认为Resnet 能够训练非常深的网络的关键特征之一是残差网络通过引入可以在非常深的网络范围内携带梯度的短路径来避免梯度消失问题。
  3、原始论文中提到的,梯度传播过程被改进了
  答主也看过一些神经切线内核(neural tangent kernel stuff)的东西,但他仍然不明白其中的原理,并且他也认为没有人真正坐下来试图弄清楚真正的解释是什么。
  不过他有一个想法,可以通过考虑具有重叠跳过连接(overlapping skip connections)的网络来测试集成理论(ensemble theory),这些网络具有集成论文中定义的最大多样性(maximal multiplicity)。并且可以改变跳过连接长度的同时保持多重性不变,但还没有人这样做过任何与此有关的实验。
  还可以尝试的另一件事是使 Resnets 的梯度流保证完美而无需跳过连接的情况,但是当用户添加残差连接时,大多数此类事情都无法达到完美的情况,因此必须考虑新的方式来达成完美梯度传播。
  另一个高赞网友表示,捷径连接(shortcut connections)改善了损失情况,能够使优化变得更加容易,有很多研究结果都支持这一点。
  The Shattered Gradients Problem: If resnets are the answer, then what is the question? (ICML 2017) 表明 ResNet 具有更稳定的梯度。
  Visualizing the Loss Landscape of Neural Nets (NeurIPS 2018) 再次表明 ResNets 具有更平滑的损失表面。
  并且也有研究表示,可以不需要捷径来学习有效的表示,但优化会更难。例如,Fixup Initialization: Residual Learning without Normalization (ICLR 2019) 表明,如果你对初始化结果进行多次调整,那你可以在没有残差连接的情况下训练 ResNets 以获得不错的结果。
  RepVGG:Making VGG-style ConvNets Great Again (CVPR 2021) 表明可以在训练后移除捷径并仍然拥有性能不错的网络。
  但这仍然符合 ResNet 的原始想法:将每个块初始化为一个identify function,因此最初看起来好像参数实际上并不存在,也对网络训练没有产生任何影响,然后逐渐让块的效果发挥作用。
  也有网友认为标题的用词实在不准确,因为debunked 相当于直接给Resnet判定为错误,提问者也表示自己确实是标题党了,但标题无法更改了。
  参考资料:
  https://www.reddit.com/r/MachineLearning/comments/px3hzd/d_has_the_resnet_hypothesis_been_debunked/

小舍得蔡菊花虽然绿茶,但是南家的问题,根源还在赵姨电视剧小舍得改编自同名小说,由宋佳佟大为蒋欣李佳航张国立等实力演员领衔主演,还有朱茵吴越章涛等实力演员,在剧中饰演重要角色,正在东方卫视和央视八套热播中。人争一口气,佛争一炷香,多真实即是震撼八佰票房破8亿,我们同是苏州河冷眼旁观的人文欣然国家二级心理咨询师创作不易,转载事先联系,否则视为侵权那边是天堂,那这边就是地狱电影八佰导言2020年的第一场电影,献给了管虎导演的八佰,现在看来,我没有选错。作为疫情之后的恶搞顶流?TVB爱回家之开心速递剧情疑似映射人气偶像姜涛本文编辑剧透社林纯纯儿未经授权严禁转载,发现抄袭者将进行全网投诉TVB的处境剧爱回家之开心速递一直备受观众喜爱,由于剧情紧贴时下话题,因此几乎每集剧情都会引起全城热话。在日前播出的TVB好声好戏毕业作品收视报捷,陈自瑶首次声演女主角获赞本文编辑剧透社林纯纯儿未经授权严禁转载,发现抄袭者将进行全网投诉TVB的首个以配音为主的真人秀好声好戏已经完满结束,该节目自播出以来深受观众欢迎。日前由他们一班参赛者连同专业配音员爷青回!TVB安排多部偶像剧重播,网民呼声最高是恋爱自由式本文编辑剧透社林纯纯儿未经授权严禁转载,发现抄袭者将进行全网投诉过去那些年,每当内地电视台开始重播还珠格格的时候,就证明暑假已经到来。而当TVB要举行儿歌金曲颁奖典礼之时,就代表着不婚主义?TVB小花汤洛雯和男友未达结婚共识,直言不是传统女生本文编辑剧透社林纯纯儿未经授权严禁转载,发现抄袭者将进行全网投诉自从最美星二代小花汤洛雯认爱马国明后,他们的婚事就成为大众最关心的事件之一。马国明身为圈中公认的好男人,感情道路在未专访梁洁从曲小檀到变你余声声,非典型性甜妹的成长文阿Po视频加载中双世宠妃系列的制片人李阳聊到曾经大胆启用新面孔,在拍摄时会和因为第一次担任主演而紧张的演员们说,现在努力去做,不管吃多少苦,将来一定会感谢现在的自己。后来梁洁真的从出演大IP到主演微短剧,浓颜御姐代斯的破圈之路剧读有咖文阿Po导语一点剧读全新栏目剧读有咖今天正式和读者们见面啦,剧读君日常的爱好当然就是追剧了,在关注影视作品的同时也看到很多优秀的艺人为拍出好戏而做的努力。为此,剧读君希望通过这个新北辙南辕首播引争议,冯小刚的网剧处女秀还能打响吗?文牛角尖冯小刚也来拍网剧了,还是赶时髦的都市女性题材。新剧北辙南辕上线爱奇艺平台的24小时内,该剧初显爆款品质。从首播当晚的拿下刘晓庆演金晨奶奶黄渤蓝盈莹演对手戏两个微博热搜,到上继翟天临之后,又一女星人设翻车大学教授身份是假的?原创JJane最近,演员陈好因为未发表过任何论文,就当上中央戏剧学院教授一事,受到了网友们的质疑。JJ一听,立马炸毛,相信受过论文摧残的同胞听到都会揭竿而起吧。之前翟天临身为博士却照片未经允许被公开,星梦一姐吴若希要求删照却遭狂喷真小气本文编辑剧透社小彤未经授权严禁转载,发现抄袭者将进行全网投诉香港知名歌手吴若希(Jinny)的女儿何姿秋(Giselle)上个月底生日,备受宠爱的她获得了一家人准备了不少庆祝节日,
电视剧中的燃情台词,央视摘录6句发布,肖战金句入选电视剧虽然是一门影像艺术,但其中还是充满了浓浓的文学元素,许多台词都颇有意味。最近央视电视剧频道就在官方社交账号为观众摘录了6句经典台词,并直言它们是被铭刻在心底的台词。一未到终局刘亦菲苦尽甘来,梦华录爆款预定,另一部剧也有救了最近这段时间,关于新剧的讨论源源不断,不少作品仅仅只是放出片花,就吸引了无数人关注,例如电视剧梦华录。梦华录自拍摄之初,就话题不断。前两天官方放出了预告片,更是轰动。不仅讨论度高涨周冬雨不顾影后身份,新剧又走当年路,两大细节很敷衍眼看着暑期马上要到来,荧屏也开始大放异彩,各种大制作剧接连上。其中最受瞩目的,莫过于电视剧千古玦尘了。这部剧从官宣就热议不断,原因很简单主演是周冬雨。周冬雨出演这部剧前,刚刚拿下了修图师眼中的娱乐圈,整容女星额头会透光,两位冰冰各有偏好在网络上有个段子,说是泰国的变性术韩国的整容术日本的化妆术中国的PS术被称为亚洲四大邪术。在国内,几乎每个明星的背后,都站着一位修图师。明星们因为工作需要,每天都在脸上抹上厚厚的妆谋女郎不适合电视剧?有人三部作品超8分,贡献十年最佳仙侠剧在很长一段时间里,谋女郎和电视剧之间都是有壁的。第一代谋女郎巩俐就从未出演过电视剧,第二代谋女郎章子怡凭借我的父亲母亲走红后,曾有不少电视剧向她伸出橄榄枝,就在章子怡准备委身电视剧江疏影遇到难题,4部女主剧都不红,新剧刚官宣就有争议江疏影,想必是大家都非常熟悉的一位女演员了。2012年江疏影通过出演赵薇电影致我们终将逝去的青春一举成名,之后便开启了非常顺风顺水的演艺路。近几年江疏影参与的电视剧作品,想必大家都张嘉倪不负琼瑶眼光,三次出演配角反派,大抢正牌女主风头每年暑期都会有一部仙侠剧来袭,从早年的古剑奇谭花千骨到近年的陈情令琉璃,每部都是年度爆款。今年暑期档的仙侠剧,率先来袭的是千古玦尘。这部剧汇聚了周冬雨张嘉倪许凯刘学义等知名演员,加肖战新剧海外播出,演技获得两大突破,央视直言值得再刷斗罗大陆是肖战今年上映的最新作品,这部剧在国内不仅创下总播放量突破50亿单日最高播放量突破2亿的骄人战绩,还走出国门,在海外多个国家上映。目前,斗罗大陆已经解锁了泰国越南马来西亚美央视发起线上问答,哪部剧评分人数第一?正确答案是陈情令一部电视剧是否属于好作品,群众的眼光永远是雪亮的。对于好作品,观众从不会吝啬自己的评价。近日央视电视剧频道在官方社交账号上,就直言在知名的影评网站豆瓣,陈情令隐秘的角落庆余年斗罗大一眼万年名场面,央视点名六个,杨幂唐嫣镜头上榜电视剧中,每每有男女主角对视的镜头,就容易诞生名场面。最近央视电视剧频道在官方社交账号上列出了6大男女对视,一眼万年的名场面,每一幕都非常经典。一唐嫣霍建华在仙剑奇侠传3中,唐嫣饰林志玲结婚3年,言承旭44岁再登舞台,还记得他们纠缠过的16年吗有这么一个艺人,说他是演员,代表作也只能是20年前的一部偶像剧说他是舞台偶像,唱跳能力也并不十分出众。但就这个如今已经44岁的艺人,今天仍能算得上是亚洲顶流。当他的名字出现在综艺披