速递RNN可在加入白噪音后学到数据合适的隐藏维度
摘要
神经网络需要输入数据的正确表征来学习。近日发表于 Nature Machine Intelligence 的新研究考察梯度学习如何塑造循环神经网络(RNN)表征的一个基本属性ーー它们的维数。通过模拟和数学分析,研究展示了梯度下降法如何引导 RNN 压缩其表征的维度,在一定程度上满足训练期间的任务需求,同时支持泛化到未知示例。为达成这一目标,需要在训练的早期扩展维度,在训练后期压缩维度,研究发现具有强混沌特性的 RNN 似乎特别擅长学习这种平衡。该研究除了有助于阐明适当初始化的 RNN 对训练的益处,还揭示了大脑中的神经回路与混沌的关系。总之,该发现显示了简单的基于梯度的学习规则如何引导神经网络产生可解决任务的鲁棒性表征,这样的表征可以泛化到新情况。
研究领域:表征学习,剃度下降,循环经济网络,混沌,网络动力学
论文题目:
Gradient-based learning drives robust representations in recurrent neural networks by balancing compression and expansion
论文链接:
https://www.nature.com/articles/s42256-022-00498-0
1. 如何确定合适的表征维度?
在有监督学习前,将原始数据转换为适合的特征必不可少,该步骤被称为 表征学习 。其中关键的步骤是确定数据的维度,高维表征可以包含有用特征的非线性组合,适合据此构建简单的分类模型,而低维的表征可以保留关键特征,允许基于更少的参数和例子进行学习,因此具有更好的泛化能力。
由此一个有现实意义的问题是,如何确定合适的表征维度。该研究证明,RNN 的动力学特征能够基于梯度下降产生适合的表征维度。具体的算法步骤如图1,其中输入是待分类的高维数据,之后模型在训练过程中,以上一层的输出为输入构建数据表征 (尝试构建一个能够区分两类数据的超平面) ,最后将前9步的表征加和,通过分类算法的准确度评价表征模型。而表征模型的训练则依据评价结果,使用梯度下降进行。
图1:算法的任务和使用模型的图示
2. 神经网络与混沌
在已知数据隐藏的维度是两维时,该实验对比了处在混沌边缘与强混沌状态的RNN网络,发现处于强混沌状态的网络达到相近的分类精度,所需的训练数据更少 (图2d) ;训练后能够得到合适的有效表征维度 (图2e) ,对训练后得到的表征使用线性回归进行分类时,准确性更高 (图2f) ,泛化能力更好 (图2g) 。
图2:二维输入分类网络学习的动力学和几何性质
以上数据说明,对于隐藏维度大于等于2维的情况,处于强混沌状态的RNN能够学得合适的隐藏维度,并得出可用线性模型进行分类的表征。相比处于混沌边缘的RNN,处于强混沌状态下的RNN效果更好。
之所以RNN能通过学习得到压缩表征,可以来自稳定不动点的形成 (对于最初处于混沌边缘的网络) ,也可以来自低维混沌吸引子 (对于强混沌状态下的网络) 。这意味着通过训练稳定的网络学习解决任务时,经过训练的评估期前后对比,保持混乱的那部分网络会被重置。前者 (处于混沌边缘的网络) 可能有利于长期记忆;后者 (来自低维混沌吸引子的网络) 可以用于灵活地学习新任务。
3. 表征模型的学习机制
之后,将评价指标由衡量分类结果的交叉熵,变为衡量分类置信度的均方误差损失,通过使用连续而非离散的评价指标,可研究表征模型的学习机制。发现在不向节点加入随机噪音时,训练过程中模型不会试图降低有效维度 (图3c左) ,而是始终让模型的预测误差极低 (用更多的表征换取更好的预测效果) ,然而 包含噪音的模型会试图降低有效维度 ,尽管这样会导致预测误差增大。而图3d展示了训练完成时最终的有效表征维度,训练过程中,神经元梯度增加的高斯噪音比例越大,模型就能够更快学到合适的隐藏维度。
图3:使用均方误差损失,可使RNN在包含噪音时持续学习合适的隐含维度
进一步对比不同的正则化方法带来的影响:图4a是不包含噪音时,不同大小的训练批次 (batch size) 最终学到的维度;图4b左边是训练过程中神经元梯度添加白噪音时的情况,右边是包含白噪音,且采用dropout进行正则化的影响;图4c从左到右分别展示了加入较弱、中等水平、较强L2正则化项时的情况。可以看到使用强L2正则,以及drop out时效果接近,都能够在包含白噪音时,学到合适的隐藏维度。这说明该 RNN学习的机制正是基于学习过程中的随机噪音 。
图4:在隐藏神经元加入噪声,结合正则化使网络习得合适的隐藏维度
总结来看,该研究指出RNN可以学会以一种适合于手头任务的方式来平衡表征学习中的压缩和混沌,从而得到适合的表征维度,而学习过程中的驱动力来自神经元梯度改变过程中的噪音。目前对大脑所使用的学习规则的理解仍然处在早期阶段,而一个常见的假设是大脑以梯度下降的方式进行学习,该研究增强了该假说的可行性范围,并提出了两个可能的学习机制 (白噪音及正则化) 以及对应的验证方式。
郭瑞东 | 作者
邓一雪 | 编辑
商务合作及投稿转载 swarma@swarma.org
搜索公众号:集智俱乐部
加入"没有围墙的研究所"
让苹果砸得更猛烈些吧!
子宫肌瘤致流产!一个活血化瘀的方子,不做手术,助你好孕!医生,我还没生孩子,做手术怕影响生育。前段时间问诊的王女士这么跟我说,而我也经常会遇到这样的疑问子宫肌瘤对生育有没有影响?子宫肌瘤手术会不会有风险?作为一名行医30余年的老中医,我
国羽欧洲赛季出师不利石宇奇一轮游男双覆没京报体育记者王笑笑北京时间9日凌晨,今年世界羽坛欧洲赛季首战德国羽毛球公开赛,在鲁尔河畔米尔海姆结束了首轮争夺。中国队出师不利,参赛的两对男双组合全部爆冷止步,男单名将石宇奇也输给
上新!龙江路漫画街主题墙绘1LOOK!QINGDAO糖小狐的小幸福充满梦幻氛围的动漫街龙江路,以各种动漫涂鸦出圈,走进这里,就像不小心踏入了宫崎骏的童话世界。最近,龙江路上又添了一组全新主题墙绘马里奥逛玩青岛
全身涂白内裤半露漫画腰一口假牙娱圈病态审美,该停停了前言明星艺人们都十分在意自己的外貌,他们的日常穿搭和各种活动造型,都有可能会成为当下的时尚热潮。他们平时的造型大部分都由专门的造型师所设计,从头发丝到指甲到脚都是精心打造的结果。但
想要控制血压?多吃蔬菜和水果想要控制血压?多吃蔬菜和水果蔬菜和水果中富含钾离子,可以帮我们对抗过度的钠离子,对稳定血压有好处。不仅如此,蔬菜和水果中的多种维生素果胶粗纤维等都对预防动脉粥样硬化有帮助,可以增加
人活着,什么最可靠?(说得太对了)大家好!我是囡囡。努力的我,承蒙抬爱。点击上方蓝色字关注,不迷路。人活着,什么最可靠?很多时候,当你陷入人生低谷的时候,当你走投无路的时候,什么才是最可靠的?其实,很多时候,可靠的
2元一斤的蔬菜,不仅可以排毒润肺,还能清肝补维C,遇到别错过油菜苔是油菜的嫩芽和嫩叶,是一种春季时令蔬菜,又叫贡菜。由于油菜苔的生长速度很快,通常在春季时期,菜农们能够从一亩地上收获56次油菜苔,而且价格也相对便宜,因此它被誉为菜市场的白菜
张靓颖与冯轲相爱15年,被骗走6亿身家,离婚5年后两人天差地别如果你有个女儿,被一个男人利用了15年青春,卷走所有财产,你会是什么感受?2015年,张靓颖鼓起勇气在演唱会上当众逼婚冯轲。张靓颖母亲看到后惊慌失色,连夜赶回家,把户口本藏起来。所
连载周星驰800万出卖自己,张国荣求婚吓跑17岁少女谁能想到,就连老大哥成龙,功夫皇帝李连杰,也有向周星驰服软的一天。1992年,被称为周星驰年。成龙在这一年的总票房是7000万美金。李连杰的总票房为4997万美元。而周星驰的全年总
连载2李连杰背景曝光,周星驰成龙甘拜下风,郑少秋甘愿做配自立门户,注定不平凡方世玉在内地大火之后,初到香港的李连杰并不是一帆风顺。香港电影市场欣欣向荣,其影响力甚至可以辐射到新马泰,日本韩国。李连杰在这个时候出现在香港,无疑会成为一部分
饮食小常识1饮食4忌利长寿长寿者的一个共同特点就是饮食有节。要长寿,饮食要注意四忌忌过饥过饱一个人如果没有足够的营养,机体的精气津液必亏虚乏竭,就会严重影响健康。相反,食之过多,暴饮暴食对健