范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

清华大学孙茂松教授提出全新微调框架CPT准确率提升17。3

  来源:arXiv
  编辑:LRS  【新智元导读】预训练模型在计算机视觉和语言上都取得了显著成果,但这些语言模型有一个大问题就是训练过程和推理过程不匹配。清华大学孙茂松团队提出了一个全新的微调框架CPT,用颜色来遮蔽、融合图像和语言,准确率提升17.3%,标准差降低73.8%!
  预先训练的视觉语言模型(Pre-Trained Vision-Language Models, VL-PTM)能够同时处理语言和视觉上的信息,也是完成各种多模态任务的基础模型。
  但模型的预训练和微调之间存在着巨大的差距,在预训练期间,大多数VL PTM都是基于mask language modeling目标进行优化的,主要任务就是在屏蔽的词中从跨模态上下文中恢复。
  然而,在微调过程中,下游任务通常是通过将未屏蔽token的表示分类到语义标签来完成的,在语义标签中通常会引入特定任务的参数。这种差别阻碍了VL PTM对下游任务的适应性,因此需要大量的标记数据来优化VL-PTM对下游任务的视觉基础能力。
  针对这个问题,清华大学的研究人员提出了一个新模型跨模态提示调节(Cross-Modal Prompt Tuning, CPT),也可以称为Colorful Prompt Tuning。CPT是一种调整VL-PTM参数的新范式,关键点在于通过在图像和文本中添加基于颜色的共同参照标记,视觉基础可以重新形成填补空白的问题,最大限度地减少预训练和微调之间的差距。
  为了在图像数据中使用自然语言表达式,CPT由两个组件组成:(1)一个视觉子提示(visual sub-prompt),用颜色块唯一地标记图像区域;(2)一个文本子提示(textual sub-prompt),将查询文本放入基于颜色的查询模板中。然后,通过从查询模板中的屏蔽标记恢复相应的彩色文本,可以实现目标图像区域的显式定位。
  论文的作者是孙茂松教授,目前任清华大学人工智能研究院常务副院长、清华大学计算机学位评定分委员会主席、教育部在线教育研究中心副主任、清华大学大规模在线开放教育研究中心主任。曾任清华大学计算机系主任、党委书记。研究方向为自然语言理解、中文信息处理、Web智能、社会计算和计算教育学等。
  配备CPT后,VL-PTMs可以在没有任何标记数据的情况下执行zero-shot visual grouding,因为VL PTMs在训练前已经很好地学习了颜色的跨模态表示及其与其他概念(例如,对象、属性和关系)的组合。
  当有几个或全部标记的实例可用时,CPT可以根据基于熵的目标函数对VL PTM进行进一步调整。
  虽然通过基于颜色的提示将图像和文本连接起来看着很好用,但研究人员仍然发现了其中两个关键问题:(1)如何确定颜色集C的配置;(2)如何使用有限的预训练颜色处理图像区域的数量。
  解决方法有跨模式提示搜索(Cross-modal Prompt Search)。以前在文本提示调优方面的工作表明,提示配置(例如,文本模板)对性能有重大影响。这篇文章也是对搜索跨模态提示配置(即颜色集C)进行的首次研究。
  直观地说,C应该由VL PTM最敏感的颜色组成。为了获得颜色,一种简单的方法是采用预训练文本中最常见的颜色文本,其标准RGB作为civ。但该解决方案是次优的,因为这种方法在确定彩色文本时不考虑其视觉外观,并且真实图像中颜色的视觉外观通常与其标准RGB不同。
  所以在跨模式提示搜索中,首先确定一个全彩色文本的候选集。对于RGB空间中的每个可能颜色,将纯色块与文本子提示连接到VL PTMs中:[CLS] a photo in [MASK] color. [SEP]。然后为每个候选颜色文本获得记录分数。
  记录得分越大,表明cv和cw之间的相关性越高,并且删除了在任何颜色视觉外观中都没有排名靠前的颜色文本。最后对于每个剩余的彩色文本,其视觉外观由最大色彩确定,并且实验结果显示得到的颜色配置明显优于原始的颜色配置。
  图像区域批处理(Image Region Batching)。在视觉基础中,图像中区域建议的数量通常超过颜色集合C的大小(∼ 10)。此外,严重重叠的色块会阻碍视觉基础,因此需要将图像区域分为多个批次,每个批次包含少量中度重叠的图像区域,并分别使用视觉子提示标记每个批次。为了处理不包含目标区域的批,在解码词汇表中进一步引入了一个新的候选文本none,表示批中没有目标区域。
  实验结果表明,提示微调后的 VL-PTM的性能大大优于微调后的PTM,
  1、CPT在zero-shot 和few-shot 设置下比随机基线和强微调基线有很大的优势(例如,在RefCOCO评估中,one-shot 的绝对准确度平均提高17.3%)。不同的数据集和不同的训练次数之间的改进是一致的。这表明CPT可以有效地提高VL PTM调谐的数据效率,并刺激VL PTM的视觉接地能力。
  2、值得注意的是,与微调相比,CPT实现的标准偏差要小得多(例如,在RefCOCO评估中,一次试验平均降低73.8%的相对标准偏差)。这表明,来自预训练的连贯的调节方法可以导致更稳定的few-shot 训练,这也是评估少镜头学习模型的关键因素。
  3、可以注意到,在RefCOCO+评估中,CPT的微调性能稍逊于16 shots。原因是Ref-COCO+有更多基于颜色的表达(例如,穿着红衬衫和蓝帽子的人),这可能会干扰基于颜色的CPT。然而,在完全监督的场景中,通过更多的调优实例可以缓解这个问题,模型可以学习更好地区分查询文本和提示模板中的颜色。
  4、在完全监督的设置下,CPT实现了与强微调VL PTM相当的性能。结果表明,即使在完全监督的情况下,CPT也是VL-PTM的一种竞争性调优方法。总之,与普通的微调方法相比,CPT在zero-shot、few-shot和完全监督的视觉方面实现了优越/可比且更稳定的性能。
  参考资料:
  https://arxiv.org/abs/2109.11797?

瑞典最帅王子甩10年女友,非18线模特的她不娶,5年后成最美王妃2009年的时候,号称瑞典最帅王子的菲利普对外公布了自己的恋情,对方叫索菲亚,是一个混迹于18线的模特,两人在夜店相识。这一公布,可让瑞典的民众们炸锅了。菲利普王子毕业于名牌大学,戴安娜葬礼上菲利普亲王领头,威廉哈里低头前行,查尔斯有些无聊转眼间,菲利普亲王的告别仪式也已经落下帷幕。可是,当媒体抓拍住到凯特所佩戴的项链时,不少英国民众还是有些感慨。那条项链,是戴安娜生前喜欢的项链之一,它是由女王传给戴安娜而戴安娜又留旗袍十诫旗袍集隐匿和放露于一体,得体了是美,失态了是俗旗袍是一种将隐匿和放露表现得恰到好处的服装,得体了是美,失态了是俗。为避免落入俗套,除了合理选择适合自己的旗袍之外,还要注重学习穿着旗袍行走坐卧的礼仪旗袍十诫。一诫在车厢里,你发觉张梓琳穿上旗袍演绎老上海风情,天生尤物,像极了那个时期的女人张梓琳参加综艺和演出都不是很多,客串出几部电影,最有名气的就是她在2007年获得了世界小姐的冠军,所以我们现在都喜欢叫她世姐,为人也相当低调,2016年生了一个可爱的女宝宝,家庭美时隔15年刘亦菲再演古装剧,34岁重回颜值巅峰,这状态杀疯了娱乐圈中的女神数不胜数,但如果说到神仙姐姐,那就只有刘亦菲!昨天,舒畅为刘亦菲庆祝34岁生日登上了热搜。后来刘亦菲主演的梦华录官微也晒出了剧照为她庆生。说实话,看到这个话题时,小编最美中国风,复古改良旗袍也能穿出旧时光的时髦感!不失优雅气质不会打扮和保养自己的女人,是没有前途的!女人,要像经营自己的婚姻一样,经营自己的容颜!这里会每天分享爱美小知识,点关注,你就已经开始变美了穿衣搭配是一个女人一生的一场必修课!懂得穿旗袍只适合高跟鞋,当关晓彤搭双奶奶鞋后,竟意外秀出电棍腿对于国民女孩关晓彤,相信大家都很熟悉,同行出道的她虽然年纪轻,但现在已经为大众呈现了很多非常不错的影视作品,近年来,除了拍戏之外,关晓彤在一些综艺节目中的表现也可圈可点,比如在王牌本以为张雪迎只适合清纯风,但她穿起旗袍后,美得让人认不出来很多明星都是从小出道的,就像张雪迎,小小年纪就被导演相中成功地参演电视剧并开始了自己的演艺圈之路。如今作为一个新生代演员你,张雪迎也是考取了中央戏剧学院进行演技学习,所以她的演技实女性为什么都喜欢穿旗袍,除了展现女性的优雅和气质外,而是情怀众所周知,旗袍是民国的国服,她盛行于三四十年代。如果说二十世纪二十年代是旗袍流行的起点,那么三十年代的时候就是她的顶峰时期。由于旗袍本身特色和魅力的绽放,她很快从发源地(上海)风靡张含韵减龄又可爱,牛仔改良旗袍配哪吒头,酸甜女孩又美回来了张含韵大家应该都不陌生,她是很多8090后曾经追逐过的偶像,2004年参加超级女声拿到了季军的好成绩,因为甜美的气质和声音而迅速走红,当时一首酸酸甜甜就是我可以说红遍了大江南北,成男人一辈子放不下的女人,不是初恋也不是红颜知己,而是这种女人男人一辈子放不下的女人,不是初恋,而是这种女人人都有一种共性,对于一些很容易就成功的事情,总是不够在意,而对于那些需要自己费尽力气,哪怕最后以失败收场的事情,总是印象深刻。感情里也
凤栖梧奉旨填词柳永的无悔情与爱愁绵衣带越来越宽松,我始终不曾懊悔,为了思念她,我宁可自己容颜憔悴。无声无息,仅此一句,触及多少人心?淡思浓愁可教人回味如斯,千般难断。而情话千种,唯此让人觉相思曼妙,如此,又何止此生周杰伦,你陪我们长大,请让我们陪你变老你可以保持一个习惯多久?你可以坚持一个东西多久?你可以喜欢一个人多久?我不知道我还能喜欢周杰伦多久,我只知道这件事我已经做了11年。我还记得第一次听见他的歌,好像是因为我爸爸在电脑辛弃疾不但是豪放派词人还是一个好色好财好杀人的三好生协助耿京统领起义军,率五十骑冲入有五十万大军的金营,生擒叛徒张安国,领义军归顺南宋,随即被任命为江阴签判。辛弃疾在他22岁的时候实现了很多人一辈子也做不到的壮举,如此作为是多少郁郁抽奖喜迎国庆送好礼!奖品多多,福利多多日往月来,国庆将至在这个举国欢庆的节日里G仔来给大家送福利啦快带上你的小伙伴们来GTV参加抽奖活动吧奖品多多,福利多多等你来抽取哦!奖品这么有料这么丰富你心动了吗快来试试吧说不定下陈健安首专本原隆重登场赤裸上身拍封面大放福利9月17日,终于都等到了。说的是一众CAllStar粉丝期待已久,寰亚歌手陈健安(On仔)首张个人专辑本原,终于隆重登场。说是期待已久,事关On仔早在个多月前已预告在健身房日操夜操古川雄辉龙星凉在回家之后重新开始纯情神仙组合来了四季变换也抵挡不住爱的涌动,近几年对同性向爱情的展现越来越多,全世界都在为其做出努力,有欧美的轰轰烈烈,也有亚洲的细水长流,多样的融合造就了不同爱情的体验感受。这不,日本两大男神的5部神仙综艺推荐,哪档综艺更入你的眼?1hr夏日冲浪店夏日冲浪店节目以自身力量带动观众倡导海洋保护,将环保理念与冲浪运动深度结合,鼓励大家树立海洋保护意识,传递正能量。节目中嘉宾的互动都超级有爱,第一期嘉宾就邀请了王一浪姐成团的背后,我看到了娱乐圈神仙友情弄潮破浪了今年一整个夏天的综艺乘风破浪的姐姐终于落下了帷幕,这也算是小编真情实感追过的综艺了,成团的结果相信小可爱们也已经通过微博知晓了。最终宁静万茜孟佳李斯丹妮张雨绮郁可唯还有黄张歆艺吉娜神仙姐妹情!吉娜被骂,张歆艺自黑力挺,夸妹第一人妻子的浪漫旅行这一季真的又和谐又美好的。张歆艺总是神经大条,二二的样子,但是关键时候总是很暖心。吉娜这个看上去仙女的奇女子,一张口就是东北大碴子的味道,反差萌非常有趣。还有蔡少芬这春节档电影回归!被撤档的七部大片,定档国庆!又是神仙打架现场夺冠(原名中国女排)官宣定档了!导演陈可辛发文表示1月19号,首映前,尽了力人生最煎熬的一个月。没想到首映后经历了更煎熬的七个月。2020年春节档原本有七部大片将上映囧妈女排姜子牙观众福利!不仅有男版创造101,女版明日之子也来了!2018年就仅剩下差不多两个月的时间了,要说起这一年最火的综艺节目肯定是101了,它不仅把11位女孩成功送出道,成功成立了国内最受欢迎的女团,而且还成功捧红了山支大哥,宣仪和超越等