范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

清华大学孙茂松教授提出全新微调框架CPT准确率提升17。3

  来源:arXiv
  编辑:LRS  【新智元导读】预训练模型在计算机视觉和语言上都取得了显著成果,但这些语言模型有一个大问题就是训练过程和推理过程不匹配。清华大学孙茂松团队提出了一个全新的微调框架CPT,用颜色来遮蔽、融合图像和语言,准确率提升17.3%,标准差降低73.8%!
  预先训练的视觉语言模型(Pre-Trained Vision-Language Models, VL-PTM)能够同时处理语言和视觉上的信息,也是完成各种多模态任务的基础模型。
  但模型的预训练和微调之间存在着巨大的差距,在预训练期间,大多数VL PTM都是基于mask language modeling目标进行优化的,主要任务就是在屏蔽的词中从跨模态上下文中恢复。
  然而,在微调过程中,下游任务通常是通过将未屏蔽token的表示分类到语义标签来完成的,在语义标签中通常会引入特定任务的参数。这种差别阻碍了VL PTM对下游任务的适应性,因此需要大量的标记数据来优化VL-PTM对下游任务的视觉基础能力。
  针对这个问题,清华大学的研究人员提出了一个新模型跨模态提示调节(Cross-Modal Prompt Tuning, CPT),也可以称为Colorful Prompt Tuning。CPT是一种调整VL-PTM参数的新范式,关键点在于通过在图像和文本中添加基于颜色的共同参照标记,视觉基础可以重新形成填补空白的问题,最大限度地减少预训练和微调之间的差距。
  为了在图像数据中使用自然语言表达式,CPT由两个组件组成:(1)一个视觉子提示(visual sub-prompt),用颜色块唯一地标记图像区域;(2)一个文本子提示(textual sub-prompt),将查询文本放入基于颜色的查询模板中。然后,通过从查询模板中的屏蔽标记恢复相应的彩色文本,可以实现目标图像区域的显式定位。
  论文的作者是孙茂松教授,目前任清华大学人工智能研究院常务副院长、清华大学计算机学位评定分委员会主席、教育部在线教育研究中心副主任、清华大学大规模在线开放教育研究中心主任。曾任清华大学计算机系主任、党委书记。研究方向为自然语言理解、中文信息处理、Web智能、社会计算和计算教育学等。
  配备CPT后,VL-PTMs可以在没有任何标记数据的情况下执行zero-shot visual grouding,因为VL PTMs在训练前已经很好地学习了颜色的跨模态表示及其与其他概念(例如,对象、属性和关系)的组合。
  当有几个或全部标记的实例可用时,CPT可以根据基于熵的目标函数对VL PTM进行进一步调整。
  虽然通过基于颜色的提示将图像和文本连接起来看着很好用,但研究人员仍然发现了其中两个关键问题:(1)如何确定颜色集C的配置;(2)如何使用有限的预训练颜色处理图像区域的数量。
  解决方法有跨模式提示搜索(Cross-modal Prompt Search)。以前在文本提示调优方面的工作表明,提示配置(例如,文本模板)对性能有重大影响。这篇文章也是对搜索跨模态提示配置(即颜色集C)进行的首次研究。
  直观地说,C应该由VL PTM最敏感的颜色组成。为了获得颜色,一种简单的方法是采用预训练文本中最常见的颜色文本,其标准RGB作为civ。但该解决方案是次优的,因为这种方法在确定彩色文本时不考虑其视觉外观,并且真实图像中颜色的视觉外观通常与其标准RGB不同。
  所以在跨模式提示搜索中,首先确定一个全彩色文本的候选集。对于RGB空间中的每个可能颜色,将纯色块与文本子提示连接到VL PTMs中:[CLS] a photo in [MASK] color. [SEP]。然后为每个候选颜色文本获得记录分数。
  记录得分越大,表明cv和cw之间的相关性越高,并且删除了在任何颜色视觉外观中都没有排名靠前的颜色文本。最后对于每个剩余的彩色文本,其视觉外观由最大色彩确定,并且实验结果显示得到的颜色配置明显优于原始的颜色配置。
  图像区域批处理(Image Region Batching)。在视觉基础中,图像中区域建议的数量通常超过颜色集合C的大小(∼ 10)。此外,严重重叠的色块会阻碍视觉基础,因此需要将图像区域分为多个批次,每个批次包含少量中度重叠的图像区域,并分别使用视觉子提示标记每个批次。为了处理不包含目标区域的批,在解码词汇表中进一步引入了一个新的候选文本none,表示批中没有目标区域。
  实验结果表明,提示微调后的 VL-PTM的性能大大优于微调后的PTM,
  1、CPT在zero-shot 和few-shot 设置下比随机基线和强微调基线有很大的优势(例如,在RefCOCO评估中,one-shot 的绝对准确度平均提高17.3%)。不同的数据集和不同的训练次数之间的改进是一致的。这表明CPT可以有效地提高VL PTM调谐的数据效率,并刺激VL PTM的视觉接地能力。
  2、值得注意的是,与微调相比,CPT实现的标准偏差要小得多(例如,在RefCOCO评估中,一次试验平均降低73.8%的相对标准偏差)。这表明,来自预训练的连贯的调节方法可以导致更稳定的few-shot 训练,这也是评估少镜头学习模型的关键因素。
  3、可以注意到,在RefCOCO+评估中,CPT的微调性能稍逊于16 shots。原因是Ref-COCO+有更多基于颜色的表达(例如,穿着红衬衫和蓝帽子的人),这可能会干扰基于颜色的CPT。然而,在完全监督的场景中,通过更多的调优实例可以缓解这个问题,模型可以学习更好地区分查询文本和提示模板中的颜色。
  4、在完全监督的设置下,CPT实现了与强微调VL PTM相当的性能。结果表明,即使在完全监督的情况下,CPT也是VL-PTM的一种竞争性调优方法。总之,与普通的微调方法相比,CPT在zero-shot、few-shot和完全监督的视觉方面实现了优越/可比且更稳定的性能。
  参考资料:
  https://arxiv.org/abs/2109.11797?

张佳宁决胜法庭热播中事业女孩傅小柔被催婚引网友共鸣由最高人民检察院政治部联合摄制,连奕名执导,张佳宁搭档于和伟胡静王耀庆等主演的检律大剧决胜法庭正在热播中。该剧凭借悬迭紧凑的情节设置对现实检察系统办案的高度还原以及一众实力派演员的娱乐圈最恨嫁的女星,18岁就想要结婚生孩子,曾上节目大胆征婚婚姻对于很多艺人来说,是不太愿意触及的话题,一方面呢是还年轻想要在事业上拼搏一番,公布恋情多多少少会影响到未来的发展,另外一方面呢,很多人却是想要保护好自己的隐私,不让大家对自己的当陈晓想要变帅的时候,娱乐圈基本无人能敌,小鲜肉都不香了娱乐圈这么多年对于美男的审美还是比较稳的,不说上一届的天涯四美,中生代小生中陈晓杨洋的颜值始终傲视群雄。剑眉星目的陈晓不管放在什么年代,都是符合大家审美的长相啊,他五官精致又不失英从吃货到泡面只闻一口,做到宋祖儿一半,普通人减肥就成功了大家应该都还记得宋祖儿初初回国时的模样,那时候的她可真是个称职的小吃货啊。在花儿与少年一路上丝毫没有顾忌,不停吃吃吃,成功从小v脸吃成了小u脸的事迹至今依旧被大家津津乐道,宋祖儿到王凯清平乐悲痛罪己共情式演技获大批网友点赞由正午阳光出品,朱朱编剧,张开宙执导,侯鸿亮任制片人,王凯江疏影领衔主演的古装大剧清平乐正在湖南卫视金鹰独播剧场热播中。该剧主要讲述了王凯饰演的宋仁宗的一生,既有朝堂上的唇枪舌战,北辙南辕还以为她是什么千年狐狸精,在尤珊珊面前根本不够看电视剧北辙南辕中,司梦终于迎来很多全职太太的噩梦出现第三者。司梦老公杜世均是会计师事务所领导,收入不错,能在好地段买大房子,所以中文系高材生司梦做了全职太太。因为天天围着家庭孩子转北辙南辕出国前一晚还钻被窝,独立生活马上分手,他真会伤人电视剧北辙南辕里,李响冯希这一对感觉挺现实的,虽然知道他们肯定会分,但是没想到会以这样的理由分。李响和冯希从初中就认识,交往十年。冯希对李响一直很用心,上学的时候每个月都坐长途汽车水怪2欺负哑女的九公公和猪嘴男,比吃人的水鬼更丑恶恐怖片水怪2黑木林中,坏人作起恶来,比水鬼更甚。女主角杜家佳是上海巡捕房的法医,某天起她突然收到来自上水镇的空白信件,弟弟杜家豪代替她前去调查,之后音信全无,杜家佳只好亲自去上水镇北辙南辕分手收了5万欧元,复合拿了一半遗产,她不算坏女人北辙南辕里金晨饰演的海归女戴小雨在感情上的选挺现实的。戴小雨和彭湃交往五年,差点结婚,彭湃突然病倒,婚期推迟,小雨意外发现未婚夫一直瞒着她没离婚。彭湃不仅让她在挪威做了五年小三,还给女儿8床棉被做嫁妆,给儿子全款买房,真有这么偏心的父母吗电视剧婆婆的镯子里,女主的原生家庭又是一个极度重男轻女的家庭。女主要嫁给上海本地人,女主妈妈就狮子大开口要70万的彩礼,嘴上说得好听,是给女儿存着,其实是为了用这笔彩礼给自己儿子全北辙南辕小雨车祸子宫被摘除,结局不幸被尤珊珊言中电视剧北辙南辕最新几集戴小雨太惨了。彭湃的女儿彭蔓从上海飞来北京找彭湃要200万出国留学,彭湃手头紧暂时拿不出这么多钱,彭蔓气不过,就偷偷跑到戴小雨家找她麻烦。因为彭湃瞒了小雨五年
黄小蕾拒绝杜淳,倒追大张伟,38天闪婚,为女儿得罪迪士尼莫失莫忘一书中,有这样一句话对生命而言,接纳才是最好的温柔,不论是接纳一个人的出现,还是,接纳一个人的从此不见。人生有很多事是身不由己的,在无能为力的时刻里,懂得接受生活的人通常都披荆斩棘刘迦恋情曝光,与78年女友相爱,女方疑有将成年女儿刘迦被曝与女友相差13岁,女方疑似有位将成年的女儿,小说情节有引言最近很多网友都被综艺披荆斩棘的哥哥所吸引,这档节目的热度非常高,一经开播就吸引到很多人的注意。其中知名舞者刘迦也参谢娜招黑的五个行为,小细节暴露人品,哪个让你最反感?网络发达也代表着消息曝光的更快一些,现在是一个全民上网的时代。哪怕是家里的老人们,或多或少都会用手机看新闻,当然,这里面也不乏例外,不过大部分的人应该离不开手机了吧。话说回来,网络98版鹿鼎记,7位老婆现状差距悬殊,有人专嫁富豪,有人下乡走穴文9sky编辑嘈坊有人说自陈小春版后,再无鹿鼎记。纵使被多次重拍,陈小春版依旧被奉为经典。而这一版之所以能封神,还多亏了韦小宝的七个老婆。体贴的苏荃温柔的双儿搞怪的建宁公主虽不是绝杜江二胎女儿疑曝光,身穿碎花裙,身高快到霍思燕肩膀杜江与霍思燕夫妻两人大家应该都知道,这对夫妻也算得上是娱乐圈中的模范夫妻了,两人结婚以来一直非常的恩爱甜美,也没有闹过任何的绯闻,而且两人的孩子嗯哼也是非常的讨人喜爱,夫妻两人教育关晓彤姐姐早已逝世?网曝突发疾病去世,和关晓彤为同父异母姐妹说到关晓彤相信很多人都知晓,生活在演艺世家,爷爷关学曾是北京琴书的创始人,父亲关少曾受其影响走上了演艺之路,关晓彤更是作为童星很早就出道。时间飞逝,关晓彤的事业也有了一番收获,不仅被陈凯歌扫地出门,被陈红嘲笑没魅力,倪萍真的太能忍了陈凯歌之子陈飞宇金发造型上了热搜,有人夸,说很好看很帅气,希望这个造型能半永久有人嘲笑说不好看,像某个不良艺人。年轻一代明星粉丝多,一举一动都会引起热议,生活方面就比较低调。老一辈23年前他是她的偶像,如今结为夫妻,一句我养你感动硬汉吴京1998年电视剧太极宗师在大江南北掀起了一股收视热潮,剧中饰演男主角杨昱乾的吴京因此被观众熟知,那年他24岁。与此同时,安徽省合肥市一个名叫谢楠的15岁小女孩每天蹲守在电视机前追这王思聪又有新欢?孙一宁事件后,身穿情侣装大裤衩现身太古汇近日,网友偶遇王思聪现身上海太古汇,身穿宽松亮黄大裤衩,脚踩同色系拖鞋,令人惊讶的是,身边挽着年轻高高瘦瘦的女孩子,两人同穿法国奢侈品牌巴黎世家(Balenciaga)的白色T恤,吴宗宪宣布将退出娱乐圈!到内地卖吸尘器,称在台湾当艺人没尊严9月28日,根据媒体的报道,吴宗宪宣布将隐退娱乐圈,并到内地卖吸尘器。昨天,吴宗宪与女儿吴姗儒出席活动,曝光的现场照中,吴宗宪穿着蓝色花纹上衣,下身搭配牛仔裤,头上还戴了顶帽子,整都美竹高调晒美照?剪短长发重新开始,网友要出道了?近日,都美竹又更新了动态,她在社交平台晒出一段视频,并配文别放慢步伐,我们都会成为更好的人。视频中都美竹穿深黄色波点上衣,露出精致的锁骨,脖子上还戴着项链,手里拿着一束花,心情看上