论文精读对比学习在知识感知的推荐方法中的应用
论文题目:Knowledge Graph Contrastive Learning for Recommendation
前言必读
推荐系统已日益成为向用户推荐感兴趣的项目并减轻许多在线服务中的信息过载的不可或缺的装置,从电子商务平台、视频网站到在线广告。传统的推荐系统存在数据稀疏和冷启动等问题,知识图谱中丰富语义信息和结构信息能够缓解数据稀疏和冷启动等问题,提高推荐的准确度。但前提需要高质量的知识图谱,若知识图谱中三元组的质量参差不齐,可能导致无法学习到高质量的知识表示,导致推荐模型效果较差。
本文认为现有 KG 感知推荐方法的有效性在很大程度上依赖于高质量的输入知识图谱 ,并且容易受到噪声扰动。 主要面临两大难题:
1.知识图谱有大量噪声数据(项目和实体之间与主题无关的连接),导致用户偏好不准确。
从新闻事件中提取的关键实体 Zack Wheeler 是美国职业棒球大联盟 (MLB) 组织中费城费城人队的著名棒球投手。但是我们可以发现 Zack Wheeler 与两个项目(Smyrna,GA 和 UCL Reconstruction)语义无关的"嘈杂"实体相关联。虽然 Zack Wheeler 出生在Smyrna,GA(佐治亚州士麦那),并且他接受过尺侧副韧带 (UCL) 重建手术,但这两个实体与本新闻的主题不太相关,本新闻侧重体育新闻。
2、知识图谱中实体的长尾分布导致知识图谱增强项目表示的监督信号稀疏等问题。
在Yelp2018、Book、MIND三个数据集中,其知识图谱中实体的长尾分布图
我们将知识图谱质量问题和实体长尾发布问统称为 KG 噪声问题 。这种数据噪声问题将从两个角度损害项目表示的质量:
i)局部来看,项目直接聚合来自低质量的实体信息会干扰项目的关键语义信息。
ii) 全局来看,知识图谱上的信息聚合很容易过度平滑,因为大量信息可以通过一些流行的实体(例如位置名称)传播到目标节点。例如,同样出生在乔治亚州士麦那的其他人可以与职业棒球投手——Zack Wheeler 联系起来。因此,有必要赋予知识图增强监督范式有效的连接去噪能力,以便提取目标用户的真实潜在偏好,并具有不受噪声干扰的表示。为了解决上述存在的问题
本文提出了一个通用的知识图对比学习框架(KGCL)进行推荐。
具体来说,为了处理知识图谱中的关系异质性,首先提出了一种关系感知知识聚合机制 来捕获用于项目表示的实体和关系相关的上下文信号。然后,开发了一种跨视图对比学习模式,在知识图谱执行对比学习来减小知识图谱的噪声,并将去噪后的KG与用户-项目交互建模联系起来,从而可以利用外部项目语义相关性来指导跨视图自监督信号的数据增强 。
在KGCL框架中,联合对比学习和基于知识图谱结构一致性来丢弃不相关的三元组和相关项目,以实现稳定的学习用户偏好。KGCL框架
KGCL的框架如图所示,由关系感知的知识聚合,知识图谱增强和知识引导的对比学习三部分组成。
关系感知的知识聚合
本文设计了一个关系感知的知识嵌入层,将项目、相关实体和项目-实体之间的关系映射到注意力矩阵中进行特定表示,从而建立了项目、实体、关系之间的信息聚合机制。
由公式1我们可以看出,对于项目i的表示 有 本身嵌入和项目链接的加权实体e组成,对应加权实体e,其采用注意力机制进行计算(本质就是GAT加入关系(re,j) 。知识图谱增强
我们知道对比学习其核心是数据增强,通过最大化增强视图之间的相互信息,达到减少不相关实体干扰。本文对知识图谱上采用随机数据增强方案来生成两个相关的数据视图。然后,输出单个项目的知识图谱结构一致性,以反映项目对知识噪声扰动的不变性。
在对知识图谱结构进行增强后,我们获得了两个视图。为了确保基于增强视图的每个项目的一致性属性,定义项目 的知识图谱结构一致性ci与从不同视图编码的表示之间的一致性如下:
(·) 表示估计两视图的项目嵌入之间相似度的余弦函数。如果一个项目的结构一致性得分 越高,表示项目 受 KG 噪声的影响越大。知识引导的对比学习
首先,对用户-项目图进行数据增强,采用伯努利分布来生成两个掩码向量,其p的概率= 。 计算过程如下所示:
其中 (·) 表示用户-项目交互图增强函数。根据 (·)生成了两个用户-项目图和项目知识结构一致性来分别指导,并采用关系感知的知识聚合和LightGCN框架来获得项目i的高阶信息,其项目i的高阶信息获取过程如下:
最后,对比损失函数采用InfoNCE:
联合训练
将贝叶斯个性化排名(BPR)推荐损失与对比损失相结合进行联合优化
总结
本来采用关系感知的知识聚合来获得项目的嵌入(低阶),通过随机数据增强来获得两个相关数据视图,并对用户-项目图采用服从伯努利分布掩码矩阵生成两个腐蚀的用户-项目图。对两个用户-项目图采用关系感知的知识聚合和lightGCN来进行知识引导增强。
财富和潜规则的秘密财富和潜规则的秘密底层讲感情,中层讲利益,上层讲规则和分配大多人都是用肉眼看世界,因为眼见为实少数人用思想看世界,因为精神需要极少数人用规则去改变世界了解了这个框架自然就知道,极少
作家王伟小说体诗歌生态奇遇记生态奇遇记(小说体诗歌)王伟刚吃完狗肉馆的宴席便与友人道别离开独自走在凌晨两点空荡荡的街上有小风吹袭有黑色缠绕醉意朦胧中总感觉有些怪怪的后面好像有什么跟着我凭第六感!确切说应该是尾
时间就不是一个你应该关注的因素!大家好,这里是婉殇成长笔记,用有趣的话语讲述个人成长和深度思考的内容。如果觉得文章对您有所启发,可以关注我哦!祝各位开篇有益一hr发现很多人,对于时间这个因素,真的有很多的误区,或
书面反驳避免口语化争执一个是连一箱水果的快递都不能拿,拿回来就怨天怨地怨气冲天地从夜里唠叨到白天还一股没完没了势必要让天下人知道自己手不能提肩不能扛屁大点事儿都做不得的德行一个是没有时间观念没有紧迫感任
人到晚年薄情,是余生最好的底牌导语人到晚年,活得薄情一点,快乐才会更多一点。薄情这个词,看似凉薄,可实际上,对于老年人来说,却是晚年生活幸福的处世之道。老年人在一些事情上面薄情,这样的做法不仅保护了自己,还能够
重温某某,还是喜欢不知道是不是个人性格原因,我好像没有太多耐心去看同一本第二遍。更多时候我能去回忆书里的情节,重头再看一遍或者大部分,这本书将是第一本。我感到惊奇的同时,还是没有忘记摘抄喜欢或者有意
晚安每一段路,都是一种领悟今日推荐阅读慢慢地,我们都会变老,从起点走向终点,自然而必然。成长的途中,匆匆而又忙忙,跌跌而又撞撞,奔波而又小心,劳累而又费心,一生,留下什么,又得到什么。细想,活着,就该尽力活
贵州4款尴尬酒,在省内是当地人酒桌常客,在外省却没人喝贵州4款尴尬酒,在省内是当地人酒桌常客,在外省却没人喝几十年以来,贵州的白酒产量一直都位列前三居高不下,不仅产量高,白酒品牌也多,而且酒质都很不错,但这只是在本地,外省人可不这么认
四川麻辣烫,为啥东北最正宗?不久前,某知名麻辣烫品牌首次公开发行境外上市外资股的相关申请报告获得批复,令拥有超过300家麻辣烫相关企业被称为麻辣烫之乡的哈尔滨宾县,成为一时热点。一道四川街头小吃,为啥会在千里
这个品种的豆角是我吃过最好吃的,南方市场很少见,搭配排骨真香大家好,我是Allie,美好的一天从营养早餐开始,吃好早餐,一整天都精力充沛。早餐吃好午餐吃饱晚餐吃少,低油低盐清淡饮食,这是我多年的习惯,希望和朋友们一起吃出健康吃出美丽吃出好身
预防感冒咳嗽一起来做个姜糖片最近咳嗽发烧的人越来越多了,很多人都害怕自己阳了。结果弄得很焦虑,吃不下睡不着的,一点小病就跟快没命一样。我觉得还是食疗比吃药好。是药三分毒,今天跟大家分享一种人人都吃得起的生姜。