图源：百度首页
摘要：新闻推荐是一种重要的推荐场景,其推荐效果依赖于对新闻文本信息的充分挖掘.近年来,图神经网络因其强大的高阶信息挖掘能力,在推荐领域受到了广泛关注.然而,在新闻推荐领域,鲜有研究使用异质图神经网络,而且现有的异质图推荐模型也存在信息损失问题.为了充分挖掘新闻推荐场景中新闻、 用户、 主题、 实体、 类别等之间的高阶信息,更充分的挖掘新闻的文本特征,本文提出针对新闻推荐场景的多阶元路径引导的异质图神经网络推荐模型(简称MPNRec).该模型通过构建含有更多类型节点和边的异质图充分挖掘高阶信息,从而提高推荐效果.该方法在MIND small和Adressa 1week两个公开数据集上应用,较现有各种推荐方法在各项评价指标上至少能达到2%到5%的相对提升.
关键词：新闻推荐；异质图神经网络；元路径；注意力机制
一、研究背景与意义
新闻推荐是推荐系统的重要落地实践,已有超过二十年的研究历史。在推荐系统诞生之前，人们对于新闻的获取往往需要依赖电视、广播、报纸等媒体，这些获取信息的手段存在着较大弊端，比如时效性不强、传播范围小、不考虑用户兴趣、内容分发效率低以及不能充分调动作者发文的积极性等。这一情况在推荐系统应用于新闻领域后发生了巨大转变，以千人千面为特点的个性化新闻推荐机制摆脱了这一困境，精准高效的内容分发方式极大的激发了创作者的热情，用户小众兴趣被很好满足，消费时长和消费体验大大提高，用户在阅读过程中能够体验到获得感和满足感，平台在信息流推荐中适当展示定向广告进而求得利润。这种方式兼顾了三方利益，同时形成了“发文-消费-发文”的内容生产和消费循环，保证了平台内容生态的稳定持续发展。
近年来，图神经网络（Graph Neural Networks，GNN）取得了蓬勃的发展，研究者借助于它可以更好地在图数据结构上使用深度学习模型。由于推荐系统领域和图数据结构以及神经网络的联系较为紧密，利用图神经网络来研究推荐系统是近年来的发展趋势。尽管目前基于图神经网络的新闻推荐研究已经取得了一定的成果，但是：1）虽然一些模型在聚合邻居信息时采用了注意力机制，但其权重计算没有考虑到聚合目标的语义差别。例如，对于用户侧和新闻侧, 在计算注意力得分时没有考虑到两侧聚合目的的不同。2）模型在预测时没有考虑到目标用户和目标新闻之间存在的更为复杂的网络拓扑关系, 存在early summarization 问题。即大多数模型在预测时，先采用某种图神经网络获得用户的表示和新闻的表示，而后直接使用用户侧和新闻侧的表示进行预测，没有将二者的信息进行交叉融合，这使得用户和新闻中更为复杂的拓扑关系没有被充分提取。为了解决上述问题，本文提出了一种新的多阶元路径引导的邻居交互推荐模型（Meta-Path Guided Neighbors Interaction Recommendation Model, 简称 MPNRec）。MPNRec 模型挖掘了更多元路径, 增强用户侧和新闻侧的互相融合, 有效地聚合高阶邻居信息。
二、主要内容
MPNRec模型首先对输入数据进行预处理，包括使用LDA模型获取新闻主题，采用DeepWalk模型提取用户和新闻的结构特征，利用BERT模型提取新闻文本特征等。在MPNRec模型中，共有用户、新闻、新闻类别、新闻主题、新闻实体五种节点。其中用户和新闻为相对重要的节点，用户节点上有蕴含其结构特征的向量，新闻节点上有利用新闻的标题和摘要提取的文本信息向量。新闻类别、新闻主题、新闻实体为中间节点，模型会根据一组预先定义的元路径，令用户和用户、用户和新闻、新闻和新闻产生更多联系，融合各方面的信息。
MPNRec 模型先后对新闻侧信息和用户侧信息进行聚合。在新闻侧聚合时，利用注意力机制获取和目标新闻相似的新闻邻居的信息，而后采用拼接的方式综合从各条元路径中获取的信息得到目标新闻表示, 这里不对于来自各条元路径的信息进行过早的聚合，以缓解 early summarization 问题。在用户侧聚合时，将用户的图结构信息作为查询向量，以对用户侧信息进行更好的融合。通过注意力机制获取用户阅读的历史新闻的邻居的信息后，同样采用拼接的方式综合从各条元路径获取的信息，以得到用户阅读过的各个历史新闻的表示。在聚合过程中，对不同的元路径，采取不同的聚合参数，以增强图神经网络的表达能力。
两侧信息聚合结束后，我们获得了目标新闻表示以及用户的多个历史新闻的表示。以目标新闻表示作为查询向量，再利用一个注意力机制得到目标用户的表示。注意，此处的目标新闻和目标用户的表示尽量保留了各条元路径的信息。最后，将得到的目标用户和目标新闻的表示与其他背景信息例如预测的时刻相拼接，通过多层感知机模型充分融合，计算用户对新闻的点击率来完成推荐。
三、主要结论及政策建议
为了验证本文提出的MPNRec模型在新闻推荐中的效果，本文选用了MIND small和Adressa 1week两个公开数据集进行对比实验。
综合两个数据集的对比实验结果来看,Wide&Deep,DIN和NRMS这些传统深度学习模型对信息的挖掘利用能力相近,所以限制模型效果最主要的因素在于传统深度学习模型只利用了节点自身以及一阶邻居信息,而异质图模型MPNRec利用了多种注意力机制编码高阶邻居信息,因此效果更好. 对比模型MEIRec虽然也是一个异质图推荐模型，但是其效果并不好，除了前述提到了early summarization问题之外，还有一个原因是该模型没有利用注意力机制，采样得到的高阶邻居信息噪音比较大，因此高阶信息没有被充分利用，阻碍了模型效果的提升。相比MEIRec模型，本文提出的MPNRec模型有明显的推荐效果提升，这得益于MPNRec针对新闻推荐设计的注意力等机制，一方面可以充分利用异质图上的高阶信息，另一方面使本文模型减少噪音信息的干扰。
对比模型GERL、GNewsRec和GNUD是近年来前沿的异质图推荐模型。GERL在异质图推荐中融合了注意力机制，但它在提取信息时对信息的融合做得不充分，没有充分提取新闻中的信息例如新闻的主题等。GNewsRec融合了长短期兴趣和GCN，但它没有使用注意力机制，且并不注重多方面信息的融合，GNUD模型为损失函数添加了特殊的正则化项，但它对新闻内容的特征提取仍然不充分。相比之下，本文提出的MPNRec系列模型能够综合各方面信息，对多种元路径进行深入挖掘。
除对比实验外，本文还设计了消融实验和超参数实验，进一步探索所提模型的性质。本文的消融实验分为模块消融实验、元路径消融实验、异质消融实验和采样方法实验。模块消融实验发现去除DeepWalk预训练模型、采用未考虑聚合目标的查询向量、去除交叉融合注意力、进行过早聚合，均会对模型效果造成损失，这验证了本文所提模块的有效性；元路径消融实验依次尝试去除各条元路径，指标均有不同程度的下降，这验证了使用多种元路径进行聚合的必要性。在本部分中，还讨论了不同元路径在MIND small数据集上的重要性以及加长元路径可能带来的损失；异质消融实验尝试对于不同的元路径，采用相同的参数。同质模型的指标有明显下降，这体现了在新闻推荐中引入异质信息的有效性；采样方法实验对比了随机采样邻居和按照新闻阅读量进行采样邻居，二者相差不大，并且随机采样的效果略好一些；在超参数实验中，对采样邻居个数进行了实验，实验发现MPNRec模型在邻居个数适中时具有一定的稳健性，邻居个数较少或较多可能会对模型效果造成一定的影响。
建议方面，本文认为在设计新闻推荐系统时需要考虑聚合目标的语义差别，要对构建出的多条元路径包含的信息进行充分提取，尝试避免推荐系统中的过早聚合问题，对用户侧和新闻侧的信息进行充分融合。
四、边际贡献与未来拓展
本文所提模型做出以下边际贡献：1）在新闻推荐中考虑聚合目标的语义差别，对于用户高阶信息聚合和新闻高阶邻居信息聚合采用了不同的注意力机制，更为有效地进行了特征表示。例如，当聚合用户u的历史新闻i的邻居信息时，对新闻i的基于元路径的邻居新闻中与用户u更相关的新闻赋予更高的权重；在聚合目标新闻n的邻居信息时，对目标新闻n的邻居新闻中与新闻n更相关的新闻赋予更高的权重。2）为了缓解 early summarization 问题，首先对于多条元路径的信息进行充分提取。模型利用新闻的类别、新闻的主题、新闻的实体建立更多元路径，丰富用户和新闻之间的联系。在信息聚合时不仅考虑用户和新闻, 还充分融合元路径途中的主题、类别、实体等节点的信息。其次，不对于来自于各条元路径的信息进行过早的聚合，减小信息损失。最后，通过注意力机制融合用户向量和新闻向量，充分结合用户侧和新闻侧的结构信息和语义信息。
本文仍然存在一些缺点和不足，未来可以进一步研究。首先，元路径的数量需要人工限定，未来可以尝试采用强化学习的方式选择元路径类型并实现完全的端到端训练。另外，模型的推荐效果可以在更加复杂的真实业务场景上进行进一步检验。最后，实际业务中由于异质图网络节点之间关系更为复杂，用户与新闻之间不仅有阅读关系还有点赞、分享、收藏等各种复杂关系，可以从一个更加广阔的视角提取、 融合用户侧和新闻侧的信息，缓解 early summarization 问题，这些都为模型的进一步改善提供了空间。
五、写作、投稿过程的心得体会
本文的选题“新闻推荐”来源于现实。近年来，互联网的快速发展使得新闻推荐走进了千家万户。用户打开浏览器，就能收到新闻推荐系统精选的新闻。提高个性化推荐的准确度，可以令用户迅速寻找到自身感兴趣的新闻，提升用户的满足感。为了提高新闻推荐的准确度，研究小组调研了大量的前沿文献，最终确定“图神经网络新闻推荐”作为本篇论文的选题。新闻推荐中天然带有图这一数据结构，图神经网络是近年来的新兴领域，有众多有趣的工作。将图神经网络和新闻推荐结合起来十分自然，可以提升推荐的效果，且已有一些成功的模型。研究组在对现有模型进行深入研究后，发现现有模型在信息提取、考虑用户侧和新闻侧的语义差别、避免过早聚合等方面做的还不够。针对这些问题，我们制定详细的研究框架和思路，提出了MPNRec模型。在写作和实验的不断迭代中，我们进一步明确了工作的创新点与目标。
论文的初稿完成后，研究组多次开会讨论如何进一步修改。在反复打磨之后，我们将文章投稿至《系统工程理论与实践》。期刊的评审专家和编辑老师为我们提出了许多具有建设性的意见，在反复修改之后，所投论文的水平得到了全面提高。对于引言部分，在专家们的指导下，研究组捋顺逻辑，更加强调工作的创新与贡献；在老师们的推荐与指点下，研究组在相关工作部分回顾了更多更全面的文献；模型与实验部分，我们在评审组的建议下完善了不少内容。最终，论文被《系统工程理论与实践》接收。在投稿过程中，我们深刻地感受到了所投期刊的严谨性与规范性。在此，研究组衷心感谢主编、评审专家和编辑老师的悉心指导！
本文摘编自《系统工程理论与实践》2024年,第44卷,第5期论文《多阶元路径引导的异质图神经网络新闻推荐模型》（点击题目链接全文）；
作者：王菲菲1,2, 副教授,博士,研究方向:文本分析,机器学习,统计分析；林中潭2, 硕士,研究方向:图神经网络,推荐系统；吴昆3, 工程师,研究方向:图神经网络,推荐系统；韩树庭2, 硕士,研究方向:图神经网络；孙立博2, 硕士,研究方向:图神经网络,自然语言处理；吕晓玲1,2，教授,博士,研究方向:数据科学,客户关系管理等
1. 中国人民大学 应用统计研究中心, 北京 100872;
2. 中国人民大学 统计学院, 北京 100872;
3. 字节跳动 数据推荐组, 北京 100024