文中详细介绍的是ICLR2020当选毕业论文《INDUCTIVE MATRIX COMPLETION BASED ON GRAPH NEURAL NETWORKS》（根据图神经网络的梳理矩阵补全）。文章内容来源于华盛顿大学圣路易斯校区博士研究生、Facebook AI 研究所科学研究生物学家张牧涵。

文 | 张牧涵

编 | 丛 末

下载地址：
https://openreview.net/pdf?id=ByxxgCEYDS

编码详细地址：
https://github.com/muhanzhang/IGMC

1 摘 要

矩阵补全(Matrix Completion)被广泛运用于推荐算法中。传统式的矩阵溶解(Matrix Factorization)方式为转导推理模型(Transductive Model)，所学习培训到的embedding不可以营销推广到练习集中化未发生过的客户(user)和产品(item)。而 Inductive Matrix Completion (IMC) 实体模型应用內容信息内容(content)来补全矩阵，缺陷是对信息的产品质量标准很高，且在內容品质不行的情形下能造成远小于矩阵溶解的性能。

文中提起一种新的Inductive Graph-based Matrix Completion (IGMC) 实体模型，在维持归纳推理(inductive reasoning)的与此同时，彻底不依靠一切內容信息内容。能不依靠內容信息内容达到归纳推理的窍门就取决于子图构造。IGMC为每一个(user, item) pair获取一个包括子图(enclosing subgraph)，并且用图神经网络(graph neural network)练习一个由子图构造投射到消费者对产品得分(rating)的回归分析。

IGMC在好几个数据上获得了最现代化的性能；它不但可以适用没在练习集中化发生的客户和产品，更可以转移(transfer)到新数据上。大家应用一个在MovieLens上练习的IGMC实体模型去预测分析豆瓣电影评分，获得了很好的性能，乃至好于很多专业在豆瓣网数据信息上练习的实体模型。

2 动 机

只需大家把每一个user或item当做一个节点(node)，每一个rating当做一个边(edge)，则矩阵补全可以看成是在二分图(bipartite graph)上的链接预测分析(link prediction)问题。有别于传统式链接预测分析只关心预测分析存有性(link existence)，这儿我们要预测分析链接的值(link value)，也就是客户对宝贝的得分。

最先，大家界定包括子图(enclosing subgraph)。对一个(user, item) pair，他们的h阶包括子图是由该user、 item，全部该user、 item的h-hop内临接节点（包括h-hop），及其全部这种节点中间的边构成的图。那样的一个包括子图内存有很多针对预测分析得分有效的信息内容。举例来说，即使仅用一阶包括子图，大家还可以得到例如客户均值得分、产品均值得分、产品总计点评频次，及其很多的根据途径(path)等的构造信息内容。参与图一。

一个简便的根据途径的结构类型如下所示，倘若大家想要知道客户u0针对产品v0的得分，大家能看有多少和u0品位类似的客户u1对v0打高分数；而品位类似可以用是不是这一u1和u0以前都给某一其他的产品v1打了高分数。汇总出来，那样的一个途径特点即是：

我们可以根据查有多少那样的途径来估计u0是不是会给v0高分数。并且，全部那样的途径都被包括在一阶包含子图(1-hop enclosing subgraph)中。

大家坚信相近那样的结构类型不计其数。因而，与其说手动式界定很多那样的研讨式特点(heuristics)，比不上立即将一阶包括子图键入给一个图神经网络，用图神经网络强劲的图特点自学能力来全自动学习培训更通用性的、更有语言表达能力的特点。大家应用图神经网络练习一个由包括子图投射到得分的回归分析，试验证实，这类新的方式可以精准地预测分析得分。

3 方 法

获取每一个包括子图后，大家第一步要对这其中的节点开展标明(node labeling)。目地是为了能区别子图中节点的差异人物角色。例如我们要区别总体目标节点(target user/item)和环境节点 (context nodes)。总体目标节点标示出大家究竟要预测分析子图中哪一对(user, item)中间的得分。与此同时，我们可以区别不一样阶的隔壁邻居节点，例如一阶隔壁邻居(1-hop neighbors)和二阶邻居(2-hop neighbors)对总体目标节点的奉献水平并不相同。

大家选用了一个简便的作法，对总体目标客户(target user)，大家标明为0，对总体目标产品(target item)，大家标明为1；对i-hop的环境客户大家标明为2i，对i-hop的环境产品大家标明为2i 1。以后，大家将这种标明转换为one-hot encoding vector，做为每一个节点的原始特点键入给图神经网络。

在图神经网络(GNN)中，大家选用relational graph convolutional operator (R-GCN)做为卷积层，由于R-GCN可以从边种类中学习培训。

在其中，意味着节点在第层的矩阵的特征值， 和 为可学习培训的主要参数，意味着rating(一般从 中挑选，意味着与节点以种类边相接的隔壁邻居节点。

双层卷积神经网络后，大家将每一层結果相接获得每一个节点的最后表明：

最终，大家取总体目标客户和总体目标产品的相接的表明做为这一包括子图的最后表明：

并练习一个双层神经元网络(MLP)从子图表明重归到总体目标得分(rating)。

4 试验結果

大家仅应用一阶包括子图练习IGMC。最先，在Table 2中大家呈现了在Flixster, Douban和YahooMusic上的RMSE性能。大家的IGMC实体模型获得了state-of-the-art性能，超出了最近的别的根据图神经网络的实体模型。

在Table 3中大家展现IGMC在ML-100K 和 ML-1M上的性能。在ML-100K上，IGMC获得了较好的性能，和以前领跑的一种转导实体模型GC-MC性能同样。可是留意，GC-MC应用了另外的內容(content)特点，而IGMC彻底借助子图构造。GC-MC在没有应用content的情形下RMSE为0.910。在ML-1M上，IGMC仍滞后于别的一些转导逻辑推理的方式。大家下面深入分析这一问题。

针对ML-1M数据，大家各自将练习矩阵稀少为0.2, 0.1, 0.05, 0.01和0.001倍。Figure 2较为了GC-MC和IGMC在不一样稀少水平下的性能比照。大家发觉，尽管IGMC在sparsity=1时落伍于GC-MC，可是此后IGMC在不一样sparsity下都好于GC-MC，并且矩阵越稀少，性能优点越显著。大家猜想，根据子图特点学习培训的IGMC对稀少矩阵更鲁棒性；而根据矩阵溶解等的转导实体模型必须矩阵比较高密度(dense)才可以有好的性能。这也暗示着了IGMC在数据信息稀少的推荐算法中的发展潜力。

最终，大家检测IGMC的迁移学习性能。大家可以直接将ML-100K上练习的IGMC实体模型用以预测分析Flixster, Douban和YahooMusic。出乎意料，转移的IGMC实体模型获得了极高的性能，乃至好于一些专业在这里三个数据上练习的实体模型。这表明，不一样强烈推荐每日任务共享资源了很多同样的子图方式。

为认证这一点，大家数据可视化了一些现实的包括子图，见Figure 3。可以发觉，高得分和低评分相匹配的包括子图的确拥有非常明显的不一样；且不同数据中间共享资源很多类似的子图方式。

5 总 结

文中指出了一种根据子图特点开展归纳推理(inductive reasoning)的矩阵补全实体模型，IGMC。

根据这篇文章大家说明了仅从一阶包括子图学习图特点就可以在很多数据上做到领跑的性能，这好像暗示着更高级的联接关联并没尤其多的附加使用价值。

除此之外，大家也证实了不凭借內容(content)的inductive matrix completion (IMC)方式是一样有效的且大大超越了传统式的依靠內容的IMC方式。IGMC的很多特点，例如热敏性、稀少可扩展性等都暗示着了它的强悍发展潜力。大家期待IGMC能为引流矩阵补齐和推荐算法行业提供新的看法和启迪。

此外，依靠子图特点的链接预测分析方式早已取得了很大的取得成功，参照大家的另一篇文章“Link Prediction Based on Graph Neural Networks” ：

http://papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf

ICLR 2020 系列产品毕业论文讲解

0、ICLR 2020 大会动态性报导

新冠疫情比较严重，ICLR2020 将举行虚似大会，非州初次 AI 国际性顶会从此泡汤

新冠疫情危害，ICLR 忽然改成网上方式，2020年将变成顶会转型之时吗？

受欢迎的图人工神经网络，ICLR 2020上有什么科学研究发展趋势？

1、直播间

回看 | 华为公司诺亚方舟ICLR100分毕业论文：根据强化学习的因果关系发觉

2、Oral

01. Oral | 一种镜像文件生成式翻译机器实体模型：MGNMT

02. Oral | 附加高斯函数先验总体目标，减轻负多元性愚昧

03. Oral | 引进附加自动门计算，LSTM稍做改动，性能便媲美Transformer-XL

04. Oral | 并行处理蒙卡树检索，性能高质量，线形加快，独闯「开心消消乐」1000关！

05. Oral | 元强化学习迈入一盆凉水：不比元Q学习好是多少

06. Oral | 用群卷积创建深层、等变的胶囊网络

07. Oral | Google发布分布式系统强化学习架构SEED，性能“强过”IMPALA，可拓展数千台设备，还很便宜

3、Spotlight

01. Spotlight | 实体模型主要参数这么多，泛化能力为什么还能那么强？

02. Spotlight | 公平与精准一样关键！CMU明确提出学习培训公平表现方式，完成优化算法公平

03. Spotlight | 组成泛化能力很差？用深度神经网络结合组成求得器试一下

04. Spotlight | 加快NAS，仅用0.1秒进行检索

05. Spotlight | 华盛顿大学：图像分类中对可完成进攻的防御力（短视频讲解）

4、Poster

01. Poster | 华为公司诺亚：恰当观念，NAS与「抵抗」融合，速度提升11倍

02. Poster | 撇开卷积，双头自专注力可以表述一切卷积实际操作

03. Poster | NAS 真的很难，百度搜索媲美任意取样！华为公司得出 6 条提议

04. Poster | 清华大学提 NExT 架构，用「神经细胞实行树」学习培训可实证性

05. Poster | Google全新科学研究：用“复合型散度”量化分析实体模型生成泛化能力

06. Poster | 完爆 BERT，Google最好 NLP 预训练模型开源系统，单卡练习仅需 4 天

07. Poster | FSNet：运用卷积核概述开展深层卷积神经元网络的缩小

08. Poster | “同歩均值课堂教学”架构为无监督学习给予更鲁棒性的伪标识

09. Poster | 迅速神经元网络响应式技术性