Graph U-Nets
简介：
在传统图像领域，encoder-decoder结构，比如U-nets已经在许多图像像素领域有着许多成功的应用。然而在图像领域，由于池化和反池化操作在图领域的实现并没有自然的实现，导致这样的结构并没有在图网络中应用。本文提出了一种在图结构上池化和反池化的操作，池化层可以根据节点在可训练投影向量上的标量投影值，自适应地选择节点，形成较小的图。反池化层可以把池化层生成的数据恢复成带位置信息的原始结构。
Graph Pooling Layer：
图池化，首先有节点特征X，邻接矩阵A，通过一个P向量来训练节点之间的位置关系，然后通过SIGMOD(y)+TOP-K来提取top-K特征，提取完之后，保存idex，从X，A提取特征和邻接矩阵。
Graph Unpooling Layer：
学习distribution，把pool过之后的KC矩阵，和选定的节点idx，恢复成原始的NC矩阵。
只把选定位置的点设为kC的特征，NC的其他位置设为0
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 RMan's Blog！
相关推荐
2020-05-19
Neural Graph Collaborative Filtering
Abstract：传统的深度学习协同过滤，ID的嵌入是直接输入交互层，但是在NGCF中，其能捕获用户和物品之间的高阶关系。 Method：假设：Intuitively, the interacted items provide direct evidence on a user’s preference [16, 38]; analogously, the users that consume an item can be treated as the item’s features and used to measure the collaborative similarity of two items. Message Construction:$e_i$,$e_u$ 做哈达玛积，然后通过$W_2$ 转换，然后和$e_1$ 通过$W_1$ 做转换之后相加。然后除以度数乘积进行归一化。 Message Aggregation:邻居信息相加聚合在加到用户自身上和用户相加通过激活函数。 多层次卷积：很典型的图卷积矩阵定义 Model prediction:每一层都会得到用户...
2021-08-28
HGK-GNN: Heterogeneous Graph Kernel based Graph Neural Networks
Motivation 现有模型不好解决异构图 现有异构图方法缺少理论分析 Intro写作思路： 先介绍GNN以及GNN对应的理论研究，从而过渡到现有GNN模型不能解决异构图问题。（对应背景和现在的工作进度） 接下来介绍现有异构图的问题 现有异构图需要人工指定metapath，或者其他需要经验得到的东西。 缺少针对HGNN理论分析。 引出本文的核心：Graph Kernel（为什么这里不放在开头呢？因为这个东西是用来解决问题的方法，而不是问题核心。问题还是GNN，所以第一段讲的是GNN） Graph Kernel（GK）：用于评价图上两个点或者两个子结构之间相似度的东西。(一种算子) GK在同构图上的应用，但是在异构图上应用仍然存在挑战（存在什么挑战？这里讲一下是不是好一点。） 本文的工作 Contribution 提出了一个基于异构图的Graph Kernel。第一个将马氏距离（Mahalanobis distance，MD）和异构图kernel相结合，来捕获异构信息。 通过理论把graph kernel和传统的HGNN联系起来，对...
2020-12-13
Beyond Clicks Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction
BackgroundSession recommendation: Aiming to predict the next item to be interacted with a user under a specific type of behavior, and modeling user dynamic interest. Target behavior session recommendation: Considers target behavior and auxiliary behavior sequences and explores for accurate prediction. Challenges Firstly, most existing methods focus on only using the same type of user behavior as input for the next item prediction, but ignore the potential of leveraging other type of beha...
2020-07-21
AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
Motivation现有的STOA的GCN算法不能很好的将节点特征融合进拓扑结构当中。GCN在一些节点分类的任务中不能很好的融合深层的拓扑结构和节点特征。作者希望提出一种新的GCN结构，在能保持现有的GCN优点的情况下，同样能很好的融合拓扑结构和节点的特征。 Model 把图拆成两部分，生成Topology Graph和Feature Graph。 Feature Graph是根据节点的特征采用KNN构成的新的图。 然后分为三个部分，上下两个部分用独立的参数训练，中间用共享参数训练 然后$Z{CT},Z{CF}$做个两个平均值生成$Z_C$ 然后对$Z_T,Z_C,Z_F$做个一个attention生成最后的表示$Z$ Objective function$\mathcal{L}_c$相似约束 同时对Common Convolution 的两个输出，分别生成节点内部的相似度矩阵，然后希望两个Graph的相似度矩阵足够接近。 $\mathcal{L}_d$差异约束 虽然对于两个模型的$S$是相似的，但是对于两个模型的输出向量$Z$是不相似的，不然就没有学习的必要了。 $...
2020-11-13
GHashing Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
Objection： Retrieve graphs from the database similar enough to a query. Optimize the pruning stage. Background: Graph Edit Distance (GED) is a method to measure the distance between two graphs. The current similarity search, first compute the lower bound between the query and the every candidate graph and they prune the graph larger tan than the threshold. Then, they compute the exact GED in the remaining graphs. Challenges: The computation of Graph Edit Distance (GED) is NP-hard. Exis...
2021-10-13
Graph Attention Multi-Layer Perceptron
Motivation The size of the K-hop neighbors grows exponentially to the number of GNN layers (High Memory Cost). GNN has to read great amount of data of neighboring nodes to compute the single target node representation, leading to high communication cost in a distributed environment (High Communication Cost). GNN的每一次特征传播都需要拉取邻居特征，对于k层的GNN来说，每个节点需要拉取的k跳以内邻居节点特征随着层数增加以指数增加，会占用大量内存。对于稠密的连通图，每个节点在每次训练的时候几乎需要拉取全图的节点信息，造成海量的通信开销。 A commonly used approach to tackle the issues is sampling. The s...
最新文章
