Distance Encoding – Design Provably More Powerful Graph Neural Networks for Structural Representation Learning
The problem of GNNs: 传统GNN会被1-WL test 所限制。因为节点都是以度进行区分的。 核心问题：节点分类或者连接预测并不是同构问题，但是GNN是基于WL-test的所以必须要给节点引入特征。 传统的WLtest会根据节点的度来区分节点，就会导致无法区分结构信息 在这里做两层卷积会导致节点信息都是相同，无法直接区分两个节点之间是否有连边。 全图分类会有无法区分 Distance Encoding: 采用最短路径作为特征，可以区分节点同构 同时也可以解决链接预测的问题。对每个pair都对图中的所有节点算最短距离。 对于全图的预测来说 对每个节点都进行标记，然后就能区分 采用one-hop标记，dimension最大是要卷积的距离，比如最大距离是4，则有4为0000，比如有两个节点到他的距离分布是2和3，则最后距离嵌入表示是0110，如何有两个节点是距离为4则是0002，以此类推。 得到feature就把它拼接到原始节点上进行卷积 证明： 对于层数不断增加，则区分度更好。 实验： 实验是在以节点周围结构为准的图来...
Heterogeneous Deep Graph Infomax
Heterogeneous Deep Graph InfomaxAbstractInspired by the emerging mutual information-based learning algorithm, This paper propose an unsupervised graph neural network Heterogeneous Deep Graph Infomax (HDGI) for heterogeneous graph representation learning. Author utilized the meta-path to model the structure information involving semantics in Heterogeneous graph and apply the graph convolution module and semantic-attention module to capture the individual node local representation. By maximizin...
Redundancy-Free Computation for Graph Neural Networks
Redundancy-Free Computation for Graph Neural NetworksMotivation To avoid redundant computations：减少冗余计算 HAGs are functionally equivalent to standard GNN-graphs：性能不变 An agnostic method：对所有模型都适用 对邻居上重合的的vector进行聚合，然后再传递。 HAGs把聚合的点和原来的点聚合，生成一张新图 Existing GNNs 没有顺序：GCN 有顺序：LSTM聚合 Aggregation Nodes 如果是原图的属性，就用节点的隐藏向量 如果是聚合节点，就用聚合向量。 Cost Function Algorithm
MultiSage: Empowering GCN with Contextualized Multi-Embeddings onWeb-Scale Multipartite Networks
MultiSage: Empowering GCN with Contextualized Multi-Embeddings onWeb-Scale Multipartite NetworksAbstractExisting GCNs mostly work on homogeneous graphs and consider a single embedding for each node, which do not sufficiently model the multi-facet nature and complex interaction of nodes in real worldnetworks. Here, author present a contextualized GCN engine by modeling the multipartite networks of target nodes and their intermediate context nodes that specify the contexts of their interaction...
An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph
AbstractProblem Most existing HIN-based methods rely on explicit path reachability to leverage path-based semantic relatedness between users and items, e.g., metapath-based similarities. These methods are hard to use and integrate since path connections are sparse or noisy, and are often of different lengths. 现有的方法，依赖于物品和用户之间的语义构成的路径，比如metapath的相似度。这些方法在遇到路径很稀少、充满噪音或长度不一致时会导致表示能力的下降。 Other graph-based methods aim to learn effective heterogeneous network representations by compressing node to...
AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
Motivation现有的STOA的GCN算法不能很好的将节点特征融合进拓扑结构当中。GCN在一些节点分类的任务中不能很好的融合深层的拓扑结构和节点特征。作者希望提出一种新的GCN结构，在能保持现有的GCN优点的情况下，同样能很好的融合拓扑结构和节点的特征。 Model 把图拆成两部分，生成Topology Graph和Feature Graph。 Feature Graph是根据节点的特征采用KNN构成的新的图。 然后分为三个部分，上下两个部分用独立的参数训练，中间用共享参数训练 然后$Z{CT},Z{CF}$做个两个平均值生成$Z_C$ 然后对$Z_T,Z_C,Z_F$做个一个attention生成最后的表示$Z$ Objective function$\mathcal{L}_c$相似约束 同时对Common Convolution 的两个输出，分别生成节点内部的相似度矩阵，然后希望两个Graph的相似度矩阵足够接近。 $\mathcal{L}_d$差异约束 虽然对于两个模型的$S$是相似的，但是对于两个模型的输出向量$Z$是不相似的，不然就没有学习的必要了。 $...
最新文章
