论文链接：https://arxiv.org/pdf/2502.01113

项目主页：https://rmanluo.github.io/gfm-rag/

TL;DR: GFM-RAG是第一个适用于大语言模型检索增强的图基础模型。

摘要

检索增强生成（RAG）在将知识集成到大语言模型（LLM）方面已被证明是有效的。然而，传统的RAG难以捕捉知识片段之间的复杂关系，这限制了它们在需要集成多来源知识的复杂推理中的表现。最近，图增强检索增强生成（GraphRAG）构建图结构来显式地对这些关系建模，从而实现更有效和高效的检索器。然而，它的性能仍然受到图结构内的噪声和不完整性的阻碍。为了解决这个问题，我们引入了一种用于检索增强生成的图基础模型（GFM）。GFM-RAG由图神经网络作为基本架构，该网络可以对图结构进行推理，以捕获复杂的查询-知识关系。具有8M参数的GFM在包含60个知识图、超过14M个三元组和700k个文档的大规模数据集上经历了两个阶段的训练过程。这为GFM-RAG带来了更强的性能和通用性，使其成为第一个适用于不可见数据集的图基础模型，无需任何微调即可进行检索。

主要贡献

1. 文章提出了一种适用于大语言模型检索增强的图基础模型（GFM-RAG）,该模型由一种与查询依赖GNN提供支持，可以在单个步骤内实现高效的多步检索。
2. 文章训练了一个参数量为8M的模型，标志着第一个可以直接应用于各种未知数据集的检索增强生成的图基础模型的诞生。
3. 我们在三个多跳QA数据集和七个特定领域RAG数据集上评估了GFM-RAG，它在所有数据集上实现了最先进的性能，证明了它的有效、高效、通用性，以及成为进一步增强生成研究的基础模型的潜力。

模型

GFM-RAG由三个主要部分组成：A. 构建知识图谱索引，从文档语料库中构建知识图谱索引；B. 图基础模型检索器（GFM retriever），在大规模数据集上预先训练，可根据任何用户查询和知识图谱索引检索文档；C. 文档排序和答案生成，对检索到的文档进行排序并生成最终答案。具体的GFM-RAG的框架以及图基础模型的训练过程如图1所示。

图1 GFM-RAG的框架以及图基础模型的训练过程

KG-index构建

给定一组文档$D$，首先从文档中提取实体E和关系$R$以形成三元组$T$。然后，构造到文档的实体倒排索引$M\in{0,1}^{|E|\times|D|}$来记录每个文档中提到的实体。为了更好地捕捉知识之间的联系，需要进一步进行实体解析(entity resolution) ，在语义相似的实体之间添加额外的边$T^+$。

图基础模型（GFM）检索器

查询依赖GNNs在捕获查询特定信息和对未见图的可泛化性方面表现出色，这对于GFM检索器至关重要，它允许GFM检索器根据用户查询动态调整消息传递过程，并在图中找到最相关的信息。可以表述为：$H_q^L=GNN_q(q,G,H^0)$，其中$H^0\in\mathbb{R}^{|E|\times d}$是初始实体特征，$G$是知识图谱，$q$是查询，$H_q^L$表示在查询$q$条件下经过$L$层查询以来的消息传递后更新的实体表示。

查询初始化

给定一个查询$q$，先用文本嵌入模型将其编码成一个查询向量：$\mathbf{q}=\text{SentenceEmb}(q),\mathbf{q}\in\mathbb{R}^{d}$。然后用其初始化实体表示：

其中$E_q$是查询$q$中的提到实体集合。

查询依赖信息传播

查询依赖的消息传递将从问题实体向知识图中的其他实体传播信息，以捕捉它们与查询的相关性。

经过$L$层消息传递后，最后的MLP层结合sigmoid函数将实体嵌入映射到与查询的相关性得分。

训练目标

GFM检索器的训练目标是最大化相关实体与查询的似然，可以通过最小化二进制交叉熵（binarycross-entropy, BCE）损失来优化：

其中$A_q$表示与查询q相关的目标实体集合，$E^{\texttt{-}}$是负样本实体集合。

然而，由于目标实体的稀疏性，BCE损失可能存在梯度消失问题。为了解决这个问题，我们进一步引入了排序损失来最大化正负实体之间的差值：

最终的训练目标是BCE损失和排名损失的加权组合：

训练任务

GFM-RAG的训练分为两个阶段：1）自监督预训练阶段，通过在大规模知识图谱上采样的三元组生成人造查询进行训练，增强其图推理的能力；2）微调阶段，在真实标注的数据集上进行微调，以提高模型在下游任务的性能和泛化能力。

文档排序和答案生成

给定GFM检索器预测的实体相关性得分$P_q\in\mathbb{R}^{|E|\times 1}$，我们首先检索相关度得分最高的top-T实体$E_q^{T}$如下：

这些检索到的实体被文档排序器用来获得最终的文档。为了减少热门实体的影响，我们通过它们作为文档倒排索引M\in{0,1}^{|E|\times|D|}中提到的实体的频率的倒数来对实体进行加权，并通过将权重相加来计算最终的文档相关性分数：

根据文档相关性得分$P_d$检索top-K文档，并以检索增强生成方式馈送到LLM的上下文中，以生成最终答案：

实验设置

数据集

首先评估了GFM-RAG在三种广泛使用的多跳QA数据集上的有效性，包括Hot-potQA、MuSiQue、2WikiMultiHopQA (2Wiki)。

此外，文章还评估了GFM-RAG在来自三个领域的七个RAG数据集上的性能，以此来证明GFM-RAG作为基础模型的通用性。(1) biomedical: PubMedQ; (2) customer support: DelucionQ, TechQ, ExpertQA, EManual; (3) general knowledge: MS Marco, HAGRID。

表1 用于测试的数据集与知识图谱索引的统计

对比方法

在实验中，文章与三个类别下几个广泛使用的检索方法进行了比较：

（1）单步朴素方法：BM2、Contriever、GTR、ColBERTv2、RAPTOR、Proposition；

（2）图增强方法：LightRAG、HippoRAG；

（3）多步骤方法：IRCoT。

评价指标

对于检索性能，文章使用recall@2 (R@2)和recall@5 (R@5)作为评估指标。

对于最终的QA性能，文章使用之前研究中的EM分数和F1分数。

实现细节

GFM检索器由6个与查询相关的消息传递层实现，隐藏维度设置为512。采用预训练的all-mpnet-v2作为句子嵌入模型。GFM检索器的总参数为8M，在8台NVIDIA A100(80G)上进行训练，batch size为4，learning rate为5e-4, loss weight α= 0.3。训练数据包含60公斤数和超过14M个三元组，这些三元组是从训练集中提取的700k个文档中构建的。

表2 用于训练的查询文档与知识图谱的统计

实验结果

检索性能

文章首先对三个多跳QA数据集的基线进行了GFM-RAG检索性能的评估。如表3所示，GFM-RAG在所有数据集上都取得了最好的性能，在HotpotQA、MuSiQue和2Wiki上R@2分别比SOTA IRCoT + HippoRAG高出16.8%、8.3%和19.8%。实验结果证明了GFM-RAG在多跳检索中的有效性。从结果可以看出，图增强的HippoRAG优于单纯的单步检索器（如BM25、RAPTOR），这凸显了图结构在多跳检索中的重要性。

表3 检索性能比较

问答性能

第二，文章评估了GFM-RAG的QA性能，这直接影响了用户的检索质量。文章选用GPT-4o-mini作为大语言模型，并使用检索到的前5个文档生成答案。从表4所示的结果来看，单步GFM-RAG已经在所有其他基线上取得了最先进的性能。同时，我们还将GFM-RAG与IRCoT相结合，进行多步检索和推理，进一步提高了EM在三个数据集上的性能，分别提高了8.5%、21.2%和3.9%。结果表明，GFM-RAG与任意多步框架在多跳推理任务中的有效性和良好的兼容性。

表4 问答性能对比

效率分析

GFM-RAG在单步进行多步推理方面取得了很高的效率。如表5所示，朴素的单步推理方法效率最高，但性能并不令人满意。诚然，多步骤框架IRCoT可以提高性能，但由于要使用LLMs进行迭代检索和推理，其计算成本较高。相比之下，GFM-RAG在单步GNN推理中进行多跳推理，比单步方法更有效，比多步方法更高效。

表5 检索效率和性能比较

消融实验

文章进行了消融研究，来考察GFM-RAG中不同组成部分的有效性，包括不同的句子嵌入模型（表6）、预训练策略（表7）和损失加权策略（表8）。结果表明，GFM-RAG对不同的句子嵌入模型并不敏感，预训练策略和损失加权策略对GFM-RAG的性能都至关重要。

表6 GFM-RAG中使用的不同句子嵌入模型的比较

表7 GFM-RAG中预训练和微调的有效性

表8 GFM-RAG中损失加权策略的影响

模型的可泛化性

为了证明GFM-RAG作为基础模型的通用性，文章在不做任何微调的情况下，在七个特定领域的RAG数据集上测试了GFM-RAG的性能（R@5）。首先，根据每个数据集中的文档建立知识图谱索引。接着，在给定查询的情况下，我们使用预先训练好的GFM Retriever，在相应KG-index的帮助下检索出Top-K文档。如图2所示，GFM-RAG在所有数据集上都取得了最佳性能，平均比SOTA HippoRAG高出18.9%，证明了GFM-RAG作为基础模型的通用性，无需任何微调即可直接应用于各种未见数据集。此外，表9中的结果表明，GFM-RAG具有很强的可移植性，可在特定领域数据集上进行微调，从而进一步提高性能。

图2 模型性能和通用性比较。

表9 模型性能（R@5）和可迁移性比较

模型性能缩放定律

我们进一步研究了GFM-RAG的神经缩放定律，它量化了模型性能如何随训练数据规模和模型参数大小而增长。如图3所示，GFM-RAG的性能（MRR：z）与训练数据（x）和模型大小（y）呈良好的比例关系：$z \propto 0.24x^{0.05} + 0.11y^{0.03}$，可以用幂律缩放定律来拟合。结果表明了GFM-RAG作为基础模型的可扩展性和进一步提升的潜力。

图3 GFM-RAG的模型性能缩放定律。

模型的可解释性

GFM-RAG由于多层的GNN结构，使其具有很好的多跳推理能力。我们可以通过展现GNN捕捉到的重要路径信息，来解释其推理过程。路径对最终预测的重要性可以通过最终预测分对每一层（跳）的三元组的偏导数来量化。

如图4所示，GFM-RAG在多跳推理中捕捉到了重要的路径信息，这有助于解释模型的推理流程。

表10 GFM捕获的用于多跳推理的重要路径。

结论

这篇文章介绍了首个用于检索增强生成的图基础模型。通过利用知识图索引，GFM-RAG对知识与文档之间的复杂关系进行了明确建模，从而促进了更有效、更高效的检索过程。依赖于在大规模数据集上进行预训练的GNN，GFM-RAG可以有效地对图结构执行多跳推理，从而在一个步骤中找到相关的知识边。在三个基准数据集和七个特定领域数据集上进行的广泛实验表明，GFM-RAG在有效性、效率和通用性方面明显优于最先进的方法。同时，GFM-RAG符合扩展规律，这也表明它有潜力扩展到更大的数据集。

简单搜搜索了一下，发现有openconnect这个开源的解决方案。但是使用后发现，学校的VPN使用了sso + 2fa的登录方式，openconnect并不支持。

进一步搜索之后，发现了openconnect-sso这个项目，其在openconnect基础上封装了一层，调用网页浏览器，支持sso + 2fa登录。因此我打算将其封装到docker中，并通过X11访问网页浏览器，完成认证。

Docker-openconnect-sso

最终项目地址：https://github.com/RManLuo/docker-openconnect-sso

使用方法

配置docker环境

配置X11环境

Windows

教程

1. 在 Windows 上下载 VcXsrv 并安装
2. 第一步的设置窗口状态怎么选关系不大，我一般是用 One large window ，默认的 Multiple windows 在多屏情况下显示会有一些问题。然后 Display number 可以用默认的 -1 ，或者设置成 0
3. 下一步，选择 Start no client 。
4. 下一步，选项全部勾上 (特别是“Disable access control”)，Additional parameters 不用管。

Mac

教程

1. 安装XQuartz: brew install xquartz --cask
2. 安装后通过 应用-实用工具-XQuartz 可启动 XQuartz 程序
3. 在命令行中设置 DISPLAY 环境变量：export DISPLAY=:0，关闭access control：xhost +

启动docker容器

1

docker run -itd --privileged --name=anyconnect-sso-x11 -v /dev/shm:/dev/shm -v /tmp/.X11-unix:/tmp/.X11-unix -e SERVER_NAME=${SERVER_NAME} -e USER_NAME=${USER_NAME} -e DISPLAY=host.docker.internal:0.0 -p 127.0.0.1:10081:1080 --restart=unless-stopped rmanluo/openconnect-sso-x11:latest

请将 SERVER_NAME 和 USER_NAME 替换为您自己的。

样例：

docker run -itd —privileged —name=anyconnect-sso-x11 -v /dev/shm:/dev/shm -v /tmp/.X11-unix:/tmp/.X11-unix -e SERVER_NAME=vpn.xx.edu -e USER_NAME=xxx@xx.edu -e DISPLAY=host.docker.internal:0.0 -p 127.0.0.1:10081:1080 —restart=unless-stopped rmanluo/openconnect-sso-x11:latest

理论会弹出浏览器窗口，输入密码即可登录。

Note 如果未弹出浏览器窗口，请检查X11是否配置正确。

完成2FA验证

docker会在本地10081端口启动socks5代理，可以通过代理访问内网资源。

1. KGs store facts in their graph structure. KGs embedding represents KGs in a low-dimension vector space which preserves the inherent structure of KGs.

2. Recent studies apply PLMs to encode text information and generate representations for long-tail and emerging entities.

3. KG embeddings with PLMs are usually deployed as static, which is challenging to modify without re-training.

   

KG embeddings editing

Editing language model-based KG embeddings, which aims to enable data-efficient and fast updates to KG embeddings for a small region of parametric space without influencing the performance of the rest.

KG embeddings editing= learning-to-update problems.

Contributions

1. Propose a new task of editing language model-based KG embeddings and present twodatasets.
2. Introduce the KGEditor that can efficiently modify incorrect knowledge or add new knowledge.

Methodology

Task Definition

KG: $G=(\mathcal{E},\mathcal{R},\mathcal{T})$

EDIT task: $(h,r,y,a)$ or $(y,r,h,a)$, $y$ denote the wrong or outdated entity, $a$ denote the target entity we want to replace.

Example:

1

<Barack Obama, president of, U.S.A.> => <Barack Obama, president of, U.S.A., Joe Biden>

Evaluation principles:

1. Knowledge reliability: edited or newly added knowledge should be correctly inferred=> Knowledge graph completion metrics: Success\@1

2. Knowledge locality: editing KG embeddings will not affect the rest of other facts=> Retain Knowledge (RK\@k).

   

   The entities predicted by the original model are still correctly inferred by the edited model.

   Edited Knowledge Rate of Change and Retaining Knowledge Rate of Change

   

3. Knowledge efficiency: modify a model with low training resources=>number of tuning parameters

Datasets

Pre-process: Remove simple facts can be easily predicted by PLMs.

Edit task:

1. Training: KGs generated by link prediction model (could contain error)
2. Testing: original KGs

ADD task:

1. Training: original KGs.
2. Testing: inductive new facts.

PLMs-based KGE

Finetuning KGE

Prompt tuning KGE

KGE Editing baselines

External model-based editor

Edit wrong knowledge in language models by utilizing a hyper network to predict the weight update during inference.

Cons: Need to fine tune a large number of parameters.

Additional parameter-based editor

Modify the output by another small model.

Cons:Poor in performance.

KGE editor

Results

1. Traditional embedding-based TKGC models (TKGE) rely on structured connections cannot handle unseen entities.
2. Symbolic rule methods suffer from inflexibility of symbolic logic.
3. PLMs are pre-trained in large-scale corpora, so they are not adapted to particular domains and cannot handle temporally-scoped facts.

Previous works

TLogic utilizes temporal random walks to get temporal logical rules in symbolic form. When TLogic applies the found rules to answer questions, it must precisely match each relation and timestamp in the rules, including relation types, relation order and time order. If there are no matching body groundings in the graph, then no answers will be predicted for the given questions.

Previous PLMs are treated as a simple text encoder to incorporate text information, which ignores the structure information.

Contributions

1. Propose SST-BERT, a model that incorporates Structured Sentences (constructed from relation paths and historical descriptions) with Time-enhanced BERT
2. The structured sentences enable SST-BERT to learn in semantic space, overcoming the symbolic restrictions in TLogic.
3. Propose a pre-training task that involves time masking to enable SST-BERT to focus on time-sensitive facts.

Methods

Structured sentences

They convert symbolic edges into natural language sentences and capture the semantic logic hidden behind the relation paths.

Limitations: need to define a prompt template for each relation type.

They argue that the old facts in the perspective of time offer vital background information for the target quadruples

They randomly select one edge which is not included in the relation paths as an old fact and regard it as a historical description to reflect the evolution of facts.

Usually, these historical descriptions are semantically relevant to target quadruples and act as rich historical knowledge related to target entities. Furthermore, in the fully-inductive setting, the degrees of most entities are small, which means the ideal paths connecting target entities are limited and result in little information

Time Masking Pre-training Module

PLMs are pre-trained in noisy and generally purposed opendomain corpora, so PLMs are not effective for applications on timespecific downstream tasks

Construct pre-training corpus using structured sentences extracted from all training quadruples.

Because each edge in the training TKGs is considered positive, all the generated sentences for it can be regarded as logically supporting the establishment of the edge to some extent.

Time-masking pre-training

They focus on the time tokens, and 25% of the temporal expressions in $T$ are randomly sampled.

TempBert Scoring Module

Use embedding at [CLS] generated by PLMs as entity/relation representations.

Time-encoding

Score functions

Training Objects

For each quadruple, we can have $N$ sentences, which denotes $N$ predictions. Weight them by timestamps.

Experiments

Transductive

Inductive

Explainability

Problems

Information leakage in the pretrained PLMs?

TL;DR: The major motivation behind this method is: they use Jackknife to estimate the distribution of error, then it use a threshold to find the upper- and lower-bound of the error in the distribution, which is used for quantifying the uncertainty.

Quantifying the uncertainty over the predictions of existing deep learning models remains a challenging problem.

Deep learning models are increasingly popular in various application domains. A key question often asked of such model is “Can we trust this particular model prediction?” This is highly relevant applications wherein predictions are used to inform critical decision-making.

Existing methods for uncertainty estimation are based on Bayesian neural network. They do not guarantee (1) cover the true prediction targets with high probability (2) discriminate between high- and low-confidence prediction.

• Frequentist coverage: denotes whether the estimated confidence interval cover the data points.

• Discrimination: denotes whether the model is able to discriminate
  high-confidence predictions (regions with dense training data) and low-confidence ones (regions with scarce training data).

Existing methods for uncertainty estimation are based predominantly on Bayesian neural networks.

• Bayesian neural networks require significant modifications to the training procedure.
• Approximate the posterior distributions could jeopardize both the coverage and discrimination performance of the resulting credible intervals.

Contributions

• Propose the discriminative jackknife (DJ) to estimate the uncertainty over samples inspired by the jackknife leave-one-out (LOO) re-sampling procedure

• To avoid exhaustively re-training the model for each sample, they adopt the high-order influence function to approximate the impact of each sample.

• DJ is post-hoc to the model training. It is capable of improving coverage and discrimination without any modifications to the underlying predictive model.

Preliminaries

Learning setup

Considering a standard supervised learning setup, we try to minimize the prediction loss on the training data $\mathcal{D}n = {(x_i, y_i)}{i=1}^n$.

Uncertainty Quantification

We aim to estimate the uncertainty in the model’s prediction though the pointwise confidence interval $\mathcal{C}(x;\hat{\theta})$.

The degree of uncertainty in the model’s prediction is quantified by the interval width

Frequentist coverage

This is satisfied if the confidence interval $\mathcal{C}(x;\hat{\theta})$ covers the true target $y$ with a prespecified coverage probability of $(1-\alpha), \alpha \in (0,1)$.

discrimination

The confidence interval is wider for test points with less accurate predictions.

Discriminative Jackknife

Classical Jackknife

The jackknife quantifies predictive uncertainty in terms of the average prediction error, which is estimated via leave-one-out (LOO) construction found by systematically leaving out each sample in $\mathcal{D}_n$, and evaluating the error of the restrained model on the left-out samples.

For a target coverage of $(1-\alpha)$, the native jackknife is


$\mathcal{\hat Q}_\alpha^+(\mathcal{R})$: $(1-\alpha)(n+1)$-th smallest element of $\mathcal{R}$.

The interval width is constant, which renders discrimination impossible.

DJ Confidence Intervals

The $\mathcal{G}_{\alpha,\gamma}$ is a quantile function applied on the elements of the sets of marginal prediction errors $\mathcal{R}$ and local prediction variability $\mathcal{V}$.

• The prediction error is constant, i.e., does not depend on $x$, hence it only contributes to coverage but does not contribute to discrimination.

• The local variability term depends on $x$, hence it fully determines the discrimination performance.

The confidence interval is bounded by

Efficient Implementation via Influence Functions

Approximate the $\hat\theta_i$ using the high-order influence function.
Influence functions enable efficient computation of the effect of a training data point $(x_i,y_i)$ on $\hat\theta$. This is achieved by evaluating the change in $\hat\theta$, if $(x_i,y_i)$ was up-weighted by a small factor $\epsilon$.

Removing a training point is equivalent to upweighting it by $\frac{-1}{n}$.

Experiments

现实世界中有这么个问题：有这么一系列历史事件，每个事件都有其对应的发生时间，也有其所属的事件类型，基于这一系列历史事件，预测下一个要发生的是什么类型的事件，以及其发生的时间。

点过程可以对一系列历史事件建模，来解决此预测问题。

时序点过程的计算：

给定一系列历史事件：

点过程的核心是强度函数$\lambda(t)$，其定义方式如下

定义方式是由极短时间内的平均发生事件次数除以时间段长度。其表示的含义是在给定一段历史事件的序列时，在之后的极小的一段时间中事件发生的概率。

又由于随着时间的推移，事件可能在之后任意一个时间点发生，对于在这个极小的时间段中事件发生的概率我们又可以定义为：

其表示的是事件在时间t当下发生的的概率除以时间t到未来中发生的概率。

又由于

所以

因此生存函数$S^*(t)$的定义如下：

因此事件发生的概率密度可以写成：

就此，我们只需要定义强度函数$\lambda(t)$就可以得到事件在每一个时刻的发生概率，然后用优化似然函数的方式得到具体的参数。

参考资料

1. Recent Advance in Temporal Point Process: from Machine Learning Perspective
2. Temporal Point Processes Learning for Event Sequences
3. 时序点过程学习笔记
4. AICUG公开课笔记|时序点过程在游戏玩家行为事件预测中的应用

总体浏览

期刊论文通常篇幅较长，审稿时候可以做的决断从好到坏有3个：minor revision, major revision (有些期刊为reject & resubmit), reject.

看完文章之后可以大概心里做个if-else的判断，是否直接reject 或者给作者修改机会。如果一个文章在idea, 实验，写作方面较差，则可以直接拒绝。或者一个文章虽然写得还行，但是期刊level 很高，文章不达到要求（比如理论不充足，没有足够多contribution)，也可以拒绝。当觉得文章还可以，值得给一个修改机会时候。

审稿意见

审稿意见通常包括两部分：一段summary, 总结文章研究内容+总体评价。第二部分是actionable comments。写期刊审稿意见时，应该侧重于给actionable comments, 即作者看完应该能知道怎么修改的comments。不要给模凌两可的意见或者一味批评而读者不知道如何改的意见。

actionable item 分几类：

1. 一类是clarification, 这些只需要做简单修改；

2. 一类是添加内容，比如加motivation，加某个东西的介绍，加时间复杂度分析，指出和xx 工作的区别；

3. 一类是对比，比如数据集太小，试验不充分，需要加更大数据集；比如baseline 太旧，需要加新的。

还有一类其实更难的，是novelty 不足，idea 不新，这个基本就差不多可以拒了。

和会议审稿不同，审期刊没必要列3点positive comments 和3点negative comments. 为什么呢，因为这些不是actionable comments.

由于期刊通常需要多次修改才能被接收。所以一般第一审给major revision。然后第二次可以是minor, 第三次是accept. 当然如果质量很好，可以在R1时候给accept.

移动竟然没有对IPV6限速，我挂种子可以轻易跑出G口的网速。

之前家里的NAS是用SMB协议进行串流的，在局域网的时候SMB速度还行，但是变成公网之后SMB速度就太感人了。通过调研了FTP，SMB，WebDAV之后发现，WebDAV是在HTTP协议之上研发的，相比SMB有很好的文件传输效率，同时又有比FTP更高的安全性。因此研究如何在Ubuntu上部署WebDAV网盘，方便串流视频。

自己测试表明WebDAV基本可以跑满带宽（50M），SMB协议则只有8M左右。

WebDAV

SMB

在Ubuntu上使用的WebDAV的方法有多种：Apache2，Nginx，Caddy。Nginx和Caddy都需要额外安装模块才能实现最完整的WebDAV功能（下载、上传、修改），因此我推荐使用Apache部署WebDAV。

安装apache2

使用apt安装 apache2

sudo apt install apache2

激活 WebDAV 相关组件

1
2

a2enmod dav_fs
a2enmod dav 

创建配置文件

sudo nano /etc/apache2/sites-enable/webdav.conf

请注意，和nginx不一样，如果要改端口要在/etc/apache2/ports.conf修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

<VirtualHost *:8888>
    ServerAdmin webmaster@localhost
    DocumentRoot /mnt/sda1
    #ErrorLog ${APACHE_LOG_DIR}/error.log
    #CustomLog ${APACHE_LOG_DIR}/access.log combined
    #DavLockDB "/var/www/DavLock" # 注释掉，默认路径，很多教程都会指定这个，权限设置不对很可能导致无法创建文件。
    <Directory /mnt/sda1>
        Options Indexes MultiViews
        AllowOverride None
        Order allow,deny
        allow from all
    </Directory>
    #Alias /webdav /mnt/sda1

    <Location />
       DAV On
       AuthType Basic
       AuthName "rman" # 用户名，可以自定义
       AuthUserFile /etc/apache2/webdav.password # 密码文件
       Require valid-user
    </Location>
<VirtualHost>

生成密码

htpasswd -c /etc/apache2/webdav.password rman

最后为用户名，然后输入密码。

最后重启Apache2即可，并设为开机启动。

sudo systemctl enable apache2

sudo systemctl restart apache2

至此WebDAV就配置好了，可以直接通过浏览器或者其他客户端访问

http://ip:port/。

效果展示

一开始直接想通过国内服务器搭建一个代理，但是国内VPS带宽实在捉急，听个无损都要缓冲，体验太差了。在网上搜索，发现有这样一个项目可以帮助我们解决问题：https://github.com/nondanee/UnblockNeteaseMusic

项目分析

该项目的主要功能如下：

1. 为请求增加 X-Real-IP 参数解锁海外限制，支持指定网易云服务器 IP

2. 使用 QQ / 虾米 / 百度 / 酷狗 / 酷我 / 咪咕 / JOOX 音源替换变灰歌曲链接

3. 完整的流量代理功能 (HTTP / HTTPS)，可直接作为系统代理 (同时支持 PAC)

功能1是我研究这个项目的初衷，我希望能在不用翻回国的情况下解锁网易云的海外限制。通过这个项目看来，网易云是通过X-Real-IP这个请求头来判断IP的。稍微熟悉网络安全的同学都知道，取IP应该用 REMOTE_ADDR，这个是不可伪造的，而X-Real-IP和X-Forward都是可以伪造的，因此此项目通过代理，修改了网易云音乐的包头，从而使得网易云无法正确判断我们的位置。

该项目如何修改我们的发包头呢？因为此项目是一个代理的形式提供服务，对HTTP流量可以直接修改，但是对于HTTPS流量就无能为力了。为此该项目采用了两种方法：1.流量降级。2.中间人攻击。第一种方法是，当检测到流量是https的时候就返回一个空，这时候网易云音乐客户端会重新以http的形式连接，从而可以修改包头。第二种方法，是用自定义证书替换网易云音乐的证书，因此可以通过中间人解密修改流量。

这个bug的修正其实非常简单，不懂为啥网易云一直没有修复，其实只需要将IP的取值来源换成REMOTE_ADDR即可。

对于功能2，其实就是对网易云音乐没有版权的歌曲，自动通过其他音乐源获取同名歌曲替换即可。此时网易云就只是一个没有感情的UI界面+收藏+推荐的软件了，正好也符合我的需求，本来我就只需要它的私人FM功能。

功能3是实现1,2的根源，通过一个代理的形式对流量进行修改，从而达到解锁的效果。同时既可以在本地搭建也可在云服务器搭建，给多个设备使用。后文我将介绍如何在云服务器搭建，从而给多个设备使用。

项目部署

由于源项目太久没有更新，我采用此项目所提供的的一个docker方式快捷部署。

服务端执行：

1

docker run  -d -p 8080:8080  -m 300M --memory-swap -1 -e ENABLE_LOCAL_VIP=true -e NO_CACHE=true -e ENABLE_FLAC=true -e NODE_ENV=production --restart=always --log-opt max-size=10m --name=win_music pan93412/unblock-netease-music-enhanced -e https://music.163.com

此时会在VPS上开启8080端口的http服务。由于该项目有内存溢出情况，所以设置了内存限制。此指令已经亲自测试在所有客户端都可用。

项目使用

Windows

windows客户端非常好使用，直接在设置-工具-http代理处填写你的服务器ip和端口号（默认是8080）即可。

IOS

IOS由于无法直接通过流量降级发送http流量，因此采用安装证书，用中间人攻击方式修改流量。

在Safari上打开如此地址安装并信任证书。在设置 > 通用 > 关于本机 > 证书信任设置，手动信任证书。

IOS推荐采用Shadowrockt方式添加http代理。如果不想麻烦可以直接开全局代理，或者用如下规则：

https://gist.githubusercontent.com/RManLuo/8b7b913298608d47778447012a6b8438/raw/69ba50bdc836e6140cdd8ae5f170b82767d950d7/music.conf

MAC

MacOS和IOS类似，需要安装证书，同时可以用Clash等软件分流。

安卓

安卓推荐用Clash设置代理并进行分流，可用规则如下

https://github.com/DesperadoJ/Rules-for-UnblockNeteaseMusic/tree/master/Clash

其他参考资料

Linux 客户端食用指南：https://github.com/nondanee/UnblockNeteaseMusic/issues/208

iOS配置经验分享： https://github.com/nondanee/UnblockNeteaseMusic/issues/368

iOS 食用指南#65：https://github.com/nondanee/UnblockNeteaseMusic/issues/65

一个可以使用的教程#444： https://github.com/nondanee/UnblockNeteaseMusic/issues/444

教學：如何修正 UnblockNeteaseMusic 的「播放失敗」問題（酷我、QQ、周杰倫）#746： https://github.com/nondanee/UnblockNeteaseMusic/issues/746

UnblockNeteaseMusic - 解锁网易云音乐客户端变灰歌曲：https://redn3ck.github.io/2020/06/23/UnblockNeteaseMusic-解锁网易云音乐客户端变灰歌曲

• The size of the K-hop neighbors grows exponentially to the number of GNN layers (High Memory Cost).

• GNN has to read great amount of data of neighboring nodes to compute the single target node representation, leading to high communication cost in a distributed environment (High Communication Cost).

GNN的每一次特征传播都需要拉取邻居特征，对于k层的GNN来说，每个节点需要拉取的k跳以内邻居节点特征随着层数增加以指数增加，会占用大量内存。对于稠密的连通图，每个节点在每次训练的时候几乎需要拉取全图的节点信息，造成海量的通信开销。

• A commonly used approach to tackle the issues is sampling.

  • The sampling quality highly influences the model performance, and it still needs communication in each step (reduce neighbors ).

  Sampling的方法虽然可以减少邻居数量，减轻内存压力，但是仍要消息传递。

• Some method (e.g., SGC) decouples the feature propagation and the non-linear transformation process.

  • The feature propagation is executed during pre-processing.

  • Only the nodes of training set get involved in the model training.

  • The decoupling methods are more suitable for distributed training.

    现有方法分离消息传递和非线性变化，提取收集好特征，后期直接用全连接变化即可。

Challenges

• The decoupling methods adopting fixed layers of feature propagation, leading to a fixed RF of nodes.
• The local information and long-range dependencies cannot be fully leveraged at the same time.
• This makes them lack the flexibility to model the interesting correlations on node features under different reception fields.

我们通过一个简单的示例来说明这个问题。图4中有1个被标蓝的节点并位于图中相对稠密的区域，而绿色节点位于图中相对稀疏的区域。同样进行2次特征传播操作，可以看到位于稠密区域的蓝色节点的感受野已经相对较大了，而位于稀疏区域的绿色节点的感受野却只包含了3个节点。这个实例形象地说明了不同节点的感受野的扩张速度存在较大的差异。在GNN中，一个节点感受野的大小表示它能捕获邻域信息的多少，感受野太大，则该节点可能会捕获许多不相关节点的信息，感受野太小，则该节点无法捕获足够的邻域信息得到高质量的节点表示。因此，对于不同特征传播步数的节点特征，GNN模型需要对不同的节点自适应地分配权重。否则，便会出现无法兼顾位于稠密区域和稀疏区域节点的情况，导致最后无法得到高质量的节点表示。

Contribution

• Propose a decoupling methods method that can be applied in huge graph and distributed environment.
• Propose three node-adaptive graph learning mechanisms to meet the requires of different nodes with different propagation steps.
• Achieve the STOA performance in the three largest graph benchmarks while maintains high scalability and efficiency.

Preliminaries

Graph-wise Propagation

• Recently studies have observed that non-linear feature transformation contributes little to the performance of the GNNs as compared to feature propagation.
• They reduces GNNs into a linear model operating on K-layers propagated features.

Graph-wise propagation和之前我们介绍的node-wise propagation 的先传播再非线性变化不一样，是直接得到一个K跳内的邻接的邻接矩阵和$\hat{A}^K$，然后一次性计算传播结果，提前收集好K-hop特征$X^K$，然后直接用全连接之类的变化即可。

显然在训练过程中不需要消息传递，结点K-hop特征直接被当成特征输入网络即可。

Layer-wise Propagation

Following SGC, some recent methods adopt layer-wise propagation combining the features with different propagation layers.

The GAMLP Model

GAMLP decomposes the end-to-end GNN training into three parts: feature propagation, feature combination with RF attention, and the MLP training.

As the feature propagation is pre-processed only once, and MLP training is efficient and salable, we can easily scale GAMLP to large graphs. Besides, with the RF attention, each node in GAMLP can adaptively get the suitable

Feature Propagation

Parameter-free K-step feature propagation as:

After K-step feature propagation, we correspondingly get a list of propagated features under different propagation steps:

Average these propagated features in a weighted manner

Receptive Field Attention

Get the attention weight $W_l$ for different layers.

Smoothing Attention

Suppose we execute feature propagation for infinite times. In that case, the node embedding within the same connected component will reach a stationary state (Over smoothing).

平滑注意力机制(Smoothing)：把经无穷次传播的节点特征作为参考向量。在实际计算的时候有公式可以直接带入数值求解，并不需要真的进行无穷次特征传播。该注意力机制希望能够学习到不同传播步数的节点特征相对于的距离，并用这个距离来指导权重的选择。

Recursive Attention

递归注意力机制(Recursive)：使用递归计算的方式，在计算赋予经L步传播的节点特征 的权重时，把前 L-1步的融合节点特征作为参考向量。该注意力机制希望能够学习到 $X^L$相比前L-1步的融合节点特征的信息增益，并用这个信息增益来指导权重的选择。

JK Attention

知识跳跃注意力机制(JK)：如图7所示，把预处理阶段得到的所有经特征传播的节点特征全都按列拼接起来，并让这个向量过一个MLP，以MLP的输出结果作为参考向量。该注意力机制中的参考向量包含了所有K个经特征传播的节点特征矩阵中的信息，该注意力机制希望能够学习到不同传播步数的节点特征相对于大向量 的重要性，并用这个重要性来指导权重的选择。(可以理解为是一个局部的over smoothing attention).

Model Training

Incorporating Label Propagation

Reliable Label Utilization (RLU)

To better utilize the predicted soft label (i.e., softmax outputs), we split the whole training process into multiple stages, each containing a full training procedure of the GAMLP model.

Here, we denote the prediction results of m-th stage as:

we adopt the predicted results for the nodes in the validation set and the test set at the last stage to enhance the label propagation.

增加label propagation的初始数量，把上次训练得到的高可信度的结点标签也作为真实标签加入，T controls the softness of the softmax distribution

Reliable Label Distillation

To fully take advantage of the helpful information of the last stage, we also included a knowledge distillation module in our model. we only include the nodes in the reliable node set $𝑉_r$ at (m-1)-th
stage (m > 1) and then define the weighted KL divergence as:

Loss

Experiments

Datasets

Implementation

Results

单机单卡跑10亿级别结点，在Ogb拿到了全球第一。

The weights of propagated features with larger steps drop faster as the degree grows, which indicates that our attention mechanism could prevent high-degree nodes from including excessive irrelevant nodes which lead to over-smoothing.

度数越高越dense，因此自然用的是局部的信息。

Conclusion

• This paper proposed many tricks (i.e., attention, GCNII, label propagation, knowledge distillation) that can be used in our method to boost the performance in the final stage.
• The decoupling and weighted average methods can be extended to solve the huge HIN case (e.g., knowledge graph).

1. 现有模型不好解决异构图
2. 现有异构图方法缺少理论分析

Intro写作思路：

1. 先介绍GNN以及GNN对应的理论研究，从而过渡到现有GNN模型不能解决异构图问题。（对应背景和现在的工作进度）

2. 接下来介绍现有异构图的问题

3. 1. 现有异构图需要人工指定metapath，或者其他需要经验得到的东西。
   2. 缺少针对HGNN理论分析。

4. 引出本文的核心：Graph Kernel（为什么这里不放在开头呢？因为这个东西是用来解决问题的方法，而不是问题核心。问题还是GNN，所以第一段讲的是GNN）

5. 1. Graph Kernel（GK）：用于评价图上两个点或者两个子结构之间相似度的东西。(一种算子)
   2. GK在同构图上的应用，但是在异构图上应用仍然存在挑战（存在什么挑战？这里讲一下是不是好一点。）

6. 本文的工作

Contribution

1. 提出了一个基于异构图的Graph Kernel。第一个将马氏距离（Mahalanobis distance，MD）和异构图kernel相结合，来捕获异构信息。
2. 通过理论把graph kernel和传统的HGNN联系起来，对传统的HGNN进行了理论分析。

Approach

Graph Kernels

Kernels 把数据映射到一个高纬度空间中，从而可以在高维空间对数据进行相似度计算。

Graph Kernels通过把图分解成不同的子结构，从而进行相似度计算。

当不考虑子结构的时候，Graph Kernel可以只考虑节点的情况

Random Walk Graph Kernel

比较两个图中，长度为l的randomwalk序列的相似度。

HGK-GNN

Incorporating Heterogeneous Edges.

计算两个节点u,v的相似度，定义Kernel如下：

1. 对节点u，v分别用其本身的特征做点乘。
2. 同时对其所有的一跳邻居的边的进行组合并交叉相乘（计算量好大）

Incorporating Heterogeneous Nodes

通过考虑不同节点类型和边类型，把不同节点类型节点通过映射函数映射到各自的空间。

对于l层的邻居来说，其graph kernal可以定义成l-1层的邻居相似度乘以l层的邻居+边的相似度。

From HGK to Neural Architectures

从Heterogeneous Graph Kernel到神经网络的表示形式

作者证明得到，在第l层的图神经网络得到的向量表示正好都是对应l层的马氏空间中的向量。

THEORETICAL ANALYSIS

作者接下来了理论分析了HGK-GNN和metapath-GNN的关系

传统的MP-GNN可以表示成用metapath进行聚合的图神经网络

假设当前MPGNN的形式如下

作者证明，在参数如下形式时，HGK-GNN和MPGNN等价

intro的核心目的：讲好一个故事，让reviewer知道，你要做的是什么？为什么要这么做？难点在哪？

A类文章的关键：

• 问题要难！（问题不容易解决）
• 方法要新！（之前可以是没人考虑这个点）

因此在进行Intro写作时，可以遵循如下思路

问题描述：

第一段主要是问题描述（problem setting）。本段主要是针对要研究的问题进行简要介绍，方便读者直接了解你要做的问题是什么，给不熟悉这个领域的人一个大致的介绍

进行问题的描述，可以分为以下几个方向描述：

1. 关于problem setting，这个问题是啥？
2. 他的背景如何，意义在哪？（实际生活的应用）
3. 可能会有一点挑战？

现在的研究方案的总结

你的这个问题是你自己提出来的吗？

如果不是，可以遵循以下的思路进行写作？

1. 现在的研究可以分为什么类别？
2. 做到了什么地步？他们是如何解决这个问题的？
3. 他们的发展过程是什么样的？比如PB->PF的演变
4. 为什么他们要这么做？

如果这个问题是你全新提出来的，可以遵循以下思路

1. 与之类似领域的任务别人是怎么做的？比如你提出了(k,p)-core community search，那之前关于k-core community search怎么做的？
2. 他们和你的任务有什么样的联系，从而过渡到他们的不足。

现有方法的问题

这段是你的核心，如何能准确的抨击现有方法的不足，让读者认可的你的贡献点。

寻找问题的思路：

1. 现有方法哪里没考虑到？（体现你问题的新）

2. 1. 比如PF方法只解决了Warp的问题，忽视了Generator，而Generator又十分重要。
   2. 比如k-core方法只解决了k的问题，而忽视了p这个值，以及没有考虑连接情况。

3. 现有问题的challenge（体现你问题的难，所以你的方法才有贡献）

4. 1. 现有的简单方法为什么不能直接解决？比如：PF-Generator用简单的拼接会产生什么问题？
   2. 理想（optimal）的最好解决这个问题的方法应该什么样的？引出你的方法如何去接近这个最佳解决方案的。

实际介绍你的方法

此处为介绍你提出方法的细节所在，这段其实是最简单的，就是结合上面的问题和挑战，一点点针对这些问题，你的方法是如何解决的。

最后通过实验证明即可。

1. Existing GNNs’ expressive power is limited to 1-WL test, thus they cannot count some substructures likes: triangle, tailed triangle, and 4-cycle graphlets

1. Existing beyond 1-WL test GNNs is computational heavily $O(n^3)$ and memory hungry $O(n^2)$.

2. Some methods introduce some handcrafted features that cannot be extracted by GNN into the node attributes to increase the GNN’s expressive power: Distance encoding, identity GNN, and some Jure’s works.

3. Existing GNN focuses on the low pass frequency component.

Contribution

1. Give the explanation of what make GNN has certain expressive power.

2. Propose a graph convolution method (GNNML) that is more powerful than 1-WL test and reaches the 3-WL test.

3. GNNML has linear memory and computational complexities.

4. Enough spectral ability and local update process.

Road Map

GNN->WL test->Matrix Language-> GNNML

Weisfeiler-Lehman Test (WL-test)

1-WL test

Consider the 1-vertex.

k-WL test

Consider k-vertex tuple.

Examples of non-isomorphic graphs that cannot be distinguished by 1-WL but can be distinguished by 3-WL due to its capability of counting triangles.

Matrix Language and WL test

Matrix Language (MATLANG) includes different operations on matrices and makes some explicit connections between specific dictionaries of operations and the 1-WL and 3-WL tests

Definition 1: $ML(\mathcal{L})$ is a matrix language with operations set $\mathcal{L}={op_1,⋯,op_n }, op_i\in{⋅,+,⊤,diag, tr,1,⊙,×,f}$

Definition 2: $e(X)∈\mathbb{R}$ is a sentence in $ML(\mathcal{L})$ if it consists of any possible consecutive operations in $\mathcal{L}$, operating on a given matrix $X$ and resulting in a scalar value.

Example: $e(X)=\mathbf{1}^\top X^2\mathbf{1}$ is a sentence of $ML(\mathcal{L})$ with $\mathcal{L}={⋅,⊤,\mathbf{1}}$

Matrix operation can extract different features from the graph that can be used to differentiate the graph.

Remark 1: Two adjacency matrices are indistinguishable by the 1-WL test if and only if $e(A_G )=e(A_H)$ for all $e∈L_1$ with $L_1={⋅,⊤,1, diag}$.

Remark 2: $ML(L_2 )$ with $L_2={⋅,⊤,1,diag,tr}$ is more powerful than 1-WL test but less powerful than 3-WL test.

Remark 3: $ML(L_3 )$ with $L_3={⋅,⊤,1,diag,tr,⊙}$ is as powerful as 3-WL test.

Remark 4: Enriching operation set to $L^+=L∪{+,×,f}$, $L∈(L_1,L_2,L_3) $ cannot improve the expressive power.

How powerful are GNNs?

Theorem 1: Spatial GNNs such as GCN, GAT cannot go further than 1-WL test ($ML(L_1^+)$)

Theorem 2: Chebnet (Spectral GNN) is more powerful than the 1-WL test if the Laplacian maximum eigenvalues of the non-regular graphs to be compared are not the same.

Theorem 3: 3-star graphlets can be counted by sentences $L_1^+$

Theorem 4: Triangle and 4-cycle graphlets can be counted by sentences $L_2^+$

Theorem 5: Tailed triangle graphlets can be counted by sentences $L_3^+$

Generalization of Spectral and Spatial GNN

Spectral GNN

Spatial GNN

Generalization GNN

where $C^((s))∈\mathbb{R}^{(n×n)}$ is the $s$-th convolution support that defines how the node features are propagated to the neighboring nodes (different aggregation methods)

GNN beyond 1-WL

As aforementioned, the K-WL test can be represented by some matrix operations. Thus, the GNN contains the certain operations can also have the express power of k-WL test.

The paper proposes two methods. The first one, called GNNML1 is shown to be as powerful as the 1-WL test. The second one, called GNNML3 exploits the theoretical results of to break the limits of 1-WL and reach 3-WL equivalence experimentally.

GNNML1

Proof: The GNNML1 can produce all possible vectors in $L_1={⋅,⊤,1,𝑑𝑖𝑎𝑔}$

GNNML3

To reach more powerful models than 1-WL, the graph convolution must support trace ($tr$) and multiplication ($⊙$) operation in $L_3$.

The trace (tr) and multiplication (⊙) operation often take effect in high power of adjacent matrix.

However, we cannot initially know which power of adjacency matrix is necessary for a given problem.

Thus paper designs a spectral convolution support that can be expressed as a linear combination of all powers of adjacency matrix.

With the any power of the adjacency matrix, the trace ($tr$) and multiplication ($⊙$) operation can be approximated by MLP (A trick ! MLP can approximate every function~)

Where M can be seen as a mask (attention matrix) to select certain powers of the adjacency matrix.

The forward calculation of GNNML3 is :

Where $C^s$ can be seen as a multi-heads attention of different graph structure components to provide different operations’ result vector that can be used to approximate 3-WL test.

Experiments

Q1: How many pairs of non-isomorphic simple graphs that are either 1-WL or 3-WL equivalent are not distinguished by the models?

Q2: Can the models generalize the counting of some substructures in a given graph?

Q3: Can the models learn low-pass, high-pass and bandpass filtering effects?

Q4: Can the models generalize downstream graph classification and regression tasks?

Conclusion

1. Theoretically give the explanation that to reach different express power (k-WL test) what operations GNN should have. It will help the successors find way to further improve the express power of GNN.

2. The multiple convolution supports used in GNNML3 is actually a multi-heads attention of different graph structure components to provide different operations’ result vector that can be used to approximate 3-WL test.

3. It cannot theoretically prove the GNNML3 is equal to 3-WL test, because its use the MLP to approximate the trace and multiplication operations.

现有的异构图学习中一些图的结构是不好的，不利于下游任务，比如在user-item的异构图中，用户可能会点击一些无用的item，从而给异构图表示学习带来一些噪声。

现有有的一些图结构表示学习的方法，通过把邻接矩阵参数化，学习更好的邻接矩阵用于下游任务。但是他们都是用于同构图的方法。

本文提出了GSL框架，通过考虑三种不同的图结构：特征相似图，特征传播图，和语义图来学习更好的图结构用于下游任务。

Approach：

特征相似图：

通过在节点之间的特征上用度量学习的方法，学习节点之间的相似度，构成相似度矩阵。

特征传播图：

特征转播图通过特征与拓扑之间的交互来生成图结构，特征之间的相似度是可以传播的。我们通过一个例子来更好的理解。例如，考虑生成用户和电影之间的潜在图结构，存在这样一种图结构生成方式：如果用户U1 看过电影M1，且M1和M2相似，那么用户U1可能对M2感兴趣即和节点存在潜在边。上述潜在的图结构可以分两步构建：得到特征相似的节点对（找到相似的电影M1和M2），随后用拓扑结构传播（通过U1的观影历史得到可能感兴趣的电影M2）。HGSL 也通过上述两步过程来得到特征传播图。

对于每个关系r，首先根据关系的头尾节点集合，根据特征相似矩阵的计算方法，生成相似度矩阵。

然后再和原始的关系r邻接矩阵相乘，进行相似度传播，得到头相似度矩阵和尾相似度矩阵。

特征邻接矩阵

然后对矩阵进行attention聚合，得到特征邻接矩阵。

语义图：

传统的metapath构成邻接矩阵忽视了中间节点，导致了信息丢失。于是本文先通过Metapath2vec学习不同metapath下节点的特征表示，然后根据不同的特征表示来生成不同metapath下的语义邻接矩阵。

对于多个metapath，进行一个加权聚合得到语义邻接矩阵。

学习到的异构图邻接矩阵

把特征邻接矩阵和语义邻接矩阵还有原始的不同关系的邻居矩阵进行attention聚合。

优化过程

把学习到的不同关系的邻接矩阵，进行合并，忽视节点的类型，转换成一个大的邻接矩阵。然后进行两层的信息传播并进行预测。

实验

在 DBLP、ACM 及 Yelp 数据集上行了丰富的实验来验证HGSL 的有效性。

节点分类实验

频道注意力可视化实验

参数实验

Soga 后端破解思路小分享。

仅以此文记录和分享一些关于go应用破解的过程。由于本人也是第一次进行go程序的逆向，本文的分析会比较简单和基础。

Soga

soga 后端是一个同时支持 v2ray、Trojan、Shadowsocks 的后端，社区版最高支持88用户，优化了长时间运行的内存占用。

本文以破解2.0.6为例，在release处可以下载指定版本的soga后端。

符号还原

Go二进制文件由于由于其自身恶心的机制导致对其直接在IDA中逆向十分困难。

Go 语言的编译工具链会全静态链接构建二进制文件，把标准库函数和第三方 package 全部做了静态编译，再加上 Go 二进制文件中还打包进去了 runtime 和 GC(Garbage Collection，垃圾回收) 模块代码，所以即使做了 strip 处理( go build -ldflags "-s -w" )，生成的二进制文件体积仍然很大。在反汇编工具中打开 Go 语言二进制文件，可以看到里面包含动辄几千个函数。再加上 Go 语言的独特的函数调用约定、栈结构和多返回值机制，使得对 Go 二进制文件的分析，无论是静态逆向还是动态调式分析，都比分析普通的二进制程序要困难很多。

不过，好消息是安全社区还是找到了针对性的方法，让安全分析人员对 Go 语言二进制文件的逆向变得更加轻松。最开始有人尝试过针对函数库做符号 Signature 来导入反汇编工具中，还原一部分二进制文件中的函数符号。后来有人研究出 Go 语言二进制文件内包含大量的运行时所需的符号和类型信息，以及字符串在 Go 二进制文件中独特的用法，然后开发出了针对性的符号甚至类型信息恢复工具。至此，对 Go 语言二进制文件的逆向分析工作，就变得轻松异常了。

-https://www.anquanke.com/post/id/214940

因此为了方便我们进行分析，我在此处采用go_parser来对二进制文件进行信息还原。

1

file-->script file-->go_parser.py

此脚本能还原出go可执行文件的函数信息以及一些字符串，由于电脑崩溃此处没有保存还原之后的截图。

软件分析

在还原字符串以及函数信息之后，破解将十分容易。

我们首先搜索字符串，寻找验证有关的关键词。一把梭，直接查字符串，找到check。

右键x-refer-to定位到check-soga函数。

查看上层的startsogatask函数，分析函数，我们可得如下结果。

软件破解

简单的将check soga nop掉，直接jmp到 loc_A770F7，这个函数就patch完成了。

然后外部main_main还要处理一下update问题。同样的nop掉即可。

总结

至此，一个简单的破解就完成了。很显然对软件的继续分析之后可以看出，此破解方法只是绕过了一开始的key验证，在之后的运行中，仍然会有隔一段时进行验证的行为。本文只是抛砖引玉，分享一些自己逆向分析go的二进制文件的心得，读者可以自行进行尝试，进行更加完善的破解。

Session recommendation:

Aiming to predict the next item to be interacted with a user under a specific type of behavior, and modeling user dynamic interest.

Target behavior session recommendation:

Considers target behavior and auxiliary behavior sequences and explores for accurate prediction.

Challenges

• Firstly, most existing methods focus on only using the same type of user behavior as input for the next item prediction, but ignore the potential of leveraging other type of behavior as auxiliary information.
• Secondly, item-to-item relations are modeled separately and locally, since both RNN based and GNN based recommendation models only utilize one behavior sequence each time.

Contribution

• We break the restriction of only using one type of behavior sequence in session-based recommendation and exploring another type of behavior as auxiliary information and construct the multirelational item graph for learning global item-to-item relations.
• we develop the novel graph model MGNN-SPred which learns global item-to-item relations through graph neural network and integrates representations of target and auxiliary of current sequences by the gating mechanism.
• We carry out extensive experiments and demonstrate MGNNSPred achieves the best performance among strong competitors.

Method

Problem Definition

• Session set: $S$
• Target behavior sequence: $P^s=[p1^s,⋯,p|P^s |^s]$
• Auxiliary behavior sequence: $Q^s=[q1^s,⋯,q(|Q^s |)^s]$
• Multi-Relational Item Graph: $G=(V,E)$, $V$ is the set of nodes in the
• graph containing all available items and $E$ is the edge sets involving
• Multiple types of directed edges. Each edge is a triple consisting of the head item, the tail item, and the type of this edge. Edge $(a, b, click) ∈ E$ means that a user clicked item $b$ after clicking item $a$.

Graph Construction

The algorithm browses all behavior sequences, collects all items in the sequences as the nodes of the graph, and constructs edges between two consequent items in the same sequence with their behavior types as the edge types.

Item Representation Learning

For each node $v∈V$, first convert them to a space $E∈\mathbb{R}^{|V|×d}$, and feed them with MRIG into GNN.

Each node in the graph has four types of neighboring node sets. According to the type and direction, we name the four sets as “target-forward”, “target-backward”, “auxiliary-forward”, and “auxiliary-backward”.

Same for the auxiliary set.

Item Representation Learning

First aggregate each group of neighbors by mean-pooling to obtain the representation of this group, defined as below:

Then, we combine these four representations of different neighbor groups by sum-pooling:

Finally, we update the representation of the center node 𝑣 by:

Sequence Representation Learning

Mean pooling the target behavior sequence $𝑃$ and auxiliary behavior sequence $𝑄$ as $p$ and $q$, respectively, which are given as:

where $g_v=h_v^K$, and $K$ is the total iterations of the GNN.

A gate mechanism to calculate the relative importance weight $𝛼$

$o$ for the current session by the weighted summation of $p$ and $q$:

Model Prediction and Training

We further calculate the recommendation score $𝑠_𝑣$ of each item $v ∈V$ using the item embedding $e_v$ . A bi-linear matching scheme is employed by:

Over all items to get the probability distribution $\hat{y}$:

Loss function:

Experiment

Datasets:

Baselines:

Results

• Retrieve graphs from the database similar enough to a query.

• • Optimize the pruning stage.

Background:

• Graph Edit Distance (GED) is a method to measure the distance between two graphs.
• The current similarity search, first compute the lower bound between the query and the every candidate graph and they prune the graph larger tan than the threshold. Then, they compute the exact GED in the remaining graphs.

Challenges:

• The computation of Graph Edit Distance (GED) is NP-hard.

• Existing methods cannot handle the large databases due to their exact pruning strategy.

• • Subgraph isomorphism check to generate the graph index
  • GED lower bounds are too loose, which leads to many candidates.

Deep hash retrieval:

Graph Deep Hash:

• Train a GNN as hash function to generate the index of the graph, where the similarity computation can be done on the hash index instead of the whole graph.
• Prune the graphs using the hash code and embeddings.
• Compute the exact GED using GED solver.

Challenges for Graph Deep Hash:

• The threshold for graph similarity search may vary from query to query, it is appropriate to treat it as a regression problem, which requires estimating GED by hamming distance.
• How to establish a relationship between hamming distance and GED is a problem.
• Lack of positive samples.

Contribution

• We provide a first attempt to use a neural-network-based approach to address the similarity search problem for graph databases via graph hashing.
• We propose a novel method GHashing, a GNN-based graph hashing approach, which can automatically learn a hash function that maps graphs into binary vectors, to enhance the pruning-verification framework by providing a fast and accurate pruner.
• We conduct extensive experiments to show that our method not only has an average F1-score of 0.80 on databases with 5 million graphs but also on average 20× faster than the only state-of-the-art baseline on million-scale datasets.

Preliminaries

•Graph Edit Distance (GED): $ged(g_1,g_2)$ is defined as the minimum number of edit operations to make $g_1$ isomorphic to $g_2$. The operation can be one of the following:

1. Insert a node
2. Delete a node
3. Change the label of the node
4. Insert an edge
5. Delete an edge

Graph Similarity Search under GED: Given a graph database $D$ with $N$ graphs, and a query graph $q$ and a threshold $τ$, the graph similarity search under GED measure aims to find ${g│g∈D∧ged(g,q)≤τ}$

Approach:

Hash function :

Graph neural network:

Graph pooling:

Loss function:

Design of $L_{code}$

• GED can be arbitrarily large, the hamming distance between two B-bit hash codes can not be larger than B.
• Therefore, L should satisfy following properties:
  • Small punishment when both values are large $L(\hat y,y)=L′(min⁡{γ,\hat y},min{γ,y})$
  • Asymmetric: $L(\hat y,y)≠L(y,\hat y)$, estimated hamming distance should smaller than GED.
  • Minimized when $\hat y= y$
  • Convex

Handling discrete constraints

Hamming distance to Euclidean space

Binary regularization

Design of $L_{emb}$

Online Stage

1. Encode the query graph to $H(q)$

2. Search the keys whose hamming distance to $H(q)$ is less than $τ+t$, $t$ is set to 1.

3. Second-stage pruning by computing$||F(g)-F(q)||_2^2>τ+0.5$

4. Verify every graph remained with exact verification algorithm

Experiment:

Datasets

为什么$\tau$越大recall反而下降了呢？

在问了老师之后，可能的解释是随着$\tau$上升，正例的样本也变多了，所以recall下降了。

The results in Figure 3 show that the hamming distance is usually smaller than the real GED

在线查询快，recall高，offline训练时间少，存储空间少。好就完事了！yizhou Sun 牛！

• 传统GNN会被1-WL test 所限制。因为节点都是以度进行区分的。
• 核心问题：节点分类或者连接预测并不是同构问题，但是GNN是基于WL-test的所以必须要给节点引入特征。
  
• 传统的WLtest会根据节点的度来区分节点，就会导致无法区分结构信息
  
• 在这里做两层卷积会导致节点信息都是相同，无法直接区分两个节点之间是否有连边。
  
• 全图分类会有无法区分
  

Distance Encoding:

• 采用最短路径作为特征，可以区分节点同构

• 同时也可以解决链接预测的问题。对每个pair都对图中的所有节点算最短距离。

• 对于全图的预测来说

• 对每个节点都进行标记，然后就能区分

• 采用one-hop标记，dimension最大是要卷积的距离，比如最大距离是4，则有4为0000，比如有两个节点到他的距离分布是2和3，则最后距离嵌入表示是0110，如何有两个节点是距离为4则是0002，以此类推。
• 得到feature就把它拼接到原始节点上进行卷积

证明：

• 对于层数不断增加，则区分度更好。
  

实验：

• 实验是在以节点周围结构为准的图来进行判断。

Abstract

Inspired by the emerging mutual information-based learning algorithm, This paper propose an unsupervised graph neural network Heterogeneous Deep Graph Infomax (HDGI) for heterogeneous graph representation learning.

Author utilized the meta-path to model the structure information involving semantics in Heterogeneous graph and apply the graph convolution module and semantic-attention module to capture the individual node local representation.

By maximizing the local-global mutual information, HDGI effectively learns highlevel node representations based on the diverse information in heterogeneous graphs

Unsupervised graph representation learning

• Matrix factorization: capture the global graph information by factorizing the affinity matrix, which ignore the node attributes and local neighborhood relationships.
• Edge-based method: capture the local and high-order neighborhood information by edges connections or random-walk paths, which only preserve limited order node proximity and lack a mechanism
  to preserve the global graph structure.
• DGI(Deep graph infomax): maximizes the mutual information between graph patch representations and the corresponding high-level summaries of graphs. It has shown competitive performance even compared with supervised graph neural networks in benchmark homogeneous graphs.

Contribution

• This paper presents the first model to apply mutual information maximization to representation learning in heterogeneous graphs.
• HDGI, is a novel unsupervised graph neural network. It handles graph heterogeneity by utilizing an attention mechanism on meta-paths and deals with the unsupervised settings by applying mutual information maximization.
• HDGI are effective for both node classification and clustering tasks. Moreover, its performance can also beat state-of-the-art GNN models, where they have the additional supervised label information.

Mutual information

Mutual information is a quantity that measures a relationship between two random variables that are sampled simultaneously.

In order to maximize the MI, we need maximize the $\frac{p(y|x)}{p(y)}$, which means $p(y|x)$ is bigger than $p(y)$. For each input $x$, the encoder can find a feature $y$ that can well represent $x$.

Notation

Heterogenous graph: $\mathcal{G}=(\mathcal{V},\mathcal{E})$

Node type mapping function: $\phi:\mathcal{V}\to\mathcal{T},\phi(v)\in \mathcal{T}$

Edge type mapping function:$\psi:\mathcal{E}\to\mathcal{R},\psi(e)\in \mathcal{R}$

$\mathcal{T}+\mathcal{R}>2$

Metapath: $\Phi=v1 \mathop{\to}\limits^{R_1}\cdots \mathop{\to}\limits^{R{n-1}}v_n$

Given a metapath $\Phii$, if there exists a metapath instance between $v_i,j_j$, then $A{ij}^{\Phi_i}=1$ where $A^{\phi_i}$ is the adjacent matrix of metapath $\Phi_i$.

Problem definition: Given a $\mathcal{G}$ and the initial feature matrix $X$, the representation $H\in\mathbb{R}^{|V|\times d}$ which contains both structure and node attributes information.

Approach

Meta-path based local representation encoder

The first step is meta-path specific node representation learning which encodes nodes in terms of each meta-path based adjacency matrix respectively.

Two kinds of encoder are considered in this work.

GCN:

Where $A^{\widetilde{\Phi_i}}=A^{\Phi_i}+I$

GAT:

Heterogeneous graph node representation learning

After the meta-path representation, We need to aggregate the more general representations of the nodes.

The importance of each meta-path is calculated as:

The final representation $H$ is obtained by:

Global Representation Encoder

Averaging encoder function.

Pooling encoder function

Each node’s vector is independently fed through a fully connected layer. An elementwise max-pooling operator is applied to summary the information from the nodes set

Set2vec encoder function

Author randomly permutate of the node’s neighbors on an unordered set and feed to the LSTM

HDGI Learning

Mutual information based discriminator

Belghazi et al. proved that the KL-divergence admits the Donsker-Varadhan representation and the f-divergence representation as dual representations:

$\mathbb{P}_{xy}$ is the joint distribution and $\mathbb{P}_x\otimes \mathbb{P}_Y$ is the product of margins, $T_w$ is a deep neural network based discriminator.

Author estimate and maximize the mutual information by training an discriminator $D$ to distinguish positive sample set $Pos={[\vec{hn},\vec{s}]}^N{n=1}$ with negative sample set $Neg={[\vec{ \widetilde{hm}},\vec{s}]}^M{m=1}$.

The sample $(\vec{h_i},\vec{s})$ is the positive node belongs to graph, and $(\vec{ \widetilde{h_m}},\vec{s})$ is the generated fake node.

The discriminator $D$ is a bilinear layer:

Loss function:

Negative samples generator:

Keep the graph structure unchanged and shuffle the feature of each node in the graph.

Experiment

Dataset:

Node classification

Node clustering task

Ablation experiment

Some discovery :

The HDGI is highly depend on the initial feature $X$, when the $X$ is random initiated the performance of HDGI decreased dramatically.

Motivation

• To avoid redundant computations：减少冗余计算

• HAGs are functionally equivalent to standard GNN-graphs：性能不变

• An agnostic method：对所有模型都适用

  

对邻居上重合的的vector进行聚合，然后再传递。

HAGs

把聚合的点和原来的点聚合，生成一张新图

Existing GNNs

• 没有顺序：GCN
• 有顺序：LSTM聚合

Aggregation Nodes

• 如果是原图的属性，就用节点的隐藏向量

• 如果是聚合节点，就用聚合向量。

Cost Function

Algorithm

Abstract

Existing GCNs mostly work on homogeneous graphs and consider a single embedding for each node, which do not sufficiently model the multi-facet nature and complex interaction of nodes in real world
networks. Here, author present a contextualized GCN engine by modeling the multipartite networks of target nodes and their intermediate context nodes that specify the contexts of their interactions.

Current Issues and problems

• Nodes are connected in different ways thus close to each other in different ways, which cannot be simultaneously captured by a single embedding.
• How to find proper context?：The real-world networks are often multipartite, it beneficial to model target nodes and context nodes in multipartite networks, where the interactions between the target nodes can be subtly modeled via the help of context nodes.
• How to leverage context?：How to leverage context in massive real-world networks to facilitate
  effective and flexible downstream applications.

Preliminaries

Traditional GCN: The output of the $l+1$ th convolutional layer $\textbf{H}^{l+1}$ of GCN is computed as follows

GraphSage: Sample a fixed number of neighbors in each convolution layer and aggregate the neighborhood embedding.

Triplet-wise optimization objective based on max-margin ranking as follows

where $\delta$ is a margin parameter, $v_q$ and $v_p$ are the query and positive nodes, $v_n$ is the negative node sampled from $P_n(v_q)$

$\mathcal{T}$：The number of the nodes type in graph

$\mathcal{C}$：Context nodes set

Each $u\in\mathcal{N}_v\subset\mathcal{T}$ of the ego $v\in \mathcal{T}$ is associated with a dominant context node $o \sim(v,u)\in \mathcal{C}$

MultiSage

In this work, Author leverage the heterogeneity of real-world networks by separating nodes into two main types: target nodes and context nodes. Our main focus is to learn embeddings of the target nodes, while using the context nodes to describe the relationship between the target nodes.

Assumptions:

1. minimum domain knowledge is available to separate target nodes from context nodes
2. most important interactions among target nodes involve context nodes

In (a), when three neighbor pins are aggregated through mean pooling, the resulting neighborhood embedding simply lies in the center of the three pins, reflecting the same influence of all neighbors on the ego. In contrast in (b), two neighbor pins are connected via the fashion board while the other one via the crafts board, thus drawing the neighborhood embedding more into the fashion direction. Such contextualization over the target interaction is desirable, since each neighbor is similar to the ego from a particular perspective, and thus should influence the ego embedding more in the corresponding subspace.

Raw feature transformation

learns to project and transform raw node features via stacked dense neural networks as follows

$z_t$ and $z_c$ represent the embeddings of the target and the context nodes, respectively.

Contextual masking

Contextual masking allows us to project different ego-neighbor pairs into various embedding subspaces,
so as to emphasize contextualized interaction among target node pairs regarding particular embedding dimensions at the feature level.

Element-wise multiplying the embedding of the context node $z_c (o)$ onto the embeddings of both ego and neighbor target nodes $z_t (v)$ and $z_t (u)$ as follows

Note that, since the last embedding layer of $z_c$ is ReLU, certain dimensions can be learned to be zero, which effectively “masks out” irrelevant dimensions, so as to project the target embeddings into particular subspaces directly controlled by the context embeddings

Autho also introduce:

where $\odot$ means the concatenation.

Contextual attention

Author design a novel contextual attention mechanism to consider the overall impact of different neighbors of ego at the node level, by jointly computing an attention weight for each ego-context-neighbor triplet $\alpha (v,o,u)=$

where ${a,W{at},W{ac}}$ are the learnable attention parameters. $\tau$ is the LeakyReLU activation function.

To further improve the capacity and stability, we exploit multi-head attention to compute the aggregated contextualized embedding as follows:

Training objective

Author directly add the contextualized ego embedding $z{N_v} (v)$ and neighbor embedding $z{N_v} (u) $as
the final MultiSage embedding $h(v)$.

Training loss:

sampling positive neighbor and negative neighbor $v_p,v_n$

这个加法是合理的，如果u，v是邻居，则$h_u$=$h_v$,那么乘积就会很大，如果不是邻居，则$h_u$ 不等于$h_v$乘积会小，则loss是会变大的。

Contextualized random walk

由于每个游走序列会有多个中间节点，但是其实只是有一些中间节点是不重要的，于是对每个ego-target node pair只保留最重要的中间节点。

vis[v]：记录节点访问次数

ctx[v]：记录中间节点和target节点

dom[v]：记录不同中间节点的重要性

line 7: 对所有的访问过的context node 记录增加

line8-15：运行多次random walk，记录出现target node情况下，出现最多的contex node。

Experiment

可以使用mask去获取不同的候选商品，因为mask会剔除一些不同的特征，可以让目标映射到不同的子

Problem

1. Most existing HIN-based methods rely on explicit path reachability to leverage path-based semantic relatedness between users and items, e.g., metapath-based similarities. These methods are hard to use and integrate since path connections are sparse or noisy, and are often of different lengths.

   现有的方法，依赖于物品和用户之间的语义构成的路径，比如metapath的相似度。这些方法在遇到路径很稀少、充满噪音或长度不一致时会导致表示能力的下降。

2. Other graph-based methods aim to learn effective heterogeneous network representations by compressing node together with its neighborhood information into single embedding before prediction. This weakly coupled manner in modeling overlooks the rich interactions
   among nodes, which introduces an early summarization issue.

   对于图卷积的方法来说，他们只学习了临近邻居的信息，并把他们聚合到一个向量中进行表示，这样很可能导致忽视了一些节点之间复杂的联系。

In this paper, author propose an end-to-end Neighborhood-based Interaction Model for Recommendation to address above problems.

• Author first analyze the significance of learning interactions in HINs and then propose a novel formulation to capture the interactive patterns between each pair of nodes through their metapath-guided neighborhoods.

• Then, to explore complex interactions between metapaths and deal with the learning complexity on large-scale networks, we formulate interaction in a convolutional way and learn efficiently with fast Fourier transform.

Challenge

1. How to tackle the early summarization issue? Due to the complex structure of the HIN, the interactive local structures are hidden and not fully utilized in previous methods.
2. How to design an end-to-end framework to capture and aggregate the interactive patterns between neighborhoods? There are usually various nodes in different types involved in one path. Different paths/nodes may contribute differently to the final performance.
3. How to learn the whole system efficiently? Learning interactive information on HINs is always time-consuming; especially when faced with paths in different types and lengths for metapath-based approaches and large-scale high-order information for graph-based approaches.

Preliminary

Recommendation:

HIN Graph：$\mathcal{G}=(\mathcal{V},\mathcal{E})$, which consists of more than one node type or link type.

Metapath-guided Neighborhood：Given an object $o$ and a metapath $ρ$ (start from $o$) in an HIN, the metapath guided neighborhood is defined as the set of all visited objects when the object $o$ walks along the given metapath $ρ$.

$\mathcal{N}_p^i(o)$ is the neighbors of object $o$ after $i$-th steps sampling.

$\mathcal{N}_p^0(o)=o$

$\mathcal{N}_p^{I-1}(o)=\mathcal{N}_p(o)$, $I$ is the length of metapath.

$H[\mathcal{N}p(o)]_l=[e^p_0\oplus e^p_1\oplus\cdots\oplus e^p{I-1}]$: The embedding matrix of metapath $\rho$

Method

INPUT:

1. Select the metapath-guided neighbors for source and target via neighbor samplings.
2. Use interactive convolutional operation to generate potential interaction information among the neighbors
3. Aggregate information via attentnion mechanism in both node and path level.

OUTPUT: Final prediction

Neighborhood Sampling

Interaction Module

Due to the heterogeneity of nodes, different types of nodes have different feature spaces. Hence, for each type of nodes with type $\phii$. Author design the type-specific transformation matrix $M{\phi_i}$ to project the features of different types of nodes into a unified feature space.

where $e_i$ and $e’_i$ are the original and projected features of node $i$.

Considering that neighbors in different distances to the source/target node usually contribute differently to the final prediction, author divide the sampled metapath-guided neighborhood into several innerdistance and outer-distance neighbor groups.

In order to compute the interactions in each neighbor group, author adopt the convolution method:

e.g. calculate the interaction between $u_A,m_B,d_B,m_D$ and $m_B,d_C,m_C,u_C$

1. Inverse the order of target movie neighborhood: $u_C,m_C,d_C,m_B$
2. Shift the sequence and obtain the co-ratings between different types of nodes like $r(u_A,m_B)$ or $r(u_A,u_C)+r(m_B,m_C),+r(d_B,d_C)+r(m_D,m_B)$by product operation.

Therefore, the above procedure can be written in convolution form:

By using the fast Fourier transformation (FFT) and $\mathcal{F}^{-1}$

Aggregation Module

Node/Element-level Attention

After the interaction module, the author adopt the self-attention to learn the weight among various kinds of nodes in metapath $\rho$

where $h^{\rho}i,h^{\rho}_j$ are elements of interaction matrix $ H[\mathcal{N}{\rho}] $ and $W_T,W_S$ are trainable weights.

The attention value is calculated as bellow

The final result is calculated as：

Given a set of metapath $\rho0,\rho_1,\cdots,\rho{P-1}$, we get $Z[\mathcal{N{\rho_0)}}],Z[\mathcal{N{\rho1)}},\cdots,Z[\mathcal{N{\rho_{p-1})}}]$

Path/Matrix-level Attention.

For each metapath aggregate the information with soft attention.

Objective function

Experiment

Five questions

Datasets

Movielens: https://grouplens.org/datasets/movielens/

LastFM: https://grouplens.org/datasets/hetrec-2011/

Result

HIRecCNN：Use CNN instead of the interaction module to fuse information around the neighbors.

HIRecGCN：Use GCN instead of the aggregation module to aggregate information from the graph.

Interpretable

1. 显示metapath的重要性
2. 显示metapath内部的节点之间的关联关系

说明增加metapath的对性能的影响

说明邻居长度对性能的影响。

现有的STOA的GCN算法不能很好的将节点特征融合进拓扑结构当中。GCN在一些节点分类的任务中不能很好的融合深层的拓扑结构和节点特征。作者希望提出一种新的GCN结构，在能保持现有的GCN优点的情况下，同样能很好的融合拓扑结构和节点的特征。

Model

把图拆成两部分，生成Topology Graph和Feature Graph。

Feature Graph是根据节点的特征采用KNN构成的新的图。

然后分为三个部分，上下两个部分用独立的参数训练，中间用共享参数训练

然后$Z{CT},Z{CF}$做个两个平均值生成$Z_C$

然后对$Z_T,Z_C,Z_F$做个一个attention生成最后的表示$Z$

Objective function

$\mathcal{L}_c$相似约束

同时对Common Convolution 的两个输出，分别生成节点内部的相似度矩阵，然后希望两个Graph的相似度矩阵足够接近。

$\mathcal{L}_d$差异约束

虽然对于两个模型的$S$是相似的，但是对于两个模型的输出向量$Z$是不相似的，不然就没有学习的必要了。

$\mathcal{L}_t$分类loss

对一个拥有多种节点重要性的图谱来说，如何去正确的估计他们每个节点重要性是一个很巨大的挑战。其中一个重要的问题就是如何从多种的不同的输入中有效的提取信息。针对这个问题，作者提出了一种隐向量模型，他可以从不同的信号中捕获节点的重要性。

以上图为例，针对一个电影的知识图谱来说，存在不同的种类的的节点，同时每个节点的信息可能拥有不同的属性。以不同的属性作为评价指标，其每个节点的重要性也是不一样的，并且不是每个节点都有全部的属性。这就导致了两个问题：

1. 节点的重要性以不同的属性作为评价，所得到的结果是不一样的。
2. 可能会存在空属性的情况，导致节点在那个属性下无法评价重要性。

作者希望对所有节点学习到一个通用的属性重要性$z$，这样作者就可以对图中所有的节点进行一个统一的重要性表达。

符号定义

Node Feature

$X\in \mathbb{R}^{|V|\times F}$

Node Importance

$z\in \mathbb{R}_{\geq 0}$，是一个非负的实数，代表图中每个节点的重要性。

Input Signal

$V’ \to \mathbb{R}_{\geq 0}(V’ \subseteq V)$，同样也是一个重要性，但是一个部分的映射，把一些具有相同属性节点映射到一个重要性空间。对一个数据源，可能有多种不同的signals，比如一本书可以有销售的数量，销售的金额，投票的数量等，所以对一本书的受欢迎的评价可能来自多个不同的方面。同样一些signal只对一些种类的节点有效，所以是一个部分映射。

在本文中，作者设定了$M$个不同的输入signals，${Si: V’_i\to \mathbb{R}{\geq 0}|V’_i \subseteq V,i=1,\dots, M}$

输入的signals有如下的性质：

• 输入的信号有不同的尺度，可能一个值域是在0-1之间，另一个是在0-100之间。
• 输入的信号都是值越大节点越重要。

Object Function

我认为本文的目标方程的构建过程是本文最大的贡献点，理论推导严密，合理合规。

给定一个图和一个初始化的参数，目标是学习到一个表达：

为了优化方程$f$，其实就是最大化后验概率

根据贝叶斯理论就是，后验概率等于

证明如下：

$p(\theta)$,是先验参数分布，作者用了中值为0的高斯分布，

$p(\mathcal{G}|\theta)$是用来给定参数$\theta$来表达图的概率。给定一个节点，将其用函数$g(\cdot)$嵌入到低纬空间，然后用KG的triplet来表达图。公式如下：

这个公式得到的是每个triplet出现的概率。

$p(S|\mathcal{G},\theta)$是给定一个图和参数，每一个信号出现的概率，其假设学习出的参数，能拟合节点在所有signal里的重要性概率，用极大似然概率，得到如下公式：

其中$p(s^{(i)}_j)$是，节点在第$i$种signal里的重要性概率，其公式如下:

$p(z_j^{(i)})$则是我们学习到的重要性，其表示如下：

则我们最后得到的目标方程如下：

模型和训练过程

节点一开始用函数$g(x)$进行节点嵌入，然后通过$g’(g(x))$（全连接）转换到一维，然后另$h^0=g’(g(x))$

模型在message passing采用的是注意力的加权求和，类似GAT

最后对每个节点的表达作者是使用GENI的的中心平均化

最后得到每个重要性的表达向量$z$，注意$z_i$也只是一个值，因为一开始进行了转换。：

现有的基于半监督的图神经网络算法，不能很好的学习到不同跳的邻居特征。本文提出了一种可以重复的表达不同距离的邻居用户特征的算法。

原始GCN不同层卷积都用相同的权重，不能捕获不同层的信息差异性，本文证明了对不同层采用不同的信息传递权重能捕获不同层之间的信息差异性。

贡献

1. 提出了Delta Operators，并证明了传统的GCN模型没有能学到这样的表达
2. 提出了MixHop，通过利用多次邻接矩阵，作者证明MixHop能够学习到更广泛的邻居特征，同时也不会增加模型的内存。

问题

1. 传统GNN一次只能卷积一次邻居
2. 在降低邻接矩阵求特征值的复杂度之后丢失了一些信息

假设

模型

Delta Operation

这是一个在不同距离的节点特征之间收集特征的操作。一个模型能够学习到两跳的信息的前提是其存在一组参数和一个injective mapping $f$，可以使得网络的输出可以给定任何邻接矩阵$A$和特征$X$。

MixHop Graph Convolution Layer

和传统GCN重复乘以A不同，本文在一次操作里乘多次A，一次性获得多跳的信息。并且和传统GCN的每层权重矩阵W相同不一样，这里每一跳都有各自的权重矩阵W。最后将其拼接起来。

模型的表示能力

证明1：传统GCN不能表达two-hop Delta Operators

通过构造$C{1,2}$来证明$W^$是任意两行都是相等的，从而证明$AW^$的rank为1，又证明$AW^*=f$，从而$f$不可能是injective（单射）的，因为任意两行相等，所以对多个不同的两行的$C{xy}$都产生相同的输出。

证明2：证明MixHop具有two-hop性质

通过拼接操作，再加上合理构造的$W$，可以产生two-hop形式的函数。因此可以证明构造的方式是合理的，能捕获two-hop性质。

模型参数

作者针对不同层的$W$，认为不同层的信息重要程度是不一样的，于是作者先用统一的特征维度n进行预训练。然后再训练完之后通过L2正则化，和阈值筛选出新的维度大小，然后再重新训练。通过这个操作，作者认为能表现出不同hop特征的重要程度（这难道不是一个attention就能解决的吗？？）

本文是本人基于哈尔滨工业大学生物信息学整个课程的复习提纲

绪论

组学：

生物学中对某些生物分子的整个集合进行的系统性研究

组学基本法则：

获取大样本-高通量侧学-数据分析-结果注释：生物验证

基因数据库：

SRA数据库：

手机全世界的基因组原始测序数据

GenBank数据库：

1983年起，收集全世界公开发表的DNA序列

GEO数据库：

收集基因表达谱数据，收集超过9.1w数据集

生物信息学：

是研究生物数据管理、存储、检索、分析、挖掘、可视化的算法与系统，实现对生物数据的理解和利用的一个多学科交叉领域。

生物数据和数据库

DNA：

• 一串由ACGT组成的字符串
• 双链结构

RNA：

• 一串由ACGU组成的字符串

蛋白质：

…

生命：

• 有生命和无生命

• • 有生命：可以移动、繁殖、生长、进食，和外界进行物质交换
  • 无生命：无法和外界进行物质交换（除了种子，病毒）
  • 有生命和无生命都符合相同的物理和化学规则

蛋白质和核酸：

• 蛋白质：

• • 决定生物的性状

• 核酸：

• • 编码蛋白质
  • 传递遗传信息

蛋白质：

• 一级结构：组成蛋白质的多肽链的线性氨基酸序列。
• 二级结构：依靠不同氨基酸C=O和N-H基团之间氢键形成的稳定结构
• 三级结构：通过多个二级结构元素的排列形成的一个蛋白质分子的三维结构。
• 四级结构：用于描述由多个不同肽键间相互作用形成具有功能的蛋白质符合物分子

DNA：

• 碱基：

• • A-T, C-G
  • A，G：嘌呤
  • C，T：嘧啶

非编码RNA：

• 是指不能翻译为蛋白的功能性 RNA 分子

基因转录：

• Promoter （启动子 ）: a region before each gene in DNA; to

serve as an indication to cellular mechanism that a gene is ahead

• mRNA: a copy of gene; with exactly the same sequence as one of

the strands of the gene but substituting U for T

• Introns ( 内含子 ): parts of a gene / not used in protein synthesis;

spliced out from mRNA —>shortened mRNA leaves nucleus with

exons ( 外显子

mRNA翻译：

• 把mRNA翻译成蛋白质的过程。

生物数据库：

分类：

• 基因组数据库
• 核酸序列数据库
• 蛋白质序列数据库
• 生物大分子（主要是蛋白质）三维空间结构数据库
• 对基因组图谱、核酸和蛋白质序列、蛋白质结构以及文献等数据进行分析、整理、归纳、注释， 具有特殊生物学意义和专门用途的二次数据库

NCBI：

• 1988 年 11 月美国国家健康研究所（ NIH ）、国家医学图书馆

NLM ）发起成立。

• 1992 年， NCBI 建立 GenBank 核酸序列数据库，将美国专利商标

局存储的专利序列并入 GenBank 管理，并与 EMBL 、 DDBJ（与 GenBank 并称世界三大生物序列信息数据库）实现数据资源的交换和共享。

GenBank:

• GenBank 是 NIH 遗传序列数据库，集成所有公开可获得的已注释

DNA 序列；

• 核酸序列数据根据不同的研究属性， 分属于 Nucleotide 、 GSS 和 EST

三个子库

• Nculeotide 收录绝大多数常规的核酸序列
• GSS 收录测序起始阶段用来进行序列或基因示踪 、重复序列或基因

数量预判等的各种短读长序列；

• EST 收录 cDNA 及 cDNA 特征序列信息。

RefSeq:

• 收集全世界公开发表的各类物种（人、动植物、微生物等）的参考序列（包括基因组、转录体等）

Gene：

• 基因数据库收录全部已测序物种的基因注释信息。
• 包括基因的命称、染色体定位、基因序列和编码产物（ mRNA 、蛋白质）情况、基因功能和相关文献信息等。
• 与 GenBank 、 OMIM 、遗传多态数据库（如 dbSNP 、dbVar ）等 NCBI 子库，及 KEGG 、 Gene Ontology等外源性数据库进行交叉引用。

dbSNP:

• 收集基因组66个物种的基因组变异数据，目前收集超过3.2亿经过验证的人类基因组变异信息。

dbGap:

• 收集人类基因类型与表型相互作用关系数据。

GEO：

• 接收和管理基因芯片或测序技术获得的表达数据。

Epigenomics:

• 表观基因组数据查询和浏览相结合的数据库

Unigene：

• 分别将不同来源的基因序列、蛋白质相似性（与模式生物比较）、基因表达（不同组织或发育状态）、染色体定位、cDNA 序列、 mRNA 序列（选择性剪接）、 EST 序列等进行罗列和比较。

UCSC基因组浏览器和数据资源：

• UCSC 收录了包括人类基因组在内的 48 种哺乳动物（ mam mal ）、 19 种其他

脊椎动物（ vert e brate ）、 3 种后口动物（ deuterostome ）、 20 种昆虫（insect ）、线虫 nematode ）等众多动物，及病毒 virus ）、酵母等微生物全基因组数据。

• 包括基因和基因结构、开放读码框、 mRNA 、 EST 、转录本、非编码基因、基因表达、基因调控、基因变异（ SNPs 、微缺失、微插入等），及重复序列等信息。

BLAT序列比对工具：

• 支持目标序列与参考基因组进行 DNA 或蛋白序列比对。DNA比对
• 快速寻找 95% 或更高的匹配度的 40 碱基以上相似序列，可能会丢失低匹配度的短片段序列。蛋白序列比对
• 快速搜索比对长度在 20 氨基酸以上、相似性超过 80% 的序列。

序列匹配

一致度：

• 如果两个序列（蛋白质或 DNA ）长度相同，那么它们的一致度定义为他们对应位置上相同的残基（一个字母，氨基酸或碱基）的数目占总长度的百分数。

相似度：

• 如果两个序列（蛋白质或 DNA ）长度相同，那么它们的相似度定义为他们对应位置上相似的残基与相同的残基的数目和占总长度的百分数。

打点法：

• 比较序列重叠部分
• 寻找序列的重复部分

双序列全局比对算法：

双序列局部比对算法：

Seeding

分子进化分析

从物种的一些分子特性出发，从而了解物种之间的生物系统发生的关系。

分子进化的模式：

• DNA突变的模式：替代，插入，缺失，倒位；

• 核苷酸替代：转换(Transition) & 颠换(Transversion)

• 基因复制：多基因家族的产生以及伪基因的产生

• • A. 单个基因复制– 重组或者逆转录
  • B. 染色体片断复制
  • C. 基因组复制

分子进化的目的：

• 物种分类及关系：从物种的一些分子特性出发，构建系统发育树，进而了解物种之间的生物系统发生的关系—— tree of life
• 大分子功能与结构的分析：同一家族的大分子，具有相似的三级结构及生化功能，通过序列同源性分析，构建系统发育树，进行相关分析；功能预测
• 进化速率分析：例如，HIV的高突变性；哪些位点易发生突变？

系统发生与重建：

基因的编码区和非编码区：

• 基因的DNA由编码区（Coding region）和非编码区（Noncoding region）构成；
• 编码区可以转录信使RNA，进而调控蛋白质的合成；
• 非编码区不能转录成信使RNA，但是它可以调控遗传信息

的表达；

• 原核基因：编码区全部编码蛋白质；

真核基因：编码区分为外显子和内含子,只有外显子能编码蛋白质；

两个序列间的核苷酸差异：

基于距离法构建系统发生树

距离矩阵

通过距离构建树

同组合并，距离相加/2

19=（18+20）/2

基于最小二乘法构建系统发生树

分子钟假说：

• 分子钟（molecular clock）假说认为DNA或蛋白质序列的进化速率随时间或进化谱系保持恒定。
• 最简单的分子钟假设检验是采用第三个物种C（外

类群）来检验两个物种A和B是否以相同的速率进

化。这一检验称为相对速率检验（relative-rate

test），其实几乎所有的分子钟检验比较的都是相

对速率而不是绝对速率。

蛋白质和核苷酸的适应性进化

中性与近中性理论：

按照中性理论，我们今天观察到的遗传变异——无论是种内多态性还是中间分歧，均不取决于自然选择所驱动的有利突变的固定，而是取决于那些事实上没有适合效应（即中性的）突变的随机固定。

这个理论认为在分子遗传学的层次上，基因的变化大多数是中性突变，也就是对生物个体的生殖与生存既没有好处也没有坏处的突变。由于中性突变并不受自然选择影响，而是由中性的突变基因的遗传漂变产生的，因此中性理论也曾被认为是与查尔斯·达尔文的自然选择论处于竞争状态。另外木村资生提出突然变异产生的蛋白质和原本的蛋白质之间没有适应性的差异时的突然变异则称为中立突然变异的理论

来自 [https://zh.wikipedia.org/zh-cn/%E4%B8%AD%E6%80%A7%E6%BC%94%E5%8C%96%E7%90%86%E8%AB%96](https://zh.wikipedia.org/zh-cn/中性演化理論)

主要内容：

• 承认负选择。
• 认为正选择力量很小。
• 强调功能约束。
• 功能的约束造成不同的基因突变速率不同。
• 功能重要的部分变化会影响其功能，大多数的变化均饱受负选择作用。
• 功能不很重要的部分变化多，不影响功能，被随机保留。

经典演化和分子演化的区别

1. 经典演化以形态特征为主：如被子植物的花：花瓣离生-花瓣合生

2. 1. 自然选择成为主要驱动力

3. 分子演化的特征：

4. 1. 种群内以随机选择（遗传漂变）为主要驱动力

蛋白质水平演化速率：

不同位点上的氨基酸替代率相同，或即使不相同，平均替代速率也很小

分子钟：

1. 一个特定的大分子（蛋白质或DNA）在所有演化谱系中具有恒定的演化速率

2. 得到速率的关键：大分子(物种）的分歧时间

3. • 时间很难预测
   • 最真的使用化石或者地质事件
   • 相对速率：用一分歧时间早于所研究的物种作为参考
   • 先决条件：演化速率恒定

基因表达数据分析

基因表达的时间性和空间性

时间特异性：

• 是指特定基因的表达严格按照特定的时间顺序发生以适应细胞或个体特定分化、发育阶段的需要，故又称为阶段特异性。

空间特异性：

• 是指多细胞生物个体在特定生长发育阶段，同一基因表达在不同的细胞或组织器官不同，从而导致特异性蛋白质分布于不同的细胞或组织器官。故又称为细胞 特异性或组织特异性。

基因表达方式：

组成表达：

• 指在个体发育的任一阶段都能在大多数细胞中持续进行的基因表达。
• 其基因表达产物通常是对生命过程必需的或必不可少的，且较少受环境因素的影响。
• 这类基因通常被称为管家基因（housekeeping gene）。

诱导和阻碍表达：

• 诱导表达（Induction）是指在特定环境因素刺激下，基因被激活，从

而使基因的表达产物增加。这类基因称为可诱导基因。

• DNA损伤→修复酶基因激活

• 乳糖→利用乳糖的三种酶表达

• 阻遏表达（repression）是指在特定环境因素刺激下，基因被抑制，从而使基因的

表达产物减少。这类基因称为可阻遏基因。

协调表达和协调调节：

在一定机制控制下，功能上相关的一组基因，无论其为何种表达方式，均需要协调一致，共同表达。

基因表达数据的分析：

1. 分析单个基因的表达水平，根据在不同实验条件下，基因表达

水平的变化，来判断它的功能，采用的分析方法有统计学中的假

设检验等。

1. 考虑基因组合，将基因分组，研究基因的共同功能、相互作用

以及协同调控等。多采用聚类分析等方法。

1. 尝试推断潜在的基因调控网络，从机理上解释观察到的基因表

达数据。多采用反向工程的方法。

基因表达测定方法RT-qPCR

基因表达测定平台与数据库：

cDNA芯片：

• – cDNA是与mRNA互补的DNA分子，长约0.2~5kb
• – 通过碱基互补配对原则进行探针与待测mRNA之间的分子杂交产生信号，反映待检mRNA水平，在一定程度上体现基因的表达水平

Typical-RNA-Seq experiment:

①内容： RNA-seq技术就是把mRNA切成许多长度介于

100bp~200bp的短片段，然后反转录合成cDNA，进行PCR扩增，利用高通量测序技术获得相关的基因表达信息。

②优势：有助于探索真核转录的复杂性，此外还提供了比其他方法更精确的转录水平及其亚型的测量方法。

Microarray技术与RNA-Seq技术的比较：

1.RNA-Seq技术对没有已知参考基因组信息的非模式生物，也可测定转录信息；

2.RNA-Seq技术可以测定转录边界的精度达到一个碱基，RNA-Seq可以用来研究复杂的转录关系；

3.RNA-Seq可以同时测定序列的变异；

4.RNA-Seq背景信号很小，测定的动态范围很大。

Ø RNA-Seq在基因表达的定量上准确性很高；

Ø RNA-Seq在测定技术上和生物上重复性很高；

Ø RNA-Seq的测定需要很少的RNA样本。

Ø 在应用上RNA-Seq技术对ISOFORM的测定和等位基因的区分比芯片技术有很好的优势。

基因表达数据库：

疾病相关基因表达数据库

数据预处理与差异表达分析：

表达量的计算

t检验法：

方差分析：

SAM方法：

基因注释与功能分类：

功能基因组学的主要任务之一是进行基因组功能注释（genome annotation），了解基因的功能，认识基因与疾病的关系，掌握基因的产物及其在生命活动中的作用等。

快速有效的基因注释对进一步识别基因，研究基因的表达调控机制，研究基因在生物体代谢途径中的地位，分析基因、基因产物之间的相互作用关系，预测和发现蛋白质功能，揭示生命的起源和进化等具有重要的意义。

Go数据库：

基因本体数据库是GO组织（Gene Ontology Consortium）在2000年构建的一个结构化的标准生物学模型，旨在建立基因及其产物知识的标准词汇体系，涵盖了基因的细胞组分（cellular component）、分子功能（molecular function）、生物学过程（biological process）。

Go注释

KEGG数据库：

京都基因与基因组百科全书（Kyoto encyclopedia of genes and genomes, KEGG） 是系统分析基因功能、基因组信息的数据库，它整合了基因组学、生物化学以及系统功能组学的信息，有助于研究者把基因及表达信息作为一个整体网络进行研究。

基因集功能富集分析

• 富集分析方法通常是分析一组基因在某个功能结点上是否过出现（over-presentation）。这个原理可以由单个基因的注释分析发展到大基因集合的成组分析。
• 由于分析的结论是基于一组相关的基因，而不是根据单个基因，所以富集分析方法增加了研究的可靠性，同时也能够识别出与生物现象最相关的生物过程。

基因功能预测

• 首先，从总体上宏观地概括抽取信息，如不同样本间、不同时间点间全部差异基因；
• 其次，通过GO或KEGG分析，即从GO分类结果找到实验涉及的显著功能类别或将差异基因映射到通路中，

根据基因在通路中的位置及表达水平的变化算出受影响显著的通路，从而预测未知的基因功能等。

基于Go的基因功能预测：

1. 对差异表达基因进行功能预测
2. 蛋白质互作用网络用于基因功能预测
3. 利用GO体系结构比较基因功能

基于KEGG通路分析的基因功能预测：

通路分析是现在经常被使用的芯片数据基因功能分析法。与GO分类法（应用单个基因的GO分类信息）不同，通路分析法利用的资源是许多已经研究清楚的基因之间的相互作用，即生物学通路。研究者可以把表达发生变化的基因集导入通路分析软件中，进而得到变化的基因都存在于哪些已知通路中，并通过统计学方法计算哪些通路与基因表达的变化最为相关。

生物分子网络与通路：

生物学通路：

• 生物学通路是指由生物体内一系列生物化学分子，包括基因、基因产物极其化合物，通过各种生化级联反应来完成的某一个生物学过程。
• 生物体内最主要的生物学通路就包括代谢通路和信号传导通路。

转录调控网络：

• 描述转录因子，极其调控的基因之间的关系
• 有向图
• 其中点表示转录因子或者被调控的基因，边表示转录因子对基因的调控关系，箭头指向被调控的基因

mRNA：

• miRNA是基因调控网络中的主要组分，在人类细胞中有~1200miRNA，miRNA可以在转录后和翻译水平

上调控多于30%的编码基因的表达。

• miRNA和靶基因间不是简单的一对一的关系，而是复杂的多对多的关系，形成了复杂的转录后调控网络。
• 其中网络中包含两种类型的节点，miRNA和靶基因，网络的边代表miRNA对于靶基因具有调控作用。
• miRNA-靶基因的转录后调控网络是一种典型的二分网络，网络的边只存在于miRNA集合和靶基因集合之间，而miRNA集合和靶基因集合内部并不存在调控关系。

蛋白质互作用数据库：

• HPRD数据库
• BIND数据库
• DIP数据库
• IntAct数据库
• BioGRID数据库：基因和蛋白质相互作用的数据库

代谢网络：

• 代谢通路是指细胞中代谢物在酶的作用下转化为新的代谢物过程中发生的一系列生物化学反应
• 代谢网络则是指由代谢反应以及调节这些反应的调控机制所组成的描述细胞内代谢和生理过程的网络

完全网络

• 最完整的保存代谢通路中各个反应，以及每个反应中的底物、产物和酶。

多反应物网络

• 代谢物只由一个节点表示，边由底物指向产物，酶与底物、产物之间的边则可以由双向边来表示。

主要反应物网络

• 只包含主要代谢底物指向主要产物的网络。

信号传导网络：

• 生物中的信号传导(Signal transduction)则是指细胞将一种类型的生物信号或刺激转换为其他生物信号

最终激活细胞反应的过程。

• 同代谢通路一样，信号传导的过程中多个生物分子在酶作用下按照一定顺序发生一系列生理化学反应，

由此得到了信号传导通路。

• 信号传导网络即是指参与信号传导通路的分子和酶以及其间所发生的生化反应所构成的网络。

生物分子网络分析：

连通度和图的连通度

聚类系数：

有向网络聚类系数：

边介数：

边介数：网络中所有最短路径中经过该边的路径的数目占最短路径总数的比例。

紧密度：

拓扑系数：

直径：

网络的直径是指网络中任意两个连通节点间距离的最大值。

连通度分布函数和聚类系数函数：

C（k）连通度为k的节点聚类系数的平均值。

无标度网络：

• 由于这类网络的节点连接度没有明显的特征长度，故称为无标(尺)度网络。
• 特征长度是属于分形几何的概念。对于某个物体, 特征长度通常是指该物体长度中有代表意义的长度, 如我们考察一个球体, 那么它的特征长度就是该球体的半径或直径。对于具有特征长度的物体, 只要其特征长度不变, 其性质就不会发生什么变化。
• 无标度网络中，大部分节点通过少数中心节点连接到一起，这就意味着节点在网络中的地位是不平等的，中心节点在连接网络完整性方面起更加重要的作用。
• 在无标度网络中大部分节点的连通度较低，但存在少数连通度非常高的节点使网络连接在一起。在这种网络中，平均连通度等标度已经不足以描述网络的规模和结构。

计算表观遗传学：

表观遗传学是研究不涉及DNA序列改变的情况下，DNA甲基化谱、染色质结构状态和基因表达谱在细胞代间传递的遗传现象的一门科学。

• 预测的角度研究表观遗传现象。
• 应用生物信息学工具建立遗传与表观遗传调控网络。
• 表观遗传数据库。
• 建立在表观遗传机制基础的功能基因组及比较基因组研究。

DNA甲基化：

• DNA甲基化是一种发生在DNA序列上的化学修饰，可以在转录及细胞分裂前后被稳定地遗传。DNA甲基化是重要的表观遗传代码。

CpG岛：

• CpG岛是重要的调控元件,可用于新基因的发现。CpG岛通常是不被甲基化的，作为管家基因的重要标志之一。

测定蛋白修饰的高通量技术：

复杂疾病的分子特征与计算分析

复杂疾病的分子特征

• 遗传和环境因素共同决定
• 多基因决定
• 单核苷酸多态性
• 连锁不平衡
• 单体型

常用复杂疾病相关数据库

• OMIM
• dbGap
• CGAP
• HGMD
• GeneCards

复杂疾病遗传学研究方法

• 连锁分析

• • 参数连锁分析
  • 非参数连锁分析

• 关联分析

• • 质量性状关联分析
  • 数量性状关联分析

非编码RNA与复杂疾病

• miRNA多态（miRNApolymorphisms）是影响miRNA功能的多态，可能发生在miRNA形成和行使功能的任一个过程，以插入、删除、扩增或染色体异位的形式出现，最终导致miRNA绑定位点或者功能的缺失（获得），是人类基因组一类新的功能多态。
• 不仅会影响miRNA的产生和表达，而且会影响miRNA与靶基因的结合从而影响靶基因的表达。

miRNA靶基因预测遵循的原则和基本步骤

• miRNA的“种子区”与mRNA的3′UTR序列碱基互补
• 靶点在多物种间的序列保守性
• miRNA与mRNA形成双链结构的热力学稳定性
• 靶基因二级结构和靶点外的序列对靶基因预测的影响

本文是本人基于哈尔滨工业大学数据库系统整个课程的总结和复习提纲

绪论

2020年6月4日

9:15

数据库定义：

· 相互关联关系的数据的集合

Table:

· Table中描述了一批互有关联关系的数据。

数据库构成：

· 数据库（DB）：Database：一组关联关系数据集合

· 数据库管理系统（DBMS）：Database management system：管理数据的软件

· 数据库应用（DBAP）：Data base Application：完成某一功能的应用

· 数据库管理员（DBA）：Database Administrator：管理数据库的人

· 计算机基本系统

实例化和抽象化：

把数据库的构成实例化成各个具体的应用。

数据库管理系统的功能：（DBAP）

· 数据库定义：定义数据库中Table的名称、标题、标题内属性和属性值的要求

o DBMS提供DDL语言给用户定义数据库

o 用户使用DDL创建表格式

o DBMS解析DDL并执行

· 数据库执行：对表中数据库进行增删查改等操作

· 数据库控制：控制数据库数据的访问

o DBMS提供DCL语言给用户

o 用户使用DCL进行控制

o DBMS解析DCL

· 数据库维护：数据库转存，恢复，重组，性能监控

数据库语言：

· DDL：用于定义数据格式

· DML：数据库内容操作

· DCL：数据库控制语言

· 数据库各种操作执行。

DBMS功能：

· 语言编译器

· 查询优化

· 数据存储与索引

· 通讯控制

· 事物控制

· 故障恢复

· 安全性控制

· 完整性控制

数据库系统的标准结构

2020年6月4日

10:46

DBMS的三个层次：

· 外部层次（用户层次）：某一个用户能看到和处理的数据，全局数据的某一个部分

· 概念层次（逻辑层次）：从全局角度管理和理解数据

· 内部层次（物理层次）：存储在介质上的数据，存储路径、方式、索引等。

模式（schema）：

· 对数据库中的数据进行一种结构性描述

· 所观察到的结构信息

视图（view）：

· 某一种表现形式下的数据

外模式、外视图：用户所看到数据库的局部描述

概念模式、概念视图：从全局理解结构描述、关联约束

内模式、内视图：数据在介质上的结构描述，含有存储路径，存储方式，索引方式等。

两层映像：

· E-C Mapping**：**将外模式映射为概念模式，支持数据视图向外部视图转换，便于用户观察

· C-I Mapping**：**将概念模式映射成内模式，方便计算机的存储

逻辑数据独立性：当概念模式变化时，可以不改外部模式，只改EC mapping

物理数据独立性：当内部模式电话，可以不改概念模式，只改CI mapping

数据模型：模式 与 模式的结构

· 规定模式统一方式的模型

· 数据模型是对模式本身的抽象，模式是对数据本身结构形式的抽象

关系模型：所有的模式都可为抽象表的形式，而每一个具体的模式都拥有不同的列名的具体的表，这种表形式的数据有哪些操作和约束

模式：对数据的抽象

数据模型：对模式的抽象

三大经典数据模型：

· 关系模型：表的形式组织

· 层次模型：树的形式组织数据

· 网状模型：图的形式组织数据

第一代数据库：基于网状模型或者层次模型的数据库系

第二代数据库：基于关系模型的数据库系统

关系模型的简述

2020年6月4日

11:13

关系模型的构成：

· 描述DB各种数据的节本结构形式

· 描述Table与Table之间可能发生的操作（关系运算）

· 秒后苏这些操作所应该遵循的约束条件（完整性约束）

关系模型的三要素：

· 基本结构

· 基本操作：并、差、乘积、选择、投影、交、连接、除

· 完整性约束：实体完整性、参照完整性、用户自定义的完整性

关系代数：

· 基于集合的运算，一次一个集合

关系的定义：

域：定义列的取值范围。

· 一组值的集合，拥有相同数据类型

· 集合中元素的个数成为基数

笛卡尔积：

· 一组域可能构成的全部的元素组合

· 笛卡尔积的每一个元素称为一个元组

·

关系：

· 一组域的笛卡尔积的子集

· 笛卡尔积中具有某一方面意义的那些元组被称为一个关系

· 由于关系的不同列可能来自同一个域，为了区分需要为每一个列起一个名字，该名字则为属性名

关系模式：

n：关系的度

基数：关系中元组的数目

关系模式与关系：

· 同一关系模式下可以由多种关系

· 关系模式是关系的结构，关系是关系模式某一个时刻的数据

· 关系模式是稳定的，而关系是某一个时刻的值，是随时间变化的

关系的特性：

· 列是同质的：每一列的分量来自统一域，是同一类型的数据

· 不同的列可以来自同一个域，所以需要为每一个属性赋予不同的属性名

· 关系是以内容来区分的，而不是属性在关系的位置来区分：行列互换无关性

· 关系中不能有两个相同的元素，但是在现实应用中，Table可能不能完全遵守此特性。

关系第一范式：

· 属性不可再分特性

候选键：

· 关系中的一个属性组，其值能唯一标识一个元组，若工该属性组中去掉任何一个属性，它就不具有这个性质了，这样的属性组成为候选码（候选键）

· 关系中可能有多组候选码：（name, address）

主码：

· 当有多个候选码时，可以选定一个作为主码

· DBMS以主码为主要线索管理关系总的各个元组

主属性：

· 包含在任一候选码中的属性，被称为主属性，其他属性称为非主属性。

· 简单：候选码只包含一个属性

· 极端：所有属性构成主属性

外码：

· 关系R中的一个属性组，他不是R的候选码，但它与另一个关系S的候选码相对应，则称这个属性组为R的外码或外键

关系模型的完整性：

· 主码完整性：关系主码中的属性值不能为空值

o DBMS的结构保证

· 参照完整性：如果关系R1的外码与关系R2的主码相对应，则R1中的每一个元组的Fk值都等于R2中某一个元组的Pk值或者空

o DBMS的结构保证

· 用户自定义完整性：用户根据具体环境定义的完整性约束

o DBMS的支持用户自定义约束

关系代数

2020年6月4日

14:48

基于集合，提供了一系列的关系代数操作：并、差、笛卡尔积（广义积）

集合操作：并、交、差、笛卡尔积

纯关系操作：投影、选择、连接、除

五种基本操作：并、差、广义积、选择、投影

关系代数的基本操作

并相容性：

· 关系R和关系S存在相容性，当且仅当两个关系的对应属性域相同

并操作：

·

·

差运算：

·

广义笛卡尔积：

·

选择：

· 给定一个关系R，同时给定一个选择的条件condition，选择运算结果也是一个关系，他从关系R中选择出满足给定条件的元组构成。

·

关系运算的优先级：

投影操作：

·

· 如果投影之后出现重复的元组，要去掉

投影操作选的是列，选择操作选定是行

交操作：

·

·

·

· t是关系R中的元组，s是关系S中的元组

· 属性A和属性B有可比性。

·

· 更名操作：自己和自己连接，用于需要在一个表上进行多个条件过滤操作的时候

等值连接：

·

自然连接：

· 关系R和关系S的笛卡尔积中选取相同属性B上值相等的元组构成

·

· 两个关系肯定有相同的属性组B，所以是一种特殊的等值连接。所有的相同属性都必须相等。

· 在结果中去掉重复的属性列。**（会消除冗余）**

关系代数的基本思路：

· 检查是否涉及多个表，如果不涉及，则可以直接采用并、交、差、选择和投影

· 如果涉及多个表：

o 是否能使用自然连接

o 如果不能，则使用等值或者theta连接

o 如果还不能则使用广义笛卡尔积

· 连接完成之后，可以继续使用选择、投影等运算，即数据库的选投联操作

除运算：

· 用于求解：查询。。。。全部的/所有的

· 给定关系R和关系S，如果可以进行关系R与关系S的除运算，当且仅当：属性集S是属性R的真子集。

·

·

·

·

外连接：

· 两个关系R和S进行连接如果关系R或者S中的元组在另一个关系中找不到相匹配的元组，为了避免该元组信息丢失，从而将该元组与S或R中的假定存在的全为空值的元组进行连接，并放入关系结果中。

·

· 左外连接：自然连接+左侧失配

· 右外连接：自然连接+右侧失配

· 全外连接：自然连接+两侧表中失配的元组

关系模型演算

2020年6月5日

10:39

关系元组演算：以元组变量作为谓词变量的基本对象

关系域演算：是以域变量作为谓词变量的基本对象

上式表示：所有使谓词P为真的元组t的集合

· t是元组变量

·

· t[A]表示元组t的分量，即t在属性A上的值

· P是与谓词逻辑相等的公式，P(t)表示以元组t为变量的公式

P(t)递归构造：

·

·

·

·

·

·

·

· 公式只限于以上形式

元组演算的等价性：

元组演算公式实现关系代数：

关系域演算：

·

·

·

·

·

·

·

域是某一列的取值范围，元组则是一个具体的关系行

元组是一行行的扫描，域是以列为单位，对每一个列进行扫描

元组演算是以元组为变量，以元组为基本单位，先找到元组，然后再找到元组分量，进行谓词判断。

QBE操作框架：

示例元素P，表示输出的集合标志，可以用.X,.Y来进行其子集的过滤

关系运算的安全性：不产生无限关系和无穷验证的运算被称为是安全的

\1. 关系代数是一种集合运算，是安全的

\2. 关系演算不一定是安全的

安全约束有限集合DOM：

·

· DOM只是一个约束谓词的范围，不是最小集合。

安全元组演算表达式：

·

·

·

三种关系运算：

· 关系代数—以集合为对象的操作，集合到集合

· 元组演算—以元组为对象的操作，取出关系的每一个元组进行验证

· 域演算—以域变量为对象的操作思维，取出域的每一个变量进行验证看是否满足条件

· 三种运算是等价的

· 三种运算都是非过程性的：域>元组>关系

· 三种运算都是抽象的，但都是衡量数据库语言的完备性的基础

SQL语言概述

2020年6月5日

16:11

DDL:

· Create

· Alter

· Drop

DML:

· Insert

· Delete

· Update

· Select

DCL:

· Grant

· Revoke

交互式SQL->嵌入式SQL->动态SQL

理解查询需求->用SQL精确表示

创建数据库

Create database database name

创建Table：

Create table 表名（列名 数据类型 [Primary key|Unique] [Not null] [, 列名 数据类型 [Not null]])

· Primary Key：主键约束，一个表稚嫩给一个

· Unique：候选键约束，可以有多个

· Not null：非空约束，不允许为空

数据类型：

Insert：

Insert into 表名[(列名 [, 列名]…]

Values (值, [, 值],…)

Select:

Select 列名 [[, 列名]..]

from 表名

[where 条件

唯一性：

通过关键词DISTINCT保证结果的唯一性

排序问题：

使用order by 列名 [asc|desc]

模糊查询：

列名 [not] like “字符串”

· % 匹配零个或者多个字符

· _ 匹配单个字符

· \ 转义符

多表联合查询：

多表笛卡尔积

Select 列名 [[,列名]..]

From 表名1，表名2

Where 检索条件;

重名处理：

select 列名 as 列别名 [[, 列名 as 列别名]…]

from 表名 as 表别名1, 表名2 as 表别名2

Where 检索条件。

批量增加数据命令：

Insert into 表名[(列名 [, 列名]…]

子查询

Delete：

Delete from 表名 [where 条件]

Update:

Update 表名

Set 列名=表达式| (子查询)

[[, 列名=表达式|子查询]]

[where 条件表达式]

Alter：

Alter table tablename

[add {column datatype}]

[drop {约束}]

[modify {column datatype, ….]

Drop：

Drop table 表名

Drop database 数据库名

SQL复杂查询

2020年6月8日

11:30

(not) in 子查询：

表达式 [not] in （子查询）

非相关子查询：内层查询和外层查询独立

相关子查询：内层查询需要外层查询的变量

表示与“某一个”比较还是“所有”比较

与Not in等价的是<> all

Exists子查询：

[not] Exists （子查询）

子查询结果中有无元组存在

结果计算：

Select from where语句中，select子句后面不仅可以是列名，也可以是一些计算表达式或者聚集函数。

使用计算表达式作为一列

聚集函数：

SQL提供了五个作用在简单列值集合上的内置聚集函数，分别是：

COUNT、SUM、AVG、MAX、MIN

分组：

SQL可以将检索到的元组按照某一条件进行分类，具有相同条件值的元组划分到一个组合

或一个集合中。

Group by (…)

分组过滤：

若要对集合进行分组条件过滤，即满足条件的集合、分组留下，不满足的去掉。

Having 子句，又称为分组过滤子句，需要group by子句的支持。

对分组检查用Having子句，对每一行检查用where子句

union|intersect|except

(子查询) {union [ALL]| intersect [ALL] | exccept [ALL] 子查询}

默认自动删除重复元组，若要保留重复元组，则要带ALL

空值的处理

空值的检测： is [not] null

测试指定的列是否是空值。

· 空值不满足除了 is [not] null 之外任何查找条件

· 如果null 参与算数运算，则该算数表达式的值为null

· 如果null 参与比较运算，则结果可以视false

· 如果null参与聚集运算，那么除了count(*)之外的其他聚集函数都忽略null

连接运算：

连接类型：

· Inner join：

· Left outer join

· Right outer join

· Full outer join

连接条件：

· Natural：自然连接

· On <连接条件>：theta连接，满足on的的条件

· Using (col_1,col_2,… col_n)：col1-coln是两个连接关系的公共属性的子集，元组在col1-coln上的取值相等，且col1-coln只出现一次。

视图：

对应概念模式的数据在SQL中被称为基本表(Table)，而对应外模式的数据被称为视图(view),视图不仅包含外模式，而且包含其E-C映像。

Create view view_name [(列名 [, 列名]…)]

as 子查询 [with check option]

使用视图：

定义好视图，可以像table一样，在SQL各种语句中使用

视图的更新：

视图不保存数据，所以对视图的更新最终都要反映到对基本表的更新上，而有时视图的定义是不可逆的，比如使用聚集函数

· 包含聚集函数，不能更新

· 使用unique，distinct不能更新

· 使用group by 不能更新

· 使用计算表达式，不能更新

· 视图由单个表构成，但没有主键，不能更新

数据库完整性的概念及分类

2020年6月8日

16:37

数据库完整性：

是指DBMS应保证DB在任何情况下的正确性、有效性和一致性

· 广义完整性：语义完整性、并发控制、安全控制、DB故障恢复

· 狭义完整性：语义完整性、DBMS通常有专门的完整性管理机制与程序来处理语义完整性问题。

关系模型中的完整性要求：

· 实体完整性

· 参照完整性

· 用户自定义完整性

完整性约束条件：

O: 数据集合，约束的对象

P: 谓词条件，什么样的约束

A: 触发条件，什么时候检查

R: 响应动作，不满足的情况怎么办。

按约束对象分类：

· 域完整性约束条件

o 施加在某一列上，对给定列上所有要更新的某一后选值是否可以接受进行约束条件判断

· 关系完整性约束条件

o 施加在Table上，对给定的table上所有要更新的某一候选元组是否可以接受进行约束条件判断，或者是对一个关系中的若干元组和另一个关系中的若干元组之间的联系进行约束条件判断。

按约束来源分类：

· 结构约束：

o 来自于模型的约束，比如函数依赖约束，主键约束，外键约束

· 内容约束：

o 来自于用户的约束，如用户自定义完整性，关心元组或属性的取值范围。

按约束状态分类：

· 静态约束：

o 要求DB在任一时刻都应该满足约束

· 动态约束

o 要求DB从一个状态到另一状态时满足的约束

SQL语言的完整性：

· 静态约束：

o 列完整性：域完整性

o 表完整性：关系完整性约束

· 动态约束：

o 触发器

Create Table 定义完整性约束：

Col_constr列约束

Table_constr 表约束

check**中的条件可以是select-From-Where内任何的Where 后的语句，包含子查询**

列约束只涉及到一列，表约束涉及到多个列

撤销、增加约束：

断言：

· 断言是一个谓词表达式，它表达了希望数据库总能满足的条件

· 表约束和列约束就是一些特殊的断言

Create assertion CHECK

· 当一个断言创建后，系统将检查其有效性，并且在每一个更新中测试更新是否违反该断言。

触发器：

· 当某一事件发生的时候，对该事件产生的结果，检查条件，如果满足条件，则执行后面的程序段，条件或程序段中引用的变量可用coor_name_def

事件：Before| After {Insert|UPdate|Delete}

· 当一个事件发生之前或之后，after触发

· 操作发生，执行触发器操作需要处理的组值，更新之前或更新之后的值，这两个值由corr_name_def的使用来区分

Corr_name_def的定义：

数据库的安全性：

· 私人信息保护

· 信息公开和非公开

· 最小数据访问策略

· 数据安全级别

· 数据库系统的安全级别

DBMS的安全机制：

· 自主安全性控制：存取控制

o 权限在用户之间传递，使用户自主管理数据库安全性

· 强制安全性：

o 对用户进行强制分类，使得不同类别用户能够访问不同类别的数据

· 推断控制机制

o 防止通过历史信息，推断出不该被知道的信息

o 防止通过公开信息推断出私密信息

· 数据加密存储机制

数据库的自主安全控制：

· 自主安全性是通过授权机制来实现的

· DBMS允许用户自定义一些安全性控制规则

· 当有DB访问操作时，DBMS自动按照安全性控制规则进行检查，检查通过则允许访问，不通过则不允许。

AccessRule ::= (S, O, t, P)

· S: 请求主体

· O：访问对象

· t：访问权利

· P：谓词，

理解：S这个用户，对O这个访问对象，在P这个条件下，拥有t这个权利。

控制方法：

1. 存储矩阵：

2. 视图：

· 通过视图，可以限制用户对于关系中某些数据项的存取

· 通过视图，可以将数据访问对象与谓词结合起来，限制用户对关系中某些元组的存取。

· 在视图定义之后便成为了一个新的数据对象

· 视图可以定义条件P。

SQL的关系级别：

\1. select：读

\2. Modify：更新

\3. Create：创建

Grant {all PRIVILEGES| privilege, {privilege…}}

On [TABLE] tablename | viewname

To {public |user-id {, user-id…}}

[with GRANT Option]

· User-id: 用户账号，由DBA创建的合法账户

· Public：允许所有有效用户使用授权的权利

· Privilege：

· SELECT| INSERT| UPDATE| DELETE| ALL PRIVILEDGES

收回权力：

· Revoke {all privileges | priv {, priv}} on tablename |viewname FROM {public |user {, user…}}

自主安全性控制：

· 水平传播：授权者再授权

· 垂直传播：授权者传播给被授权者，再传播给另一个被授权用户

如果用户从多个用户处获得授权，则当其中某一个用户被收回权利时，该用户可能还存在其他用户授予的权利。

强制安全性机制：

· 强制安全性通过对数据对象进行安全性分级

· 从而实现不同级别用户访问不同级别数据的一种机制

访问规则：

· 用户s不能读取数据对象O，除非Level(S) >= Level(O)

· 用户s不能写数据对象，除非Level(S) <= Level(O) ：高级别用户不允许改低级别数据，如果高级别用户进行修改了，低级别用户就无法读取了。

安全性级别：

关系中的每一个元组都带有安全性的分级

嵌入式SQL语言

2020年6月16日

8:51

以下嵌入式SQL以C语言为例

变量的声明与使用：

Exec sql select Sname, Sage into :vSname, :vSage from Student where Sname=:specName

程序与数据库的连接和断开：

Exec sql connect to target-server as connect-name user user-name

Exec sql disconnect connect-name

SQL执行的提交与撤销：

Exec sql commit work

Exec sql rollback work

事务的执行：

是一个存取或者改变数据库内容的程序的一次执行，或者说一条或多条SQL语句的一次执行被看作是一个事务。

Begin Transaction

Exec sql

….

Exec sql commit work | exec sql rollback work

End Transaction

一个事务的结束是需要程序员通过commit或rollback确认。

事务的特性：ACID

· 原子特性Atomicity：DBMS能够保证事务的一组更新操作是原子不可分的，对DB而言，要么全做，要么全不做

· 一致性Consistency：DBMS保证事务的操作状态是正确的，符合一致性操作规则

· 隔离性Isolation：DBMS保证并发执行的多个事务之间互相不受影响，例如事务T1和T2即使并发执行，也相当于或者先执行了T1再执行了T2，或者反之

· 持久性Durability：DBMS保证已经提交事务的影响是持久的，被撤销事务的影响是可恢复的。

具有ACID特性的若干数据库基本操作的组合被称为事务。

检索单行结果与多行结果获取：

单行结果可以直接将结果传送到宿主变量中

多行结果，则需要使用游标Cursor

· 游标是指向某检索记录集的指针

· 通过移动指针，每次读一行，处理一行，再读一行，直至处理完毕。

游标Cursor：

游标需要先定义再使用，接着一条条处理，最后再关闭

Exec sql declare cur_student cursor for

Select Sno, Sname, Sclass from Student where Sclass=’035101’

Exec sql open cur_sutdent

Exec sql fetch cur_student into :vSno, :vSname, :vSclass

游标可以定义一次，多次打开，多次关闭。

可滚动游标Cursor

在fetch的时候可以自定义移动的行。

数据库记录的删除：

Exec SQL DELETE FROM tablename [corr_name] where search_condition | Where current of cursor_name

数据库记录的更新：

数据记录的插入：

状态错误捕获：

· 设置SQL通信区

· 设置状态捕获语句

· 状态处理语句

SQLCA：

· SQLCA是被声明的C语言结果形式的内存区，用于和SQL进行数据交互

状态捕获语句：

Exec sql whenever condition action

Whenever 是一个条件陷阱，该条语句会对后面所有由Exec SQL语句所引起的对数据库系统调用自动检查他是否满足条件condition

· SQLERROR：检查是否有SQL语句出错

· NOTFOUND：执行某一SQL语句后，没有相应的结果记录出现

· SQLWARNING：不是错误，但是要引起注意

如果满足condition，则要进行一些动作：

· CONTINUE：忽略条件或错误，继续执行

· GOTO标号：转移到标号所指示的语句，去进行相应的处理

· STOP：终止程序运行，撤销当前的工作、断开数据库的连接

· DO函数、CALL函数：调用宿主程序的函数进行处理，函数返回后从引发该condition exec SQL语句之后的语句继续执行。

状态捕获的Whenever的作用范围是其后的所有Exec SQL语句，一直到程序中出现另一条相同条件的Whenever语句为止，后面的将覆盖前面的

动态SQL

2020年6月16日

11:03

动态SQL特点：SQL语句可以在程序中动态构造，形成一个字符串，如上例的sqltext，然后再交给DBMS执行，交给DBMS执行时仍旧可以传递变量。

动态SQL执行方式：

· 立即执行语句：

o Exec sql execute immediate :host-variable;

· Prepare-Execute-Using语句：

o Prepare语句先编译，编译后的SQL语句运行动态参数，EXECUTE语句，用USING语句将动态参数值传递给编译好的SQL语句

o EXEC SQL PREPARE sql_temp FROM :host-variable

o EXEC SQL EXECUTE sql_temp USING :cond-variable

·

数据字典：

· 是系统的一些表或者视图的集合，这些表或视图存储了数据库中各类对象的定义信息，这些对象包括用Create定义的表、列、索引、视图、权限、约束等，这些信息又称为数据库的元数据—关于数据的数据

数据字典的内容构成：information_schema?

· 数据字典常存储的是数据库和表的元数据，即模式本身的信息

o 与关系相关的信息

· 关系名字

· 每一个关系的属性名及其类型

· 视图的名字及其定义

· 完整性约束

o 账户信息

o 统计与描述的信息

o 物理文件组织信息

· 关系如何存储

· 关系的物理位置

数据字典的结构：

模式的含义：

· 模式指的是某一用户所设计和使用的表、索引和其他与数据库有关对象的集合，因此完整的表名应该是：模式名：表名，这样可以做到允许不同用户使用相同的表名而不会混淆。

SQLDA**：**

· 是一个描述符区域，是一个内存数据结构，内科装载关系模式的定义信息，如列的数目，每一列的名字和类型等等。

· 通过读取SQLDA信息可以进行更为复杂的动态SQL的处理。

· 不同的DBMS提供的SQLDA格式并不是一致的。

ODBC**：**

· 是一种标准的，不同的应用程序与不同数据库服务器之间通讯的标准。

· 应用程序调用ODBCAPI时，ODBC API会调用具体的DBMS Driver库函数，交由DBMS Driver库函数则与数据库服务器通讯，执行相应的请求动作，并返回检索结果。

JDBC**：**

· Java版本的ODBC

数据建模与数据库设计

2020年6月16日

16:33

数据模型和概念模型：

· 数据模型：数据的存储模型，存储于计算机中

· 概念模型：抽象模型，独立与计算机系统，E-R模型，O-O模型

数据建模就是抽象：理解-区分-命名-表达

E-R模型：

· 世界是由一组对象实体和这些对象之间关系构成。

实体与实例：

· 实体：客观存在并可相互区分的事物

· 实体有类和个体的概念（实体的型，实例）

属性：

实体用属性来刻画：

· 属性：实体具有的某一方面特性

实例用值来刻画：

· 每一个实例都有具体的值

关键字/码

· 实体能够用其值唯一区分开每个实例的属性或属性组合。

联系：

· 指的是一个实体实例和其他实体实例之间所可能发生的联系。

联系的元/度：

· 参与发生联系的实体数目

一元联系：联系在同一个实体中产生

角色:

· 实体在联系中的作用称为实体的角色

· 当同一实体的不同实例参与一个联系时，为区分各个实例参与联系的方式

联系的种类：

· 一对一：实体A只能和实体B一个实例产生关系。

· 一对多：实体A能和实体B多个实例发生关系。

· 多对多：实体A能和实体B的多个实例发生联系。

联系的基数：

· 实体实例之间的联系数量，即一个实体的实例通过一个联系能与另一个实体中相关联的实例的数目。

· （1：1），（1：m），（m：n)几种情况

· 实体之间的联系常采用最小基数和最大基数来表示（MinCard…MaxCard）

·

· 完全参与联系：最小基数为1

· 部分参与联系：最小基数为0，可能不产生联系。

E-R图的表示（chen方法）：

· 实体：矩形框

· 属性：椭圆

o 多值属性：双线椭圆

o 导出属性：虚线椭圆

· 关键字：下划线

· 连接实体和属性：直线

· 联系：菱形框

· 连接实体与联系：直线

· 连接联系和属性：直线

· 复合关键字：标有相同数字

· 多组关键字：标有不同数字

· 1：1联系：箭头直线，由联系指向实体

· 1：m联系：指向1端为箭头直线，指向多端为无箭头直线

· m：n联系：无箭头直线

· 完全参与联系：双直线

· 部分参与联系：单直线

· 也可用直线边上标记数字来表示

运用ER图建模的步骤：

\1. 理解需求，寻找实体：

a. 能用一个个、一件件、一串串等叠词形容的，而不是一个、一件

\2. 用属性刻画每一个实体

a. 至少给出重要的属性

\3. 确定每一个实体的关键字/码

\4. 数据建模的重点是分析实体之间的联系

\5. 检查是否覆盖了需求

E-R模型（Crow’s foot方法）：

· 实体：矩形框

· 属性：实体框的横线下面

· 关键字：属性下加下划线

· 联系：菱形框，也可以省略只用关系名表示

· 基数表示：

数据库设计中的抽象：

· 现实世界-信息世界-计算机世界

· 现实-观念-实现

型与值：

· 型：对一系列值的抽象

· 型与型的型：将可无限拓展的内容，或内容暂无法枚举的情况，抽象为可有限描述的概念

· 类似的概念：

o 模式：数据

o 数据模型：模式

o 模式：实例

o 类：对象

o 实体：实例

数据模型：

· 不同范围的人对现实事物的描述和抽象可能是不同的

· 数据模型是一组相互关联且严格定义的概念集合

· 表达计算机世界的模型成为数据模型，表达信息世界的模型称概念数据模型，简称概念模型。

建模的不同层次：

· 模型与元模型，模型（型）与实例（值）

IDEF1x数据建模方法

2020年6月17日

9:22

IDEF1x中的重要概念：

IDEF又可以被看成是一个特殊的E-R图表示方法。

· 实体：

o 独立实体-强实体

o 从属实体-若实体

· 联系：

o 可标定连接联系

o 非标定连接联系

o 分类联系

o 非确定联系

· 属性：

o 属性

o 主码

o 候选码

o 外来码

独立实体：

· 一个实体的实例都被唯一的标识而不决定于它与其他实体的联系

从属实体：

· 一个实体的实例的唯一标识需要依赖于该实体与其他实体的联系

· 从属实体需要从其他实体继承属性作为关键字的一部分。

· 主关键字包含了外来属性的实体为从属实体。

· 独立实体：直角方形框，从属实体：圆角方形框。

· 独立实体没有外键，从属实体有外键。

属性：

· 表示一类现实或抽象是服务的一种特征或性质

关键字：能够唯一确定实体的每一个实例的关键字。

外来关键字：是其他实体的关键字

· 存在一个联系，只能有一个外来关键字

· 被继承属性只能是主关键字所包含的属性

联系：

· 标定联系：子实体的实例都是由它与父实体的联系而确定的，父实体的主关键字是子实体主关键字的一部分。（1对多）

· 非标定联系：子实体的实例能够被唯一标识而无需依赖与其实体的联系，父实体的主关键字不是子实体的主关键字。（一对多）

· 非确定联系：实体之间的多对多联系

o 非确定联系是通过引入相交实体来进行

· 分类联系：一个实体实例是由一个一般实体和多个分类实体实例构成的（有点类似对象继承的感觉）

· 具体化：

o 实体的实例集中，某些实例子集具有区别于该实例集内其他实例的特性，可以根据这些差异特性对该实例集进行分组、分类。

· 泛化：

o 若干个实体，具有共有的性质，可以合成一个较高层次的实体。

· 具体化和泛化的表示：

o 具体化和泛化在E-R图中用标记为ISA的三角形来表示

· 完全分类：一个父类只能是子类的一种

· 非完全分类联系：子类分类不一定是全部的父类可能性

需求分析

2020年6月17日

14:32

E-R图向关系模式的转换：

· E-R图的实体转换为关系

· E-R图的属性转为关系的属性

· E-R图的关键字转换为关系的关键字

复合属性的转换：

· 将分量属性作为符合属性所在实体的属性

· 将符合属性本身作为所在实体的属性

多值属性：

· 将多值属性与所在实体的关键字一起组成一个新的关系

联系的转换：

· 一对一联系：

o 若联系的双方均部分参与（0…1)，则将联系定义为一个新的属性，属性为参与双方的关键字属性

o 若联系一方全部参与（1…1)，则将联系另一方的关键字作为全部参与另一方的属性

· 一对多联系：

o 将单方参与实体的关键字作为多方参与实体对应关系的属性

· 多对多联系：

o 将联系定义为新的关系，属性作为参与双方实体的关键字

弱实体的转换：

· 所对应关系的关键字由弱实体本身的区分属性再加上所依赖的强实体的关键字构成

· 弱实体（从属实体）与强实体（独立实体）之间的联系已经在弱实体集所对应的关系中表现出来了

泛化与具体化：

· 高层实体和底层实体分辨转为不同的关系。

· 底层实体所对应的关系包含高层实体的关键字。

· 如果泛化实例是具体化的实体实例的全部，即对每一个高层实体实例至少属于一个低层实体，则可以不为高层实体建立关系，但低层实体所对应的关系应包含上层实体的所有属性。

多元联系的转换：

· 多元联系可以通过继承参与联系的各个实体的关键字而形成新的关系

· 也可新增一个区分属性作为关键字

· 多元联系需要分析参与联系的实体的最小基数和最大基数

· 是否允许参与联系的多实体中有一个或多个实体不参与

IDEF1X图转换成关系模式：

· IDEF1X图只需要将实体转换成关系模式即可，而其联系的信息已经融入相关实体的关系描述中了

· 对IDEF1x图的分类联系，可以如E-R图的泛化和具体化一样进行相关的处理

· 对IDEF1X图的复合属性和多值属性，则如前面一样相关处理

范式数据库设计：

需要分析数据库设计中的属性依存关系

数据库设计理论：

· 函数依赖理论

· 关系范式理论

· 模式分解理论

函数依赖

2020年6月17日

16:33

函数依赖的定义：

·

·

·

函数依赖的特性：

部分函数依赖和完全函数依赖：

否则称为部分函数依赖于x，记为

（如果有不需要的关键字，那就是部分函数依赖）

传递函数依赖：

候选键：

设K为R(U)的属性或属性组合，若

则称K为R(U)上的候选键。

· 唯一性：

· 最小性：

· 任一候选键都可以作为R的主键

· 包含任意候选键中的属性称为主属性，其他属性称为非主属性。

·

外来键：

若R(U)中的属性或属性组合X并非R的候选键，但是X却是另一关系的候选键，则称X为R的外来键

逻辑蕴含：

闭包：

· 小集合，大闭包

· 包含了平凡的函数依赖

阿姆斯特朗公理：

设R(U)是属性集U={A1, A2,…,An}上的一个关系模式，F为R(U)的一组函数依赖，记为R(U,F)

·

·

·

引理：

·

·

·

引理2：

属性闭包：

引理：

覆盖：

证明两个函数依赖集相等，其实等价于求这两者的属性闭包相等

求属性闭包的方法：

引理：

每个函数依赖集F可被一个其右端至多有一个属性的函数依赖集G覆盖

最小覆盖：

若F满足以下条件，则称F为最小覆盖或者最小依赖集

\1. F中每一个函数依赖的右部是单个属性

\2.

\3.

最小函数依赖集的求解

一、定义

最小函数依赖集也称为极小函数依赖集、最小覆盖；如果函数依赖集 F\ 满足下列条件，则称 F\ 为一个最小依赖集。

1.\ F\ 中任意函数依赖的右部仅含有一个属性

2.\ F\ 中不存在这样的函数依赖X**→**A,使得 F\ 与 F\ - {X**→**A}等价，即 F\ 中的函数依赖均不能由 F 中其他函数依赖导出

3.\ F\ 中不存在这样的函数依赖X**→A，**X有真子集 Z 使得 F\ - {X**→**A} ∪ {Z**→**A}与 F\ 等价，即 F\ 中各函数依赖左部均为最小属性集（不存在冗余属性）

二、算法步骤：

· 将 F\ 中的所有函数依赖的右边化为单一属性

· 去掉 F\ 中的所有函数依赖左边的冗余属性（只针对F\中左部不是单一属性的函数依赖）

· 去掉 F\ 中的所有冗余的函数依赖

三、例子说明

假设R ，**U = ABCD**，函数依赖集F**={A→BD，AB→C，C→D}，求：*F*** 最小函数依赖集

第一步：将F\中的所有函数依赖的右边化为单一属性：

因为F\ = {A**→BD，AB→C，C→**D}，函数依赖右边化为单一属性得：F\ = {A**→B，A→D，AB→C，C→**D}；

第二步：去掉F\中的所有函数依赖左边的冗余属性（只针对F中左部不是单一属性的函数依赖）

F={A**→B，A→D，AB→C，C→**D}中只有函数依赖AB**→**C左部不是单一属性，所以要对其进行去掉左边冗余属性的处理：

\1. 先看A是不是冗余属性：因为BF+ ={ B }不包含A**，所以A属性不冗余 //这里应该注意的是，要看哪一个属性是否是冗余属性，则求该函数依赖左部除要查看的属性外的其他属性的集关于 *F*** 的闭包是否包含要查看属性

\2. 再看B是不是冗余属性：因为AF+ ={A**，B，C，**D} 包含的B，所以B属性冗余

　因此只将函数依赖AB**→**C左部B属性去掉，所以F={A**→B，A→D，A→C，C→**D}。

第三步：去掉 F\ 中的所有冗余的函数依赖

依据引理：设F\为属性集U上的一组函数依赖，X，Y ⊆ U**，X→**Y 能由 F\ 根据Armstrong公理导出的充分必要条件是Y**⊆ XF+ 。即判断 *F* 中一个函数依赖X→Y是否冗余，则只需要判定 Y 是否为的XF+** 子集。

因为有F**={A→B，A→D，A→C，C→D}**：

\1. 先看判断函数依赖A**→**D是否冗余，则把函数依赖A**→**D从F**={A→B，A→D，A→C，C→D}中去掉后得*F*={A→B，A→C，C→**D}，求得AF+ = { A**，B，C，**D} 包含了D，所以为函数依赖A**→**D冗余，所以应该从F**={A→B，A→D，A→C，C→D}中去掉函数依赖A→D，得*F*={A→B，A→C，C→**D}

\2. 再从F**={A→B，A→C，C→D}依次判断每一个函数依赖是否冗余，直至所有冗余的函数依赖都被消除。本例子中经过第1步后已消除 *F* 中的所有冗余函数依赖了，因此原*F*={A→BD，AB→C，C→**D}的最小函数依赖集为 F\ ={A**→B，A→C，C→**D}。

注意点：

1.\ F**的最小依赖集*F* m 不一定是唯一的，它与对个函数依赖**FDi 及**X→A中个属性的处置的顺序有关。在本例子中在去掉F中的冗余的函数依赖时（绿色字体那一步）若不是首先判断A→D**是否冗余，而是首先判断其它函数依赖是否冗余，那么所得的最小函数依赖就可能不同了

2. 要搞清楚在判断一个函数依赖**X→A是否为冗余时，是求X**关于上一步所求得的新的函数依赖集 F\ 的闭包**XF+ ，然后在判断A是否包含在该**XF+

来自 [*https://www.cnblogs.com/xiaolu266/p/8041073.html*](https://www.cnblogs.com/xiaolu266/p/8041073.html)

求最小函数依赖集分三步**:**

1.将F中的所有依赖右边化为单一元素

此题fd={abd->e,ab->g,b->f,c->j,cj->i,g->h};已经满足

2.去掉F中的所有依赖左边的冗余属性.

作法是属性中去掉其中的一个,看看是否依然可以推导

此题:abd->e,去掉a,则(bd)+不含e,故不能去掉,同理b,d都不是冗余属性

ab->g,也没有

cj->i,因为c+={c,j,i}其中包含i所以j是冗余的.cj->i将成为c->i

F={abd->e,ab->g,b->f,c->j,c->i,g->h};

3.去掉F中所有冗余依赖关系.

做法为从F中去掉某关系,如去掉(X->Y),然后在F中求X+,如果Y在X+中,则表明x->是多余的.需要去掉.

此题如果F去掉abd->e,F将等于{ab->g,b->f,c->j,c->i,g->h},而(abd)+={a,d,b,f,g,h},其中不包含e.所有不是多余的.

同理(ab)+={a,b,f}也不包含g,故不是多余的.

b+={b}不多余,c+={c,i}不多余

c->i,g->h多不能去掉.

所以所求最小函数依赖集为 F={abd->e,ab->g,b->f,c->j,c->i,g->h};

来自 [*https://www.cnblogs.com/wangyige/p/6786047.html*](https://www.cnblogs.com/wangyige/p/6786047.html)

关系范数

2020年6月19日

15:19

1NF:（不含多值属性）

不符合1NF的处理：

· 将1NF转换为1NF

· 引入新的数据模型处理：面向对象的数据模型

2NF:（没有非主属性对候选键的部分依赖）

第二范式消除了非主属性对候选键的部分依赖

判断模式是否属于第二范式：

\1. 找出候选键和非主属性

\2. 判断是否存在部分依赖

3NF:（没有候选键的传递函数依赖）

第三范式没有传递函数依赖

第三范式消除了非主属性的传递依赖

判断模式是否属于第三范式：

\1. 找到候选键

\2. 有无传递依赖

\3. 有无部分依赖

关系模式满足第三范式则一定能满足第二范式。

将关系模式分解成3NF：

分解规则：

将每一个函数依赖单独组成一个关系。

Boyce-Codd范式：（所有函数依赖都包含候选键）

模式上的所有函数依赖都含有候选键，没有不依赖于候选键的函数依赖

满足BCNF的一定满足第三范式，不满足第三范式的一定不满足BCNF

关系模式分解成BCNF：

多值依赖：

对于元组t,s，交换属性Y之后，仍然会出现在关系中

多值依赖的特性：

4NF:(已经是BC范式，并且不包含多值依赖关系。)

当一个表中的非主属性互相独立时（3NF），这些非主属性不应该有多值。若有多值就违反了第四范式。定义比较抽象，可以参照下面的例子理解。

第四范式消除了非主属性对候选键以外属性的多值依赖，如果有多值依赖则一定依赖于候选键。

W4NF:

模式分解

2020年6月19日

20:02

模式分解：

· R与p在数据内容方面是否等价：分解的无损连接性

· R与p在数据依赖方面是否等价：分解的保持依赖性

引理1：

有损连接

无损连接分解：

大的关系模式分解成小的关系分解，在小的关系模式进行连接的情况下查询是相等的。

无损连接性检验算法：

简单判定定理：

无损连接的特性：

· 无损连接分解的无损分解仍然是无损分解

· 无损连接分解加上一个分解仍然是无损连接分解

保持依赖分解：

· 保持依赖的分解可能不是无损连接的。

· 无损连接的分解可能不是保持依赖的。

如果F上的每一个函数依赖都在其分解后的某一个关系上成立，则这个分解是保持依赖的（这是一个充分条件）。

如果上述判断失败，并不能断言分解不是保持依赖的，还要使用下面的通用方法来做进一步判断。

该方法的表述如下：

算法二：

对F上的每一个α→β使用下面的过程：

result:=α;

while(result发生变化)do

for each 分解后的Ri

​ t=(result∩Ri)+ ∩Ri

​ result=result∪t

这里的属性闭包是在函数依赖集F下计算出来的。如果result中包含了β的所有属性，则函数依赖α→β。分解是保持依赖的当且仅当上述过程中F的所有依赖都被保持。

下面给出一个例题，2006年5月系分上午43题：

●设关系模式R，其中U=｛A, B, C, D, E｝，F＝{A→BC，C→D，BC→E，E→A｝，则分解ρ={R1（ABCE），R2（CD）｝满足 （43） 。

（43） A．具有无损连接性、保持函数依赖

​ B．不具有无损连接性、保持函数依赖

​ C．具有无损连接性、不保持函数依赖

​ D．不具有无损连接性、不保持函数依赖

先做无损链接的判断。R1∩R2={C}，计算C+。

Result=C

由于C→D，C∈result，所以result=result∪D=CD

可见C是R2的超码，该分解是一个无损分解。

再做保持依赖的判断。

A→BC，BC→E， E→A都在R1上成立（也就是说每一个函数依赖左右两边的属性都在R1中），C→D在R2上成立，因此给分解是保持依赖的。

选A。

再看一个复杂点的例题。2007年5月数工40-41题。

●给定关系模式R，U=｛A, B, C, D, E｝，F＝{B→A，D→A，A→E，AC→B｝，其候选关键字为

（40） ，则分解ρ={R1（ABCE），R2（CD）｝满足 （41） 。

（40） A．ABD

​ B．ABE

​ C．ACD

​ D．CD

（41） A．具有无损连接性、保持函数依赖

​ B．不具有无损连接性、保持函数依赖

​ C．具有无损连接性、不保持函数依赖

​ D．不具有无损连接性、不保持函数依赖

看见了吧，和前面一题多么的相像！

对于第一问，分别计算ABCD四个选项的闭包，

（ABD）+ = { ABDE }

（ABE）+ = { ABE }

（ACD）+ = { ABCDE }

（CD）+ = { ABCDE }

选D。

再看第二问。

先做无损链接的判断。R1∩R2={C}，计算C+。

result=C

因此C既不是R1也不是R2的超码，该分解不具有无损分解性。

再做保持依赖的判断。

B→A，A→E，AC→B在R1上成立，D→A在R1和R2上都不成立，因此需做进一步判断。

由于B→A，A→E，AC→B都是被保持的（因为它们的元素都在R1中），因此我们要判断的是D→A是不是也被保持。

对于D→A应用算法二：

result=D

对R1，result∩R1=ф（空集，找不到空集的符号，就用这个表示吧），t=ф，result=D

再对R2，result∩R2=D，D+ =ADE ，t=D+ ∩R2=D，result=D

一个循环后result未发生变化，因此最后result=D，并未包含A，所以D→A未被保持，该分解不是保持依赖的。

选D。

来自 [*http://www.blogjava.net/RiKeR/articles/153733.html*](http://www.blogjava.net/RiKeR/articles/153733.html)

· 左端属性必须是某一个关系模式的属性。

· 求关于G的属性闭包结果属性也必须是此关系模式的属性。

无损连接分解成BCNF算法

分解规则：

· 将左侧不含候选键的函数依赖单独组成一个关系，将包含候选键的组成一关系

关系模式分解成成3NF

分解规则：

· 将每一个函数依赖单独组成一个关系

既保持依赖，又保持无损连接的分解

无损连接分解成4NF

连接依赖：

· 多值依赖是连接依赖的特例， 2-JD多值依赖

5NF：（按照候选键连接）

第五范式消除了不按候选键连接的连接依赖，（R的无损连接分解中各个模式必有一个候选键），但其语义背景抽象。

本章总结：

数据库的存储体系

2020年6月20日

15:35

存储体系：

· 将不同性价比的存储器组织在一起，满足高速度、大容量、低价格的需求

· CPU与内存直接交换信息，按存储单元进行访问

· 外存按存储块进行访问，其信息需先装入内存，才能被CPU处理

操作系统对数据的组织：

· FAT-目录-磁盘块

· FAT（文件分配表）

内存管理：

· 一条记录的地址=存储单元地址=内存地址=页面：页面偏移量

· 页面（page）=块（Block）

· 内存页面的分配

· 内存页面的置换

磁盘结构：

磁盘读写单位：簇Cluster/块Block连续的若干个扇区

算的时候不能算圆盘，只能算盘面

盘面：磁道：扇区

物理存取算法考虑的关键：

· 降低I/O次数

· 降低排队等待时间

· 降低寻道、旋转延迟时间：

o 同一磁道连续块存储

o 同一柱面不同磁道并行块存储

o 多个磁盘并行块存储

RAID技术：

· 并行处理：并行读取多个磁盘

o 比特级拆分：以字节拆分

o 块集拆分：以块为单位并行

· 可靠性：奇偶校验

o 扇区、块读写校验：对扇区、块进行校验

o 磁盘间读写校验：对多个磁盘间共同构成的信息读写做校验

DBMS数据存储的映射关系：

· 逻辑中表的每一条记录都有一个映射表，用来记录存储的磁盘号。

· 数据库通过操作系统先占用磁盘块，然后通过自己的映射表来保存记录和对应的磁盘块。

· 通过内存缓存磁盘块。

查询操作-文件管理-缓存区交互-磁盘管理

数据库记录和磁盘块的记录：

· 定长记录：按长度区分

· 变长记录：按照标志区分

· 记录的跨块存储：靠着指针连接

· 数据库所占磁盘块的分配方法：

o 连续分配：数据块被分配到连续的磁盘块上

o 链接分配：数据块中包含指向下一个数据块的指针

o 按簇分配：簇是若干连续的磁盘块，簇之间靠指针进行连接。

数据组织与存储方法：

· 数据组织：指的是数据组织成记录、块和访问结构的方式，包括把记录和块存储在磁盘上的方式，以及记录和块之间相互联系的方法。

· 存取方法：指的是对文件所采取的存取防范。

文件组方法：

· 无序记录文件：（堆文件）

o 特点：可以存储于任意空间位置，磁盘存储的记录是无序

o 新记录总插入到尾部，在删除记录所在位置标记为删除

o 新增记录可以利用那些被删除的记录。

o 数据库需要定时进行数据库重组，移走被删除的记录。

o 按照输入顺序进行排序存储

· 有序存储：

o 记录按照属性或者属性组值顺序插入，磁盘上存储的记录是有序的，检索效率很高。

o 但是更新效率很低，需要移动其他记录，为插入记录留出空间。

o 改进措施是可以将未来插入的元组预留空间，或者使用一个临时的无序文件，保留新增记录。但是当溢出文件较大时性能会受到影响。

o 数据库重组：将溢出文件重组排序到主文件中。

· 散列文件：

o 特点：按照记录的某些属性或者属性组的值，根据散列函数来计算其存放的位置：桶号

o 用于散列函数计算的属性通常被称为散列字段，散列字段通常采用关系中的主码，所以又称为散列码。

· 不同的记录可能被放到同一个桶，桶内需要顺序查找。

· 聚簇文件：

· 将相同或者属性值相似的记录存放于连续的磁盘块簇中

· 多表聚簇：将若干个相互关联的Table存储于一个文件中，这可以提高多表查询下的查询速度。

·

增删改需求：无序记录文件、散列记录文件。

检索需求：有序记录文件。

在性能下降之后使用数据库重组。

Oracle数据库的数据组织：

· 每个数据库分成一个或多个表空间

· 分为SYSTEM表空间和用户表空间，SYSTEM表空间用于存储数据字典的管理，用户表空间可以由用户创建

· 每个表空间由一个或者多个操作系统文件构成。

· 一个表可以存在一个文件中也可以存储在多个文件中，在进入DBMS后由DBMS进行组织

数据库索引

2020年6月23日

14:20

索引：

· 所以是定义在存储表基础之上，有助于无需检查所有记录而快速定位所需记录的一种辅助存储结构，由一系列存储在磁盘上的索引项组成，每一索引项又由两部分组成：

o 索引字段：由Table中的某些列的值组成，索引中通常存储了索引字段的每一个值。

o 行指针：指向Table中包含索引字段值的记录在磁盘上的存储位置。

· 存储索引项为索引文件，相对应存储表又称为主文件。

索引文件：

· 索引文件是一种辅助存储结构，其存在与否不改变存储表的物理存储结构，然而其存在可以显著提高存储表的访问速度。索引文件也有多种组织方式：

o 排序索引文件：按照索引字段的某一种顺序组织存储

o 散列索引文件：按照索引字段值使用散列函数分配散列桶的方式索引

· 在一个表上可以针对不同的属性或者属性组合建立不同的索引文件，可以建立多个索引文件。索引字段的值可以是Table中任何一个属性的值或者多个属性值的组合值

· 索引文件比主文件小很多，通过检索一个小的索引文件，可以快速定位，然后再针对性读取非常大的主文件，

· 有索引的时候，必须同步更新索引文件和主文件。

· 索引技术可以使得检索效率大幅度提高，但也增加了存储空间

· 衡量索引性能的好坏：

o 访问时间

o 插入时间

o 删除时间

o 空间负载

o 支持存储的有效性：是否支持多属性，属性索引的范围…

· 索引字段：

o 字段、排序字段、索引字段

o 码，主码，表键：具有唯一性和最小性

o 排序码：对主文件进行排序的那些属性或者属性组

o 索引码：索引字段，不一定具有唯一性

o 搜索码：在主文件中查找记录的属性或属性集

索引的定义：

Create [unique] INDEX indexname

ON tablename ( colname [asc|desc] {, colname [asc|desc]…})

删除索引：

Drop INDEX indexname

稠密索引：

· 对主文件中每一个记录，都有一个索引项和它对于，指明该记录所在位置

· 候选键属性索引：

o 每一条索引对应一条记录

· 非候选键索引：

o 索引文件中的索引字段值是不重复的，主文件按照索引字段排序，且索引字段不是候选键。

o

o 索引字段可以有重复：

o 引入中间层：

稀疏索引：

· 对于主文件中的部分记录，都有索引项和它对应

· 索引中不存在搜索码的值，不代表主文件中没有对应搜索码的记录

· 定位索引字段为K记录的值：

o 首先找相邻的小于K的最大索引字段值所对应的索引项

o 从该项所对应的记录开始顺序对Table进行检索，一旦找到比他大的值就结束查找

· 稀疏索引要求主文件必须按照索引字段属性排序

· 索引项可以不指向记录指针，而是指向记录所在存储块的指针

主索引：

· 对每一个存储块有一个索引项，索引项的综述和存储表所占的存储块数目相同，存储表的每一个存储块的低一些记录，又称为锚记录或者成为块锚

· 主索引的索引字段值为块锚的索引字段值，而指针指向所在的存储块

·

辅助索引：

· 是定义在主文件的任一个或者多个非排序字段上的辅助存储结构。

· 辅助对一个非排序字段上的每一个不同值有一个索引项：索引字段即是该字段的不同值，而指针则包含该记录的块活该记录本身

· 当非排序字段为索引字段时，如该字段值不唯一，则需要采用一个链表结构来保存字段值记录的所有位置。

· 辅助索引是一个稠密索引

· 一个主文件仅可以有一个主索引，但可以有多个辅助索引

· 主索引通常建立在主码/排序码上，辅助索引建立与其他属性上

· 可以利用主索引重新组织文件数据，但辅助索引不能改变主文件数据

· 主索引指向块地址，辅助索引不能仅指向块地址。

聚簇索引：

· 索引中临近的记录在主文件中也是临近存储的

非聚簇索引：

· 索引中临近的记录在主文件中不一定是临近存储的

· 如果主文件的某一排序字段不是主码，则该字段上每一个记录取值便不唯一，此时该字段被称为聚簇字段，聚簇索引通常是定义在聚簇字段上的。

· 聚簇索引通常是对聚簇字段上的每一个不同值有一个索引项

· 主文件只有一个聚簇索引文件，但可以有多个非聚簇索引文件

· 主索引通常是是聚簇索引，辅助索引通常是非聚簇索引

倒排索引：

B+树索引：

是一种以树型数据结构来组织索引项的多级索引

叶子节点指向索引块，或者是数据块中记录的指针

· 能够自动保持与主文件大小相适应的树的层次。

· 每个索引块的指针利用率都在50%-100%之间。

B+树的存储约定：

一个块中存放n个索引项

叶子节点和非叶子节点：

· 非叶节点的指针指向索引块，叶子节点指针指向主文件的数据块或数据记录。

· 叶节点的最后一个指针可能不同于其他指针—始终指向其下一个数据块。

非叶节点：

叶子节点：

一个索引块实际使用的索引指针个数d，满足：

根节点至少两个指针被使用。

索引字段值：有可能重复出现于叶子节点和非叶子节点

· 指向主文件的指针仅可能出现于叶节点

· 所有叶结点即可覆盖所有键值索引

· 索引字段中在叶节点中按顺序排列。

B+树仅有叶结点块的集合就是主文件的完整索引，其他每一层都是索引的索引

用B+树建立键属性的稠密索引：

· 索引字段是主文件的主键，索引是稠密的，主文件可以按照主键排序，也可也不按照主键排序，指针指向的是记录。

B+树建立稀疏索引：

· 索引字段是指向的数据块。

B+树建立非键属性稠密索引：

· 索引字段是主文件的非键属性，索引是稠密的，主文件按照非键属性排序

· 索引文件的索引字段是无重复的，指针指向的是记录

· 然后再磁盘块上顺序访问，直到访问到不同属性的记录

B+树建立非键属性的稠密索引：

· 索引字段是非键属性，主文件不按照此非键属性排序

· 索引文件的索引字段是有重复的，指针指向的是记录。

· B+树中就会有多个重复索引

B+树的节点键值插入与节点分裂过程示意：

B+树分裂的条件：

· 当节点全满的时候就需要分裂

· 由叶子节点像根节点逐层处理

o 自动保持与主文件大小相适应的树的层次

o 每个索引块的指针利用率都在50%-100%

· 指针要指向正确的块。

B+树键值删除的过程：

无需合并

需要合并

B+树删除键值规则：

· 当指针数目少于规定数目

· 由叶节点向根节点逐层处理

· 指针的调整：调整指针指向正确的位置

B树：

· 索引字段值仅出现一次或者在叶节点或者非叶节点

· 指向主文件的指针出现于叶节点或非叶节点（中间查询到了就直接退出）

· 所有节点才能覆盖所有键值的索引

B树索引块和属性块的个数求法：

已知存储块大小为4096字节，在整型属性(一个整型数值占有4个字节)上建立B树索引，一个指针占有8个字节，则该非叶结点存储块最多能有__个索引项和__个指针。

设属性格式为n

4n+8(2n+2)<=4096

n=204， 410；

散列索引：

散列：

· 有M个桶，每个桶都是有相同容量的存储地（可以是内存页，也可以是磁盘块）。

· 散列函数h(k)，可以将键值k映射到{0，1，…., M-1}中的某一个值。

· 将具有键值k的记录，存储在编号k的桶中。

目标：

· 选择一个合适的散列函数，将record集合中的每一个关键字k均匀映射到M个桶中。

散列索引：

· 内存数据可以采用散列确定存储页，主文件可以采用散列确定存储块，索引也可以采用散列确定索引项的存储块。

· M个桶，一个桶可以是一个存储块，也可以是若干个连续的存储块。

散列索引的目标：

· 最好没有溢出桶，每个散列值仅有一个桶，读写每一个键值都只读写一个存储块。

均匀分布：

· 设置合理的散列函数，使得每个桶的数据成为具有某种特征值h(k)的数据的集合

桶的数目M的确定：

· 当键值多余数倍的桶的数目时，每个散列值都可能多于一个桶，形成一个主桶和多个溢出桶的列表，此时需要二次检索，先散列找到主桶号，然后根据链表逐一找到每一个溢出桶。

一趟扫描算法

2020年6月26日

14:49

数据库的三大类操作

· 一次单一元组的操作：Select，Project

· 整个关系的一元操作：Distince, Group By, Sorting

· 整个关系的二元操作：

o 集合上的操作：交、并、差

o 包上的操作：交、并、差

o 积、连接：Project，Join

连接操作的逻辑实现算法：

逻辑算法：

物理算法的考量：

· 关系是存储在磁盘上的，磁盘是以磁盘块为操作单位的，首先要先被装载进内存中，然后再进行操作。

基本算法：

拆分成4层循环，外层是磁盘块的读写。

全主存实现算法：

半主存实现算法：

大关系实现算法：

算法比较：

迭代器构造查询实现算法：

迭代器：

· 迭代的读取集合中的每一个元素，而封装其读取细节。

定义了一个迭代器：

· 包括Open，GetNext，Close三个函数

R**的迭代器**

Union**（R,S）**

Selection(R)

Projection(Selection (R))

Join**（R,S）:**

一趟扫描算法：

关系的读取：完整的读取一个关系

· 聚簇关系：关系的元组集中存放

o TableScan（R）:表空间扫描算法

· 扫描结果未排序：B( R )

o SortTableScan( R ):

· 扫描结果排序：3B( R )

· 非聚簇关系：关系的元组不一定集中存放

o 扫描结果未排序：T（R）

o 扫描结果排序：T（R）+2B （R）

去重操作：

· 需要内存中保存已处理的元组。

· 当新元组到达时，需与之前处理过的元组进行比较。

· 建立不同的内存数据结构，来保存之前处理过的数据，以便快速处理整个关系上的操作。

· 复杂性：B( R )

· 应用复杂性：B(&( R )) <=M

分组聚集：

· 需要在内存中保存所有的分组

· 保存每个分组上的聚集信息

· 复杂性：B( R )

· 应用复杂性：所有的分组数量应该能在内存中完整保存。

集合上的操作和包上的操作：交、并、差

· 扫描一个关系，然后再扫描另一个关系

· 集合上的操作还需要去重复，包上的操作需要计数每个元组出现的次数。

· 复杂性：B(R )+ B(S )

· 应用复杂性：min(B(R ), B(S ))<=M

基于索引的选择算法：

· 选择条件中有涉及到索引属性时，可以使用索引，辅助快速检索

· 在某些属性上存在索引，可能在多个属性上都存在索引

两趟扫描算法

2020年6月27日

7:24

当内存远远小于元组的块数时，则需要两趟排序算法。

第一趟：

· 划分子集，并使得子集具有某种特性，如有序或相同散列值等。

第二趟：

· 处理全局性内容的操作，形成结果关系。如多子集间的归并排序，相同散列值子集的操作等。

大数据集上的操作可否等于（子集上操作）的并集 ？

例如：元组在某一子集上无重复即可 相当于在全集上无重复。

两阶段多路归并排序TPMMS：

· 内排序问题：待排序数据可以一次性装入内存

· 外排序问题：待排序数据不能一次性装入内存

·

·

·

算法的条件：

·

·

·

当更大规模的数据集排序时，可采用多趟排序

基于散列的两趟扫描算法：

大数据集上的操作 可以转换为某个子集上的操作

第一趟散列的目的是使数据子集具有某一种特性(如具有相同的散列值)，而第二趟散列的目的是提高数据处理的速度。

Dinstinct

分组计算

集合上的并、交、差

基于散列的连接操作

查询优化

2020年6月27日

10:39

查询优化：

· 语义优化：利用模型的语义以及完整性，优化查询

· 语法优化：逻辑层优化，利用语法结构，优化操作执行顺序

· 执行优化：物理层优化，存取路径和执行算法的选择与执行次序优化

逻辑优化、语法优化：

基本思想：

· 改变关系代数的操作次序，尽可能早做选择和投影

· 关系代数的基本操作中哪些能交换次序

· 次序改变前后两个表达式等价

· 关系代数表达式等价变化定理

逻辑优化的策略：

· 尽可能早做选择和投影：减少中间结果

· 把选择与投影串联起来：只用做一次扫描

· 把投影与前或后的二元运算结合起来：在用关系时去掉一些无关属性

· 把某些选择与其前的笛卡尔积合并成一个连接：当RxS前有选择运算且其中有条件是R、S属性间相比较运算时，可将其转换为连接运算，可以节省时间。

物理优化、执行优化：

为每个关系代数操作选取优化的执行层程序，形成物理查询计划

基本思想：

· 获取数据库的相关信息（定期统计）。

· 选取相应的执行层例行程序。

· 依据相关信息进行代价估算，并选择代价最少的例行程序以及确定相应的参数。

关系代数操作次序的等价性：

基本关系代数：并、差、积、选择、投影。

（同名属性，顺序不同）

定理L1:连接与连接，积与积的交换律

考虑把哪个关系装入内存

定理L2：连接与连接，积与积的结合律

考虑把哪个关系先计算

定理L3：投影串接律

· 投影运算可以向下或向上移动

· 先做更多属性的投影，然后再做更少属性的投影，这时候更少属性的投影就没有意义了。

定理L4：选择串接律

定理L5：选择和投影交换律

条件F需要只涉及投影的属性，如果不满足则需要扩展属性达到F中的全部属性

定理L6：选择和积的交换律

尽可能的早做选择

定理L7：投影和积的交换律

定理L8：选择和并的交换律

定理L9：选择和差的交换律

定理L9：投影和并的交换律

关系代数查询优化算法：

例子：

这一步的构造思路是把\Pi TITLE 和F3一起根据L3构造

乘积操作和其后选择操作构成连接

七、非SPJ优化

1.GROUP BY优化

1) 分组转换技术：对分组操作、聚集操作与连接操作的位置进行交换

a) 分组操作下移：GROUP BY操作可能较大幅度减少关系元组的个数，如果能够对某个关系先进行分组操作，然后再进行表之间的连接，很可能提高连接效率。这种优化方式是把分组操作提前执行。下移的含义，是在查询树上，让分组操作尽量靠近叶子节点，使得分组操作的节点低于一些选择操作。

b) 分组操作上移：如果连接操作能够过滤掉大部分元组，则先进行连接操作，后进行GROUP BY操作，可能提高分组操作的效率。这种优化方式是把分组操作置后执行。上移的含义和下移相反。

2) MySQL的GROUP BY优化：MySQL对于GROUP BY的处理，通常采用的方式是扫描整个表、创建一个临时表以执行分组操作。MySQL不支持分组转换技术。对于GROUP BY的优化，尽量利用索引。

利用索引的条件：分组子句中的列对象源自同一个BTREE索引(不支持利用HASH索引进行优化)的全部或前缀部分的部分有序的键(分组使用的索引列与索引建立的顺序不匹配则不能使用索引)。　　　　

2.ORDER BY优化

ORDER BY 如果操作的列不是主键或索引等，会创建一个临时表(Using temporary、Using flesort)

1) 排序消除：优化器在生成执行计划前，将语句中没有必要的排序操作消除(如利用索引)，避免在执行计划中出现排序操作或由排序导致的操作(如在索引列上排序，可以利用索引消除排序操作)

2) 排序下推：把排序操作尽量下推到基表中，有序的基表进行连接后的结果符合排序的语义，这样能避免在最终的大的连接结果集上执行排序操作。

3.DISTINCT优化

DISTINCT操作的列，如果该列有索引(唯一性约束)或者为主键，则直接使用索引排序；否则会使用一张临时表(Using temporary)，先去重，再排序(可以看到输出结果是根据该列排好序的)。

1) DISTINCT消除：如果表中存在主键、唯一约束、索引等，则可以消除查询语句中的DISTINCT

2) DISTINCT推入：生成含DISTINCT的反半连接查询执行计划时，先进行反半连接再进行DISTINCT操作；也许先执行DISTINCT操作再执行反半连接，可能更优。

3) DISTINCT迁移：对连接操作的结果执行DISTINCT，可能把DISTINCT移到一个子查询中优先进行

总结：GROUP BY / ORDER BY / DISTINCT 优化尽量利用索引、主键、唯一性约束，这样可以不创建临时表。

4.LIMIT优化

1) LIMIT对单表扫描的影响：如果索引扫描可用且花费低于全表扫描，则用索引扫描实现LIMIT(LIMIT取出很少量的行，否则优化器更倾向于使用全表扫描)

2) LIMIT对排序的影响：如果LIMIT和ORDER BY子句协同使用，当取到LIMIT设定个数的有序元组数后，后续的排序操作将不再进行。

3) LIMIT对去重的影响：如果LIMIT和DISTINCT子句协同使用，当取到LIMIT设定个数的唯一元组数后，后续的去重操作将不再进行。

4) LIMIT受分组的影响：如果LIMIT和GROUP BY子句协同使用，GROUP BY按索引有序计算每个组的总数的过程中，LIMIT操作不必计数直到下一个分组开始。

5) LIMIT 0：直接返回空结果集。

6) MYSQL支持对不带HAVING的子句进行优化。

5.常见的一些优化规则

1) 在索引键上执行排序操作，通常利用索引的有序性按序读取数据而不进行排序。

2) 选择率低于10%时，利用索引的效果通常比读取表数据的效果好。

3) 当表的数据量较少时，全表扫描可能优于其它方式(如索引)。

来自 [*https://www.cnblogs.com/chiangchou/p/mysql-6.html*](https://www.cnblogs.com/chiangchou/p/mysql-6.html)

物理层查询优化：

物理查询运算符

· 获取关系元组的操作

· 关系操作的各种实现算法

· 迭代器构造—流水化、物化

DBMS提供了一些命令用于收集这些信息，但是这些信息需要DBA进行手动的统计。

代价估算：

投影运算的估计

选择运算的估计

连接运算：

总结：

并发控制

2020年6月27日

17:22

事务处理技术

· 事物是数据库管理系统提供的控制数据操作的一组手段，通过这一手段，应用程序员将一系列的数据库操作组合在一起作为一个整体进行操作和控制以便数据库管理系统能够提供一致性状态转换的保证

事务的宏观性：

· 一个存取或改变数据库内容的程序的一次执行，或者说一条或多条SQL语句的一次执行被看作是一个事物

· 事物一般由程序员提出，因此有开始和结束，结束前需要提交或者撤销

事务的微观性：

· 对数据库的一系列基本操作的整体执行

事务的特性：ACID

· 原子性：DBMS保证事务的一组更新操作是原子不可分的

· 一致性：DBMS保证事务的操作状态是正确的，符合一致性的操作规则，不能出现三种典型的不一致性

· 隔离性：BDMS保证并发执行的多个事务之间互相不受到影响

· 持久性：DBMS保证已提交的事务的影响是持久的，而可撤销的事务影响是可恢复的

具有ACID的一组操作被称为事务。

事务调度：

· 一组事务的基本步骤（读、写、其他控制操作如加锁、解锁）的一种执行顺序称为这组事务的一个调度，并发（或并行）调度：多个事务从宏观上看是并行的，但其微观上基本操作则是交叉执行的。

并发调度的正确性：

· 当且仅当一个并发调度下 得到的新数据库结果与分别串行运行这些事务得到的结果一致

可串行性：

· 如果不管数据库的初始状态如何，一个调度对数据库的状态影响都和某个串行调度相同，则我们说这个调度是可串行化的。

· 可串行化调度一定是正确的并行调度，但是正确的并行调度不一定都是可串行化的调度。

· 并行调度的正确性是结果上的，不考虑过程如何。而可串行性是指形式上的正确性。

冲突：

· 调度中一对连续的工作，如果他们满足：顺讯交换，那么涉及的事务至少有一个事务的行为会改变。

o 同一个事务的任何两个操作都是冲突的。

o 不同事物对同一个元素的两个写操作是冲突的。

o 不同事物对同一个元素的一读一写是冲突的。

冲突可串行性：

· 如果一个调度，通过交换相邻两个无冲突的操作哦能够转换到某一个串行调度，则称此调度为冲突可串行化调度。

· 冲突可串行新是比可串行性更严格的概念

· 满足冲突可串行性一定满足可串行性，反之不然

冲突可串行性的判别算法：

· 构造一个前驱图

·

· 测试检查：如果此有向图没有环，则冲突是可串行化的

基于封锁的控制并发手段：

锁 是一种控制并发的手段：

· 每一个数据元素都有唯一的锁

· 每一事务读写数据元素前，要获得所

· 如果被其他事务持有元素的锁，则要等待

· 事务处理完之后要释放锁。

锁 本身不能保证冲突可串行性

锁 为调度提供了控制的手段，但如何用锁仍需要说明

锁的类型：

· 排他锁：

o 只有一个事务可以读、写，其他任何事务都能不能对该事务进行读、写

· 共享锁：

o 所有事务可以读，但任何事务都不能写。

· 更新锁：

o 初始读，以后升级为可写

· 增量锁I

o 增量更新，例如A=A+x

o 区分增量更新和其他类型的更新

0级协议：加锁、解锁的时机

1级协议：

2级协议：

3级协议：

SQL隔离性级别：

· 读未提交：0级协议

· 读已提交：1级协议

· 可重复读：2级协议

· 可串行化：3级协议

幻读：

封锁粒度：

· 封锁粒度：是指封锁数据对象的大小

· 粒度单位：属性值-元组-元组集合-整个关系-整个DB-某个索引项-整个索引

· 由前往后：并发度小，封锁开销小

两段封锁协议：

· 读写数据之前都要获得锁，每个事物中所有的封锁请求都要先于任何一个解锁请求

· 两阶段：加锁段，解锁段，加锁段中不能有解锁操作，解锁段中不能有加锁操作。

基于时间戳的并发控制方法：

时间戳：

· 一种基于时间的标志，将某一时刻转换成的一个数值。

· 时间戳具有唯一性和传递性。

事务的时间戳：

· 事务T启动时，系统将该时时刻赋予为T

· 时间戳可以表征一系列事物执行的先后次序，时间戳小的事务先执行，时间戳大的事务后执行

· 利用时间戳，可以不用锁，来实现并发控制。

基于时间戳的并发控制：

· 借助时间戳，强制使得一组并发事务交叉执行，等价于一个特定顺序的串行执行

· 特定顺序：时间戳由小到大

· 如何强制：执行时判断冲突

o 如果没有冲突，允许执行

o 如有冲突，则撤销事务，并重启该事务，此时该事务获得了一个更大时间戳，表明是后执行的事务。

· 冲突类型：

o 读-读：无冲突

o 读-写或者写-读冲突

o 写-写冲突

调度规则:

核心规则：先执行的先操作

对DB中的每个数据元素x，系统个保留其上最大时间戳

· RT(X)：读过该数据事务中的最大时间戳，即最后读x的事务时间戳

· WT(X)：写过该数据事务中的最大时间戳，即最后写x的事务时间戳

· TS(T)：事务的时间线

以上规则不能解决：

· 脏读：读的数据被撤销

· 托马斯写：先写的事务被后写的覆盖

调度规则2：

基于有效性确认的并发控制方法：

· 事务在启动时刻被赋予唯一的时间戳，以示其启动顺序

· 为每一个活跃事务保存其读写数据的集合，RS(T)：事务T读数据集合，WS(T)：事务T写数据集合

· 通过对多个事务的读写集合，判断是否有冲突，即有效性确认，来完成事务的提交和回滚，强制事务以可串行化的方式执行。

基于有效性确认的调度器：

· 事务在启动时刻被赋予唯一的时间戳，以示其启动顺序

· 为每一个活跃事务保存其读写数据的集合，RS(T)：事务T读数据集合，WS(T)：事务T写数据集合

· 事务分为三个阶段：

o 读阶段：事务从数据库中读取集合中所有的元素，事务还在局部地址空间计算它要写的所有值

o 有效性确认：调度器通过比价该事务与其他事务的读写集合来确认该事务的有效性

o 写阶段：事务往数据库中写入其集合中的元素的值

· 调度器维护三个集合：

o START：已经开始但尚未完成有效性确认的事务集合。对此中的事务，调度器维护START（T），即事务的开始时间

o VAL：已经确认有效性但尚未完成第三阶段的写事务，对此中的事务，调度器维护START（T）和VAL（T），即T的确认时间

o FIN：已经完成第三阶段写任务的事务，对这样的事务T，调度器记录START（T）,VAL(T)，FIN（T），即T的完成时间。

冲突一：T启动之前，U没有完成，则需要检查U和T是否有读写交集

冲突二：T有效确认之前，U没有完成，则需要检查是否有两个写的交集

有效性确认：

数据库故障类型及其影响

2020年6月29日

13:53

数据库的故障及其影响：

· 事务故障

o 某一个程序自身故障

o 影响该程序事务本身

· 系统故障

o 由于掉电、非正常关机所引起的故障

o 影响正在运行的事务以及数据库缓存区

· 介质故障

o 由于介质损坏所引起的故障

o 影响是全面的，即影响内存中的数据，又影响介质中存储的数据

数据库故障恢复

· 把数据库由当前不正确状态恢复到正确状态

· 需要保证事务的：

o 原子性

o 持久性

事务故障的恢复：

· 事务故障可通过重做事务，撤销事务来恢复

系统故障的恢复：

· 运行日志是DBMS维护的一个文件，该文件以流水的方式记录了每一个事务对数据库的每一层操作及其操作顺序

· 运行日志直接写入介质存储

· 当事务对数据进行操作时：先写运行日志，写成功之后再与数据库缓冲区进行数据交换。

· 系统故障可以通过运行日志来恢复：

o 按照运行日志记录的事务操作顺序来重做事务

检查点：

· 在检查点时刻，DBMS强制使用内存DBBuffer中的内容与介质DB中的内容保持一致，即将DB Buffer更新的所有内容写回DB中

· 检查点表征了：在检查点之前内存数据与介质中数据是保持一致的。

系统故障的恢复：

· 检查点之前结束的事务不需要恢复

· 检查点之后结束或发生的事务需要依据运行日志进行恢复（不能确定是否写回DB）：故障点前结束的重做，故障点时刻未结束的撤销。

介质故障的恢复：

· 副本：

o 在某一时刻，对数据库在其他介质存储上产生另一份等同的记录，在问题发生时，用副本数据替换。

· 构建转储点：

o 用副本替换被破话的数据库

o 由于介质故障影响全面，在用副本恢复之后还需要依据运行认知进行恢复。

· 如何确认转储点：

o 过频：影响系统工作效率，过疏，会造成运行日志过大 ，也影响系统运行性能

o 备份转储周期与运行日志的大小密切相关，应注意防止衔接不畅而引起的漏洞。

日志：

· 每个事务都会写或者读一些元素

·

· 一个包含日志记录的只能追加的顺序文件，不同事务的日志记录交错存储，按发生时间存储

· 发生系统故障，使用日志进行恢复

o 故障时已提交的事务，重做

o 故障时未提交的事务，撤销

· 日志记录的信息：

o

· DBMS需要保证事务的持久性、原子性：

o 持久性：已提交的事务—在缓冲区里的内容要写回磁盘，未提交的事务—缓存区内容不能影响磁盘

· 三种日志：Undo日志、Redo日志、Undo/Redo日志

缓冲区处理策略：

· Force：内存中的数据最晚在commit时候写入磁盘

· No steal：不允许事务在commit之前把内存中的数据写入磁盘

· No Force：内存中的数据可以一直保留，在commit之后过一段时间再写入磁盘

· Steal：允许事务在commit之前把内存的数据写入磁盘。

缓冲区处理策略与日志/恢复策略的关系：

Undo型日志和其故障恢复：

从后往前

检查点：

· 静止检查点：周期性对日志设置检查点

o 停止接受新的事务，等待所有当前活跃事务提交或终止，并在日志中写入了COMMIT或ABORT记录后

o 将日志刷新到磁盘，写入日志记录，并再次刷新日志。

o

· 非静止检查点：

o 在设置时不需要关闭系统个，运行新事务进入

o 写入一条，其中T1,….Tk是所有活跃的未结束的事务

o 继续正常的操作，知道T1,….Tk都完成时候，写入

o

Redo型日志和其故障恢复：

先提交在输出，还是先输出再提交，就是Redo和Undo日志的区别**1**，Redo记录的更新后的新值，Undo记录的是更新前的值

从前往后

非静止检查点：

· 通过End CKPT找到找到START CKPT然后进行Redo

Undo/Redo结合型日志极其故障恢复：

先撤销再重做