900字范文 > 会议学习笔记（一）：第十五届《前沿技术讲习班》之唐建

会议学习笔记（一）：第十五届《前沿技术讲习班》之唐建

时间：2022-09-20 22:53:34

第十五届中国中文信息学会暑期学校暨中国中文信息学会《前沿技术讲习班》的回放链接：.cn/ssatt/

学习笔记

唐建：Neural and Symbolic Logical Reasoning on Knowledge Graphs摘要简单介绍：1. Reasoning in Continuous Space：连续空间上做推理。2. Reasoning in Symbolic Space：符号逻辑上做推理。3. Neural-Symbolic Reasoning：连续空间和符号逻辑上做推理。4. Logic Rule Introduction/Learning。基于知识图谱已有知识去推断logical rule，基于logical rule在做推理。介绍Logical Rules的三种类型：讲座大纲：Part1：Logical Reasoning in Continuous Space将entity和relation投影到连续空间上，做推理TransE思想：TransR思想：RotatE思想：优化思想其他方法不同方法分析数据集和实验结果Part2：Symbolic Logic Reasoning （Reasoning in Symbolic Space）传统的AI方法，在符号逻辑上进行推理Logic Programming：Logic Programming in Probabilistic Ways——Markov Logic Network：Logic Programming in Probabilistic Ways——Stochas Logic Network：其他方法：Part3：Neural-Symbolic Reasoning连续空间和符号逻辑上做推理。pLogicNetPart4：Logic Rule Introduction/LearningInductive Logic ProgrammingNeural LP核心思想：RNNLogic总结

唐建：Neural and Symbolic Logical Reasoning on Knowledge Graphs

摘要

知识图推理是电子商务中的推荐、生物医学知识图中的药物再利用等诸多应用中一个重要的基础性问题。在本教程中，我将全面介绍知识图推理的最新进展，包括:

(1)基于知识图嵌入的方法(如:TransE、TransR和RotatE);

(2)传统的归纳逻辑规划方法和现代的神经逻辑规划方法;

(3)结合神经和符号逻辑方法进行知识图推理的最新进展。

简单介绍：

1. Reasoning in Continuous Space：连续空间上做推理。

方法：TransE、TransR等

2. Reasoning in Symbolic Space：符号逻辑上做推理。

方法：Logic programming等

3. Neural-Symbolic Reasoning：连续空间和符号逻辑上做推理。

方法：pLogicNet、ExpressGNN等

4. Logic Rule Introduction/Learning。基于知识图谱已有知识去推断logical rule，基于logical rule在做推理。

方法：Inductive logic programming和Neural logic programming（基于神经网络推断logical rule）。

介绍Logical Rules的三种类型：

对称、非对称关系。Eg：对称：结婚；非对称：父亲。互逆关系。Eg：丈夫、妻子。组合关系：Eg：妈妈的丈夫是我的父亲。

讲座大纲：

Part1：Logical Reasoning in Continuous Space将entity和relation投影到连续空间上，做推理

TransE思想：

将所有的entity和relation都投影到连续空间领域，表示成低维度向量。定义relation：是head entity到tail entity的translation翻译。基于TransE可以建模哪种类型的logical rules？

互逆可以：“r1=-r2”

组合可以：“h+r1=x，x+r2=t，则：h+r3=t（先r1+r2就是r3）”

对称不可以：“h+r=t；t+r=h，则：r=0，h=t是不可以的，r=0意味着无法embedding嵌入表示”

TransR思想：

对TransE进行改进，将所有的entity和relation都投影到同一个空间（欧氏空间）里面，会产生问题。

改进：entity space 矩阵投影到 relation space，希望在投影中head 与tail接近。

RotatE思想：

对TransE进行改进，TransE不可以Model对称的关系，将所有的entity和relation都投影到附属向量空间里面，定义relation embedding：r定义为head到tail的旋转。建模不同关系：

对称关系可以：角度=0或者180。

互逆关系可以：角度=-角度

组合关系可以：角度3=角度1+角度2

缺点：组合关系没有考虑关系的顺序（r1、r2和r2、r1；妻子的父亲和父亲的妻子）

优化思想

TransE、TransR、RotaE都是：使得head entity在平移或者旋转后接近tail entity。

本质是分类问题：正例负例，观测到的事实是正例（知识图谱中观测到的事实，<h,r,t>），其他的三元组是负例（固定r，构造负例：<h’,r,t‘>等）。对于给定的三元组，预测是属于正例负例的概率。distance越小，正例越高；将distance转换成概率，sigmoid方法0-1的值，k个负例，用Loss function优化entity和relation embedding对于所有都适用。

缺点：构造了多个负例，导致学习的负例的概率高。

Self-adversarial Negative Sampling。

改进了上面的思想，刚开始学习简单例子，随着学习不断进行，学习难的思想（实际是负样本，但是属于正样本的概率高）sample的概率高。