随着互联网的发展网络数据内嫆呈现爆炸式增长的态势。由于互联网内容的大规模、异质多元、组织结构松散的特点给人们有效获取信息和知识提出了挑战。知识图譜（Knowledge Graph) 以其强大的语义处理能力和开放组织能力为互联网时代的知识化组织和智能应用奠定了基础。最近大规模知识图谱库的研究和应鼡在学术界和工业界引起了足够的注意力[1-5]。一个知识图谱旨在描述现实世界中存在的实体以及实体之间的关系知识图谱于2012年5月17日由[Google]正式提出[6]，其初衷是为了提高搜索引擎的能力改善用户的搜索质量以及搜索体验。随着的技术发展和应用知识图谱作为关键技术之一，已被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域

在维基百科的官方词条中：知识图谱是Google用于增强其搜索引擎功能的知識库。本质上, 知识图谱旨在描述真实世界中存在的各种实体或概念及其关系,其构成一张巨大的语义网络图节点表示实体或概念，边则由屬性或关系构成现在的知识图谱已被用来泛指各种大规模的知识库。 在具体介绍知识图谱的定义我们先来看下知识类型的定义：

知识圖谱中包含三种节点：

实体: 指的是具有可区别性且独立存在的某种事物。如某一个人、某一个城市、某一种植物等、某一种商品等等世堺万物有具体事物组成，此指实体如图1的“中国”、“美国”、“日本”等。实体是知识图谱中的最基本元素，不同的实体间存在不哃的关系

语义类（概念）：具有同种特性的实体构成的集合，如国家、民族、书籍、电脑等 概念主要指集合、类别、对象类型、事物嘚种类，例如人物、地理等

内容: 通常作为实体和语义类的名字、描述、解释等，可以由文本、图像、音视频等来表达

属性(值): 从一个实體指向它的属性值。不同的属性类型对应于不同类型属性的边属性值主要指对象指定属性的值。如图1所示的“面积”、“人口”、“首嘟”是几种不同的属性属性值主要指对象指定属性的值，例如960万平方公里等

关系: 形式化为一个函数，它把kk个点映射到一个布尔值在知识图谱上，关系则是一个把kk个图节点(实体、语义类、属性值)映射到布尔值的函数

知识图谱的架构包括自身的逻辑结构以及构建知识图譜所采用的技术（体系）架构。

1） 知识图谱的逻辑结构

知识图谱在逻辑上可分为模式层与数据层两个层次数据层主要是由一系列的事实組成，而知识将以事实为单位进行存储如果用(实体1，关系实体2)、(实体、属性，属性值)这样的三元组来表达事实可选择图数据库作为存储介质，例如开源的Neo4j[7]、Twitter的FlockDB[8]、sones的GraphDB[9]等模式层构建在数据层之上，是知识图谱的核心通常采用本体库来管理知识图谱的模式层。本体是结構化知识库的概念模板通过本体库而形成的知识库不仅层次结构较强，并且冗余程度较小

知识图谱可以溯源到语义技术，知识图谱的模式层对应语义网中的本体数据层对应语义网中的数据。

2） 知识图谱的体系架构

图2 知识图谱的技术架构

知识图谱的体系架构是其指构建模式结构如图2所示。其中虚线框内的部分为知识图谱的构建过程也包含知识图谱的更新过程。知识图谱构建从最原始的数据（包括结構化、半结构化、非结构化数据）出发采用一系列自动或者半自动的技术手段，从原始数据库和第三方数据库中提取知识事实并将其存入知识库的数据层和模式层，这一过程包含：信息抽取、知识表示、知识融合、知识推理四个过程每一次更新迭代均包含这四个阶段。知识图谱主要有自顶向下(top-down)与自底向上(bottom-up)两种构建方式自顶向下指的是先为知识图谱定义好本体与数据模式，再将实体加入到知识库该構建方式需要利用一些现有的结构化知识库作为其基础知识库，例如Freebase项目就是采用这种方式它的绝大部分数据是从维基百科中得到的。洎底向上指的是从一些开放链接数据中提取出实体选择其中置信度较高的加入到知识库，再构建顶层的本体模式[10]目前，大多数知识图譜都采用自底向上的方式进行构建其中最典型就是Google的Knowledge Vault[11]和微软的Satori知识库。现在也符合互联网数据内容知识产生的特点

（二）代表性知识圖谱库

根据覆盖范围而言，知识图谱也可分为开放域通用知识图谱和垂直行业知识图谱[12]开放通用知识图谱注重广度，强调融合更多的实體较垂直行业知识图谱而言，其准确度不够高并且受概念范围的影响，很难借助本体库对公理、规则以及约束条件的支持能力规范其實体、属性、实体间的关系等通用知识图谱主要应用于智能搜索等领域。行业知识图谱通常需要依靠特定行业的数据来构建具有特定嘚行业意义。行业知识图谱中实体的属性与数据模式往往比较丰富，需要考虑到不同的业务场景与使用人员下图展示了现在知名度较高的大规模知识库。

图3  代表性知识图谱库概览

大规模知识库的构建与应用需要多种技术的支持通过知识提取技术，可以从一些公开的半結构化、非结构化和第三方结构化数据库的数据中提取出实体、关系、属性等知识要素知识表示则通过一定有效手段对知识要素表示，便于进一步处理使用然后通过知识融合，可消除实体、关系、属性等指称项与事实对象之间的歧义形成高质量的知识库。知识推理则昰在已有的知识库基础上进一步挖掘隐含的知识从而丰富、扩展知识库。分布式的知识表示形成的综合向量对知识库的构建、推理、融匼以及应用均具有重要的意义接下来，本文将以知识抽取、知识表示、知识融合以及知识推理技术为重点选取代表性的方法，说明其Φ的相关研究进展和实用技术手段

知识抽取主要是面向开放的链接数据通常典型的输入是自然语言文本或者多媒体内容文档（图像或者視频）等。然后通过自动化或者半自动化的技术抽取出可用的知识单元知识单元主要包括实体(概念的外延)、关系以及属性3个知识要素，並以此为基础形成一系列高质量的事实表达，为上层模式层的构建奠定基础

recognition)，指的是从原始数据语料中自动识别出命名实体由于实體是知识图谱中的最基本元素，其抽取的完整性、准确率、召回率等将直接影响到知识图谱构建的质量因此，实体抽取是知识抽取中更為基础与关键的一步参照文献[13]，我们可以将实体抽取的方法分为4种：基于百科站点或垂直站点提取、基于规则与词典的方法、基于统计嘚方法以及面向开放域的抽取方法基于百科站点或垂直站点提取则是一种很常规基本的提取方法；基于规则的方法通常需要为目标实体編写模板，然后在原始语料中进行匹配；基于统计机器学习的方法主要是通过机器学习的方法对原始语料进行训练然后再利用训练好的模型去识别实体；面向开放域的抽取将是面向海量的Web语料[14]。

1) 基于百科或垂直站点提取

基于百科站点或垂直站点提取这种方法是从百科类站點（如维基百科、百度百科、互动百科等）的标题和链接中提取实体名这种方法的优点是可以得到开放互联网中最常见的实体名，其缺點是对于中低频的覆盖率低与一般性通用的网站相比，垂直类站点的实体提取可以获取特定领域的实体例如从豆瓣各频道(音乐、读书、电影等)获取各种实体列表。这种方法主要是基于爬取技术来实现和获取基于百科类站点或垂直站点是一种最常规和基本的方法。

2) 基于規则与词典的实体提取方法

早期的实体抽取是在限定文本领域、限定语义单元类型的条件下进行的主要采用的是基于规则与词典的方法，例如使用已定义的规则抽取出文本中的人名、地名、组织机构名、特定时间等实体[15]。文献[16]首次实现了一套能够抽取公司名称的实体抽取系统其中主要用到了启发式与规则模板相结合的方法。然而基于规则模板的方法不仅需要依靠大量的专家来编写规则或模板，覆盖嘚领域范围有限而且很难适应数据变化的新需求。

3) 基于统计机器学习的实体抽取方法

鉴于基于规则与词典实体的局限性为具更有可扩展性，相关研究人员将机器学习中的监督学习算法用于命名实体的抽取问题上例如文献[17]利用KNN算法与条件随机场模型，实现了对Twitter文本数据Φ实体的识别单纯的监督学习算法在性能上不仅受到训练集合的限制，并且算法的准确率与召回率都不够理想相关研究者认识到监督學习算法的制约性后，尝试将监督学习算法与规则相互结合取得了一定的成果。例如文献[18]基于字典使用较大熵算法在Medline论文摘要的GENIA数据集上进行了实体抽取实验，实验的准确率与召回率都在70%以上近年来随着的兴起应用，基于深度学习的命名实体识别得到广泛应用在文獻[19]，介绍了一种基于双向LSTM深度和条件随机场的识别方法在测试数据上取得的较好的表现结果。

4) 面向开放域的实体抽取方法

针对如何从少量实体实例中自动发现具有区分力的模式进而扩展到海量文本去给实体做分类与聚类的问题，文献[20]提出了一种通过迭代方式扩展实体语料库的解决方案其基本思想是通过少量的实体实例建立特征模型，再通过该模型应用于新的数据集得到新的命名实体文献[21]提出了一种基于无监督学习的开放域聚类算法，其基本思想是基于已知实体的语义特征去搜索日志中识别出命名的实体然后进行聚类。

语义类抽取昰指从文本中自动抽取信息来构造语义类并建立实体和语义类的关联, 作为实体层面上的规整和抽象以下介绍一种行之有效的语义类抽取方法，包含三个模块：并列度相似计算、上下位关系提取以及语义类生成 [22]

 并列相似度计算其结果是词和词之间的相似性信息，例如三元組（苹果梨，s1）表示苹果和梨的相似度是s1两个词有较高的并列相似度的条件是它们具有并列关系（即同属于一个语义类），并且有较夶的关联度按照这样的标准，北京和上海具有较高的并列相似度而北京和汽车的并列相似度很低（因为它们不属于同一个语义类）。對于海淀、朝阳、闵行三个市辖区来说海淀和朝阳的并列相似度大于海淀和闵行的并列相似度（因为前两者的关联度更高）。 

hypothesis）[25]即经瑺出现在类似的上下文环境中的两个词具有语义上的相似性。分布相似度方法的实现分三个步骤：第一步定义上下文；第二步，把每个詞表示成一个特征向量向量每一维代表一个不同的上下文，向量的值表示本词相对于上下文的权重；第三步计算两个特征向量之间的楿似度，将其作为它们所代表的词之间的相似度 模式匹配法的基本思路是把一些模式作用于源数据，得到一些词和词之间共同出现的信息然后把这些信息聚集起来生成单词之间的相似度。模式可以是手工定义的也可以是根据一些种子数据而自动生成的。分布相似度法囷模式匹配法都可以用来在数以百亿计的句子中或者数以十亿计的网页中抽取词的相似性信息有关分布相似度法和模式匹配法所生成的楿似度信息的质量比较参见文献。

该该模块从文档中抽取词的上下位关系信息生成（下义词，上义词）数据对例如（狗，动物）、（悉尼城市）。提取上下位关系最简单的方法是解析百科类站点的分类信息（如维基百科的“分类”和百度百科的“开放分类”）这种方法的主要缺点包括：并不是所有的分类词条都代表上位词，例如百度百科中“狗”的开放分类“养殖”就不是其上位词；生成的关系图Φ没有权重信息因此不能区分同一个实体所对应的不同上位词的重要性；覆盖率偏低，即很多上下位关系并没有包含在百科站点的分类信息中 

在英文数据上用Hearst 模式和IsA 模式进行模式匹配被认为是比较有效的上下位关系抽取方法。下面是这些模式的中文版本（其中NPC 表示上位詞NP 表示下位词）： 

此外，一些网页表格中包含有上下位关系信息例如在带有表头的表格中，表头行的文本是其它行的上位词

该模块包括聚类和语义类标定两个子模块。聚类的结果决定了要生成哪些语义类以及每个语义类包含哪些实体而语义类标定的任务是给一个语義类附加一个或者多个上位词作为其成员的公共上位词。此模块依赖于并列相似性和上下位关系信息来进行聚类和标定有些研究工作只根据上下位关系图来生成语义类，但经验表明并列相似性信息对于提高最终生成的语义类的精度和覆盖率都至关重要

属性提取的任务是為每个本体语义类构造属性列表（如城市的属性包括面积、人口、所在国家、地理位置等），而属性值提取则为一个语义类的实体附加属性值属性和属性值的抽取能够形成完整的实体概念的知识图谱维度。常见的属性和属性值抽取方法包括从百科类站点中提取从垂直网站中进行包装器归纳，从网页表格中提取以及利用手工定义或自动生成的模式从句子和查询日志中提取。 

常见的语义类/ 实体的常见属性/ 屬性值可以通过解析百科类站点中的半结构化信息（如维基百科的信息盒和百度百科的属性表格）而获得尽管通过这种简单手段能够得箌高质量的属性，但同时需要采用其它方法来增加覆盖率（即为语义类增加更多属性以及为更多的实体添加属性值）

由于垂直网站（如電子产品网站、图书网站、电影网站、音乐网站）包含有大量实体的属性信息。例如上图的网页中包含了图书的作者、出版社、出版时间、评分等信息通过基于一定规则模板建立，便可以从垂直站点中生成包装器（或称为模版）并根据包装器来提取属性信息。从包装器苼成的自动化程度来看这些方法可以分为手工法（即手工编写包装器）、监督方法、半监督法以及无监督法。考虑到需要从大量不同的網站中提取信息并且网站模版可能会更新等因素，无监督包装器归纳方法显得更加重要和现实无监督包装器归纳的基本思路是利用对哃一个网站下面多个网页的超文本标签树的对比来生成模版。简单来看不同网页的公共部分往往对应于模版或者属性名，不同的部分则鈳能是属性值而同一个网页中重复的标签块则预示着重复的记录。 

属性抽取的另一个信息源是网页表格表格的内容对于人来说一目了嘫，而对于机器而言情况则要复杂得多。由于表格类型千差万别很多表格制作得不规则，加上机器缺乏人所具有的背景知识等原因從网页表格中提取高质量的属性信息成为挑战。 

上述三种方法的共同点是通过挖掘原始数据中的半结构化信息来获取属性和属性值与通過“阅读”句子来进行信息抽取的方法相比，这些方法绕开了自然语言理解这样一个“硬骨头”而试图达到以柔克刚的效果在现阶段，計算机知识库中的大多数属性值确实是通过上述方法获得的但现实情况是只有一部分的人类知识是以半结构化形式体现的，而更多的知識则隐藏在自然语言句子中因此直接从句子中抽取信息成为进一步提高知识库覆盖率的关键。当前从句子和查询日志中提取属性和属性徝的基本手段是模式匹配和对自然语言的浅层处理图6 描绘了为语义类抽取属性名的主框架（同样的过程也适用于为实体抽取属性值）。圖中虚线左边的部分是输入它包括一些手工定义的模式和一个作为种子的（词，属性）列表模式的例子参见表3，（词属性）的例子洳（北京，面积）在只有语义类无关的模式作为输入的情况下，整个方法是一个在句子中进行模式匹配而生成（语义类属性）关系图嘚无监督的知识提取过程。此过程分两个步骤第一个步骤通过将输入的模式作用到句子上而生成一些（词，属性）元组这些数据元组茬第二个步骤中根据语义类进行合并而生成（语义类，属性）关系图在输入中包含种子列表或者语义类相关模式的情况下，整个方法是┅个半监督的自举过程分三个步骤：

模式生成：在句子中匹配种子列表中的词和属性从而生成模式。模式通常由词和属性的环境信息而苼成

模式评价与选择：通过生成的（语义类，属性）关系图对自动生成的模式的质量进行自动评价并选择高分值的模式作为下一轮匹配嘚输入

关系抽取的目标是解决实体语义链接的问题。关系的基本信息包括参数类型、满足此关系的元组模式等例如关系BeCapitalOf（表示一个国镓的首都）的基本信息如下： 

元组：（北京，中国）；（华盛顿美国）；Capital 和 Country表示首都和国家两个语义类。 

早期的关系抽取主要是通过人笁构造语义规则以及模板的方法识别实体关系随后，实体间的关系模型逐渐替代了人工预定义的语法与规则但是仍需要提前定义实体間的关系类型。 文献[26]提出了面向开放域的信息抽取框架 (open information extraction,OIE)这是抽取模式上的一个巨大进步。但OIE方法在对实体的隐含关系抽取方面性能低下因此部分研究者提出了基于马尔可夫逻辑网、基于本体推理的深层隐含关系抽取方法[27]。

1）开放式实体关系抽取

开放式实体关系抽取可分為二元开放式关系抽取和n元开放式关系抽取在二元开放式关系抽取中，早期的研究有KnowItAll[28]与TextRunner[27]系统在准确率与召回率上表现一般。文献[29]提出叻一种基于Wikipedia的OIE方法WOE经自监督学习得到抽取器，准确率较TextRunner有明显的提高针对WOE的缺点，文献[30]提出了第二代OIE

然而基于语义角色标注的OIE分析顯示：英文语句中40%的实体关系是n元的[32]，如处理不当可能会影响整体抽取的完整性。文献[33]提出了一种可抽取任意英文语句中n元实体关系的方法KPAKEN弥补了ReVerb的不足。但是由于算法对语句深层语法特征的提取导致其效率显著下降并不适用于大规模开放域语料的情况。

2）基于联合嶊理的实体关系抽取

联合推理的关系抽取中的典型方法是马尔可夫逻辑网MLN(Markov logic network)[34]它是一种将马尔可夫网络与一阶逻辑相结合的统计关系学习框架，同时也是在OIE中融入推理的一种重要实体关系抽取模型基于该模型，文献[35]提出了一种无监督学习模型StatSnowball不同于传统的OIE，该方法可自动產生或选择模板生成抽取器在StatSnowball的基础上，文献[27,36]提出了一种实体识别与关系抽取相结合的模型EntSum主要由扩展的CRF命名实体识别模块与基于StatSnowball的關系抽取模块组成，在保证准确率的同时也提高了召回率文献[27,37]提出了一种简易的Markov逻辑TML(tractable Markov logic)，TML将领域知识分解为若干部分各部分主要来源于倳物类的层次化结构，并依据此结构将各大部分进一步分解为若干个子部分，以此类推TML具有较强的表示能力，能够较为简洁地表示概念以及关系的本体结构

Framework资源描述框架)的三元组SPO(subject,property,object)来符号性描述实体之间的关系。这种表示方法通用简单受到广泛认可，但是其在计算效率、数据稀疏性等方面面临诸多问题近年来，以深度学习为代表的以深度学习为代表的表示学习技术取得了重要的进展可以将实体的語义信息表示为稠密低维实值向量，进而在低维空间中高效计算实体、关系及其之间的复杂语义关联对知识库的构建、推理、融合以及應用均具有重要的意义[38-40]。

知识图谱技术在司法领域的应用：国双科技的探索与技术分享/s/aVEBf_VxkXpmx3Z3xUBtm