展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 业界资讯 > 泰凡科技王林:图数据库——通往认知智能的新途径

泰凡科技王林:图数据库——通往认知智能的新途径

嘉宾|王林整理|张锋策划|徐杰承人工智能有两个比较大的派系:理性主义和经验主义。但在真实的工业级产品中这两种派系是相辅相成的。如何在这种模型黑盒里引入更多的可控性,更多的知识,需要将知识图谱这样一种承载了符号化的知识应用起来。日前,在51CTO主办的在​​WOT全球技术创新大会上​​,泰凡科技CTO王林博士为广大参会者带来了专题演进《图数据库:通往认知智能的新途径》,重点介绍了图数据库模型的历史与演进;图数据库实现认知智能的重要途径,以及在OpenGauss上进行的图数据库设计与实践经验。现将演讲内

嘉宾| 王林

整理| 张锋

策划| 徐杰承

人工智能有两个比较大的派系:理性主义和经验主义。但在真实的工业级产品中这两种派系是相辅相成的。如何在这种模型黑盒里引入更多的可控性,更多的知识,需要将知识图谱这样一种承载了符号化的知识应用起来。

日前,在51CTO主办的在​​WOT全球技术创新大会上​​,泰凡科技CTO王林博士为广大参会者带来了专题演进《图数据库:通往认知智能的新途径》,重点介绍了图数据库模型的历史与演进;图数据库实现认知智能的重要途径,以及在OpenGauss上进行的图数据库设计与实践经验。

现将演讲内容整理如下,希望对诸君有所启发:


从一定的维度来看,人工智能可以分为两类,一类是联结主义,也就是我们熟悉的深度学习,模拟人脑的结构来做一些感知、识别、判断的事情。

另外一类则是符号主义,通常是模拟人的心智。认知过程是在符号表示上的一种运算。所以,它经常是用于进行一些思考与推理。典型代表的技术就是知识图谱。

泰凡科技王林:图数据库——通往认知智能的新途径


图增强AI的4种途径

1、情景决策

知识图谱本质上是基于图的语义网络,表示了实体和实体之间的关系。从高层次上说,知识图谱也是互相关联知识的集合,以人类可以理解的形式描述现实世界和实体、事物相互的关系。

知识图谱可以为我们带来更多领域的知识、上下文的信息,帮助我们去做决策。从应用的角度来说,可以把知识图谱划分成三种类型:

泰凡科技王林:图数据库——通往认知智能的新途径


一是领域相关知识图谱。将结构化、半结构化数据从中抽取出来的知识形成一个知识图谱,这是领域中相关的,最典型的应用就是Google的搜索引擎。

二是外部感知知识图谱。聚合外部的数据源,将其映射到我们感兴趣的内部的实体。典型应用是在供应链风险分析时,通过供应链能看到供应商,它的上下游、工厂等供应线的信息,这样就可以分析哪里存在问题,有没有中断的风险。

三是自然语言处理知识图谱。自然语言处理包含大量技术术语甚至是领域的关键词等,可以帮助我们去做自然语言的查询。

2、提高运行效率

机器学习的方法经常依赖于存储在表中的数据,而这些数据其实大部分是资源密集型的操作,知识图谱可以提供高效率领域的相关内容,把数据联结起来,在关系上实现多个分离度,有利于大规模快速分析。从这个角度来说,图本身就加速了机器学习的效果。

再者机器学习算法常常要针对所有的数据进行计算。通过简单的图查询,就可以返回所要数据的子图,以此来加速加速运行效率。

3、提高预测准确性

关系往往是行为最强的预测因素,关系的特征可以从图里很方便地获取到。

通过关联数据和关系图,可以更直接地提取关系的特征。但在传统的机器学习方法中,有时在抽象简化数据时其实会丢失很多重要的信息。因此,关系特性可以让我们在分析时不会丢失这些信息。此外,图算法简化了发现类似紧密社区的异常情况的过程。我们可以在紧密社区中对节点进行评分,并提取该信息以用于训练机器学习模型。最后,使用图算法进行特征选择,以将模型中使用的特征数量减少到一个最相关的子集。

4、可解释性

这几年我们经常能够听到“可解释性”,这也是应用人工智能过程中一个特别大的挑战,我们需要理解人工智能是怎么得出这个决策、这个结果的,同时在可解释方面有很多诉求,尤其是一些特定应用领域,比如医疗、金融和司法。

可解释性包含三方面的内容:

(1)可解释的数据。我们需要知道数据选择的原因,数据的来源是什么?数据是要有可解释性的。

(2)可解释的预测。可解释的预测意味着我们需要知道特定的预测使用了哪些特征,用了哪些权重。

(3)可解释的算法。可解释的算法目前前景很诱人,但还是有很长的路要走,目前在研究领域里提出了张量网络,引用这样的方法让算法能具备一定的可解释性。


主流图数据模型

既然图对于人工智能应用和发展如此重要,那么我们该如何将它用好呢?首先需要关注的是图的存储管理,也就是图数据模型。

目前最主流的图数据模型有两种:RDF图和属性图。

1、RDF图

RDF全称为资源描述框架,是由W3C制定的在语义万维网上用来表示交换机器可理解信息的一个标准数据模型。在RDF图中,每个资源有一个HTTP URL作为其中的一个唯一ID。RDF定义是一种三元组的形式,表示一个事实的陈述,S代表主语,P是谓语,O是宾语。图中Bob is interested in The MonoLisa,陈述了一个事实,这就是RDF图。

泰凡科技王林:图数据库——通往认知智能的新途径


对应RDF图的数据模型,有着自己的查询语言——SPARQL。SPARQL是W3C制定的RDF知识图谱的标准查询语言。SPARQL语法上借鉴了SQL,是一种声明式的查询语言,查询的基本单元也是三元组的模式。

泰凡科技王林:图数据库——通往认知智能的新途径

2、属性图

属性图模型中每一个顶点和边都具有一个唯一ID,顶点和边还有一个标签,作用相当于RDF图中的资源类型。此外,顶点和边上还具有一组属性,由属性名和属性值组成,这样就组成了一个属性图模型。

泰凡科技王林:图数据库——通往认知智能的新途径


同样属性图模型也有一套查询语言——Cypher。Cypher也是一种声明式的查询语言,用户只需要声明要查什么,而不需要指出怎么查。Cypher有一个主要的特点,是使用ASCII 艺术的语法表达图模式匹配。

泰凡科技王林:图数据库——通往认知智能的新途径


伴随人工智能的发展,认知智能的发展和知识图谱的应用越来越多。因此,图数据库近年来在市场中得到了越来越多的关注,但目前在图上面临的一个重要问题就是数据模型和查询语言的不统一,这是亟待解决的问题。


研究OpenGauss图数据库的动机

研究OpenGauss图数据库的出发点主要有两方面。

一方面想借助知识图谱本身的特性。例如在高性能、高可用、高安全和易运维几方面,能够将这些特性融入到图数据库中,对数据库而言这些非常重要。

另一方面从图数据模型考虑出发。目前有两种数据模型与两种查询语言,如果对齐这两种不同查询语言背后形式的语义运算符,好比关系型数据库里的投影、选择、连接等,如果对齐SPARQL和Cypher语言背后的语义,提供两种不同的语法视图,这样自然实现了一种互操作。也就是内部能够达到语义的一致,如此就能用Cypher查RDF的图,也能用SPARQL查属性图,这就形成了一个非常好的特性。


OpenGauss—Graph架构

底层使用OpenGauss,用关系模型看作图储存物理模型,思路是将RDF图和属性图的不一致,通过求最大公约数的方式,在底层物理存储上做一个统一。

基于这个思路,OpenGauss—Graph的架构最底层就是基础设施,依次往上是存取方法、统一的属性图和RDF图的处理和管理方式。紧接着是统一的查询处理执行引擎,用以支撑统一的语义算子,包含子图匹配算子、路径导航算子、图分析算子、关键字查询算子。再往上是统一的API接口,提供SPARQL的接口和Cypher的接口。此外还有统一的查询语言的语言标准以及交互查询的可视界面。

泰凡科技王林:图数据库——通往认知智能的新途径


存储方案的设计

设计存储方案时主要考虑如下两点:

(1)不能太复杂,因为太复杂存储方案的效率不会太高。

(2)要能够很巧妙地容纳下两种不同知识图谱的数据类型。

因此,便有了点表和边表的存储方案。有一个公共的点表叫properties,针对不同的点,会有一个继承;边表也会有不同边表的继承。不同类型的点表、边表会有一份copy,这样就维护了一个点边表集合的存储方案。

如果是属性图,不同label的点找到不同的点表,例如professor就找到professor点表。点的属性就映射到点表中的属性列上;边表也是一样,authors就映射到authors边表,边就会映射到边表中的一行,带有起始节点和终止节点的ID。

通过这样一个看似简单实际上通用性很强的方式,可以将RDF图与属性图从物理层进行统一。但在实际应用当中有大量的没有类型的实体,这时我们采取了归类语义到最相近的有类型的表中的方法。


查询的处理实践

除了存储以外,重要的就是查询。在语义层面我们做到了操作的对齐,实现两种查询语言的互操作,SPARQL和Cypher互查。

在此情况下涉及到两个层面:语法和词法,还有它们的解析不能产生相互的矛盾。这里引用了一个关键字,例如查SPARQL就开启SPARQL的语法,查Cypher就开启Cypher的语法,避免冲突。

泰凡科技王林:图数据库——通往认知智能的新途径


我们也实现了很多查询的算子。

(1)子图匹配查询,查询所有的作曲家和他作的曲子、作曲家的生日,是典型的子图匹配问题。可以分为属性图和RDF图,其大致的处理流程也是一致的。例如对应点加入join链表,然后添加properties列上的选择操作,接着对头尾两个点模式所对应的点表之间的连接实施约束。RDF图对边表的起始、终点进行重要操作,最后都是变量添加投影约束,输出最终结果,流程上是相近的。

子图匹配的查询,同样也支持一些内置的函数,例如FILTER函数,对变量形式进行限制、逻辑运算符、聚合、算术运算符都进行了支持,当然这部分也可以不断扩充。

泰凡科技王林:图数据库——通往认知智能的新途径


(2)导航式查询,这在传统的关系型数据库中是没有的。下图种左边是一个小型的社会网络图,这是一个有向图,可以看到认识是单向的,Tom认识Pat,但Pat不认识Tom。导航式查询中如果进行一个二跳的查询,看谁认识Tom。如果是0跳,Tom就是自己认识自己。1跳就是Tom认识Pat,Tom认识Summer。2跳是Tom认识Pat,又认识Nikki,又认识回Tom。

泰凡科技王林:图数据库——通往认知智能的新途径


(3)关键字查询,这里有两个例子,tsvector和tsquery。一个是将文档转成词条的列表;一个是查询向量中是否存在指定的单词或短语。当知识图谱中的文本比较长,有比较长的属性时,就利用这个功能为其提供关键字检索的功能,这也是非常好用的。

泰凡科技王林:图数据库——通往认知智能的新途径


(4)分析型查询,对于图数据库有其特有的查询,例如最短路、Pagerank等都是基于图的查询算子,都可以在图数据库中进行实现。例如查从Tom开始到Nikki最短路径是多少,通过Cypher实现了最短路径的算子,可以把最短的路径输出出来,查到了结果。

泰凡科技王林:图数据库——通往认知智能的新途径


除了上述提到的功能以外,我们还实现了一个可视交互的studio,在其中输入Cypher和SPARQL的查询语言,能得到可视的直观图,可以在上面做图的维护、管理以及应用,图上还可以进行很多交互,未来我们还会有更多的算子以及图查询、图搜索加进来,实现更多应用的方向和场景。

最后,欢迎大家访问OpenGauss Graph社区,也欢迎对OpenGauss Graph感兴趣的朋友们加入社区,作为新的contributor,一同把OpenGauss Graph社区建设好。


嘉宾介绍

王林,工学博士、OpenGauss图数据库社区Maintainer、泰凡科技CTO、高级工程师、中国计算机协会 YOCSEF天津21-22副主席、CCF 信息系统专委会执委,入选天津市131人才项目。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
业界资讯 人工智能
相关文章 更多
精品专题 更多
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

Ableton Live macOS版
Ableton Live macOS版

Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站,提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片,并可连接音频接口、MIDI控制器和第三方插件。

Adobe After Effects macOS版
Adobe After Effects macOS版

Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具,并可与 Premiere Pro、Photoshop、Illustrator

Adobe Audition macOS版
Adobe Audition macOS版

Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站,提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具,并可与 Adobe Premiere 协同完成视频声音制作。

Adobe Bridge macOS版
Adobe Bridge macOS版

Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具,可集中预览照片、视频和 Adobe 项目文件,并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera

Adobe Illustrator macOS版
Adobe Illustrator macOS版

Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件,适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形,并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。

Adobe InDesign macOS版
Adobe InDesign macOS版

Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件,可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。

Adobe Lightroom Classic macOS版
Adobe Lightroom Classic macOS版

Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件,可将原始照片保存在本地硬盘,通过目录、关键词、评分和收藏夹高效整理图库,并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。

Adobe Media Encoder macOS版
Adobe Media Encoder macOS版

Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具,可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出,并与 Premiere Pro、After Effects 等软件紧密协作。

Adobe Photoshop macOS版
Adobe Photoshop macOS版

Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件,提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。

WINDOWS 更多
Adobe Photoshop Windows版
Adobe Photoshop Windows版

Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具,可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权,由 Creative Cloud 管理安装、更新与许

Adobe InDesign Windows版
Adobe InDesign Windows版

Adobe InDesign 是面向印刷与数字出版的专业页面排版工具,可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力,并能与 Photoshop、Illustrator

Adobe Illustrator Windows版
Adobe Illustrator Windows版

Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心,作品放大后仍能保持清晰,并提供画板、文字、渐变、图像描摹及精确变换等功能,适合品牌视觉、印刷物料、数字界面和商业插画创作。

Adobe Bridge Windows版
Adobe Bridge Windows版

Adobe Bridge 是 Adobe 推出的创意资产管理工具,可集中预览、分类和查找照片、视频、PDF及多种设计文件,并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接,

Affinity Photo Windows版
Affinity Photo Windows版

Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具,提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售,其照片编辑能力已延续至免费的新 Affinity 应用;

Adobe Lightroom Classic Windows版
Adobe Lightroom Classic Windows版

Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具,可通过目录集中整理大型图库,并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制,

Figma Windows版
Figma Windows版

Figma 是面向产品设计与开发团队的云端协作平台,可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端,多名成员能够同步编辑并共享设计系统;官方同时提供免费 Starter 方案及按席位计

Affinity Designer Windows版
Affinity Designer Windows版

Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具,可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理,并支持常见设计文件的导入及多种印刷、网页格式输出。

Capture One Pro Windows版
Capture One Pro Windows版

Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具,提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影,

Adobe Acrobat Pro Windows版
Adobe Acrobat Pro Windows版

Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案,可在 Windows 中创建、编辑、转换、比较、整理和保护文档,并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力,

Adobe After Effects Windows版
Adobe After Effects Windows版

Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具,可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新,

DaVinci Resolve Windows版
DaVinci Resolve Windows版

DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具,将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求,