前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】动态时序知识图谱EvolveGCN

作者头像
Houye
发布于 2020-12-29 06:41:29
发布于 2020-12-29 06:41:29
4.8K0
举报
文章被收录于专栏:图与推荐图与推荐

EvolveGCN (AAAI 2020) 分享

EvolveGCN汇报ppt版可通过关注公众号后回复关键词:EvolveGCN 来获得,供学习者使用!

背景知识

在上一篇CompGCN中讲解了异质知识图谱在处理复杂实体间多关系类型的方案。本篇分享知识图谱落地时另一重要场景:动态时序知识图谱,下面先给出动态时序知识图谱的基本概念,方便还不熟悉的同学有一个更好的理解。

首先知识图谱本质上就是一个语义网络,由节点Node和边Edge构成,每个Node表示现实世界中存在的实体Entity,而每条边表示实体与实体之间的关系。简单来说,知识图谱就是把所有不同种类的信息连接在一起而得到的关系网络,比如社交网络。由于这种关系网络会随着时间推移,实体以及实体间的关系会不断变化,为了全面获取知识,搭建动态知识图谱,在知识图谱数据中加入时间维度,利用时序分析技术和图相似性技术,分析图谱结构随时间的变化和趋势,从而掌握到关键信息。

上图展示了一下动态图谱,节点和边的颜色代表不同种类,可以看出图谱从时刻t到时刻t+1,图谱的结构有明显变化。比如金融动态知识图谱,学习到图谱间的时序信息便显得十分重要,本篇便介绍AAAI 2020的一篇解决动态图谱的模型EvolveGCN,EvolveGCN思路较为创新但不是目前SOTA的方案,之后会陆续分享TGAT此类解决动态时序图谱的方案。

Motivation

在介绍EvolveGCN之前,对于动态时序图谱,试想一下:我们是不是可以对每个时刻t的图谱用GCN进行建模学习得到Node Embedding,再使用RNN将不同时刻的Node Embedding串联起来学习动态特性,这貌似是一种较为直接简单的方案。但仔细思考,此方案会要求每个时刻node都必须存在,但在有些场景下,每个时刻的Node存在不同。因此EvolveGCN思路便是用RNN去演化每个时刻GCN模型的参数,而不是用RNN串联Node Embedding。

Method

下图便是EvolveGCN模型图,为了实现动态学习主要注意以下三点:

1、每个时间片单独学习一个GCN,每个GCN输入不同体现在图谱的邻接矩阵不同,但在代码实现时必须要求每个时刻的节点是保持一致的,而节点之间的关系存在变动;

2、为了考虑动态图谱联系,用RNN将每个时间片GCN模型参数串起来进行序列学习

3、RNN循环网络采用两种:GRU,LSTM

实现方案一:EvolveGCN-H

EvolveGCN-H版本使用GRU对参数进行串联学习,GUR模型的隐藏状态使用上一时刻的参数

,而GRU的输入当前时刻的节点表征

,更新公式为:

因此Node Embedding

和参数

的更新公式为:

实现方案二、EvolveGCN-O

EvolveGCN-O版本使用LSTM对参数进行串联学习,LSTM模型的隐藏状态使用上一时刻的参数

,同时其输入也是用上一时刻参数的

,更新公式为:

因此Node Embedding

和参数

的更新公式为:

EvolveGCN-H和EvolveGCN-O版本对比

1、串联参数使用的RNN模型不同,EvolveGCN-H使用的是GRU,而EvolveGCN-O使用的是LSTM;2、因为EvolveGCN-O在参数更新时没有使用,因此nodefeature是非常有用时例如人工处理得到的,那使用EvolveGCN-H版本,如果Node feature在图谱结构中不是很重要便可采用EvolveGCN-O版本。

Conclusion

1、实验结果(Link Prediction)

(1)对于数据集SBM、UCI和AS,至少有一个版本的EvolveGCN可以获得最佳结果;

(2)对于数据集BC-OTC和BC-Alpha,EvolveGCN优于GCN和GCN-GRU,但低于DynGEM和Dyngraph2vec

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 图神经网络与推荐系统 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
二十张图看清打工与创业的残酷区别...
来源:free合伙人社区(ID:freepartner) 作者:明辉(微信:aone_lou) 创业与打工, 选择不同, 过程与结果截然不同, 看看你属于哪个阵营? 起点 办公室 睡眠时间 一日三餐
大数据文摘
2018/05/22
4070
三个关于人工智能的残酷真相
走到今天,联想之星大概已经投资了七八十个人工智能项目,从五六年前的技术平台到现在医疗、金融、教育等行业的智能化,我们已经打造了一个超过两三百亿估值的组合。人工智能有非常广阔的前景,人工智能也一定会改变我们的世界。根据这五六年来布局人工智能的经验和教训,我们今天来跟大家谈谈人工智能的残酷真相。 __三个关于人工智能的残酷真相__ 月球车也好,超市机器人也好,无人机也好,看起来高大上,坦率地说,其中有一部分还并没有真正的做出来,还有另一部分现在还只是工程的样机,还只是在初期实验的过程中,还有很多受制于成本、
机器人网
2018/04/12
6750
三个关于人工智能的残酷真相
大数据剖析:算得出数字,算不出人性
这是个“数据为王”的时代,数据失真却远比我们想象的要严重得多。不可否认,互联网的野蛮生长,少不了大数据为文化、生产提供参考和指南,大数据也的确为避免盲目出击立下不少汗马功劳。于是,大数据打着科学的名义,肆无忌惮地入侵我们的生活:淘宝数据暴露了你的消费状况、微信数据透露了你的社交圈子、银行账务交易数据反映了你的金融状态……在某些人眼里,大数据意味着人气和流量,没有数字的搀扶,我们似乎已经寸步难行。 大数据已无孔不入,从商务、体育、医疗到我们生活的方方面面,在蓬勃发展的同时,也面临着异化变形。“大数据押题”代替
BestSDK
2018/03/01
6540
01-沟通之道《人性的弱点》
这本书中诠释了人类有哪些弱点(我理解是人性的特点),只有我们了解了人性的弱点之后才能更好的与他人沟通交流,协作共赢。人在生命中各个阶段扮演不同的角色,意味着和不同的人打交道。人性的弱点中的原则可以指导你的行为,让你在自己人生这一剧本中演好自己的角色。
用户10329080
2023/02/03
5050
01-沟通之道《人性的弱点》
创业者都需要一份商业计划书么?
近期,我们参加了不少初创项目的路演,创业者们的商业计划书一份比一份精美,显然他们在制作商业计划书上都没少下功夫。但由于当前正处于资本寒冬,能拿到融资的小团队初创项目越来越少。
亲民创业网
2018/12/04
9150
程序员并不适合创业,请不要搞什么 “无脑创业崇拜”
我曾写过一篇名为 #我是技术男,也曾创业过,也拿过风投......# 的文章,内容主要是讲述我十年前一次创业失败的血泪史,其目的是为了告诫当下年轻一代的技术小伙伴们 “人生苦短,不要创业”。
吃草的罗汉
2020/01/15
5760
程序员到底是一个什么职业?
为什么有人在技术造神 大家应该已经感受到,技术圈这两年已经和娱乐圈创业圈差不多的氛围了,这其实是有原因的。 最主要的原因是,创业公司和创业媒体越来越多,他们需要大量的程序员投身到创业这个高风险的行业中,而造神,正是让程序员们自动跳进火坑的绝佳办法。不是说程序员不能创业,我是说,创业媒体们故意模糊了创造和创业的界限,把程序员们的创造冲动偷换概念,鼓吹了太多不适合的人去创业。 另一个原因是,招聘成本高涨,CTO 们为了能提升影响力,不得不频频出席各种大会刷脸。文笔好的再做做自媒体和技术社群,既能强化个人品牌提高
老九君
2018/03/06
6840
程序员到底是一个什么职业?
一千个哈姆雷特,一千个手游开发者
曾经在作家协会上课时听知名作家肖克凡老师说过这样一句话:“一个人儿时的经历,决定了他一生的写作基调。”
博文视点Broadview
2020/06/11
3770
说好的人工智能呢?什么时候能用到机器上
“这个机器人怎么那么像玩具?” “连话都说不利索,怎么叫人工智能?” “跟电影里的机器人差远了” “Pepper是不错,不过还是像高科技玩具” 对于正在人工智能领域创业的朋友,都知道自己正投身于一次伟大的革命——工业4.0,但是我们刚刚从智能硬件的泥沼里爬出来,不免发现有些事情非常雷同——————智能硬件在完全到来之前,各种鸡肋的硬件让我们差点以为智能硬件是个“伪需求”;而人工智能到来之前,我们看到的是各种廉价机器人玩具,殊不知这背后,使我们完全混淆了人工智能和“智能加强”这两个概念。 在刚刚翻过的智能硬件
新智元
2018/03/13
7310
说好的人工智能呢?什么时候能用到机器上
真相很残酷
最近很多读者抱怨我的号广告太特么多了,有一个读者说的话特别有意思:你这已经不是原创夹带广告了,是广告夹带原创。
用户6983566
2023/01/14
2920
对于“公司是孩子”,男女创始人的不同心理
创业则是从0到1,创业项目从无到有,成功注册一家公司并开始招人经营的过程很像“十月怀胎”。
庄帅
2019/10/08
3920
对于“公司是孩子”,男女创始人的不同心理
一个残酷现实的问题:程序员除了高薪,你还有什么理由坚持做下去?
科技公司一直都在努力弄清楚如何才能让员工愉快地工作。然而,这并不是一件容易的事。根据我自己的经历,我接触的技术人员平均在一家公司供职的时长为18个月。每当我询问他们的离职原因时,得到的答案通常都是那么几个。
一墨编程学习
2018/10/23
7230
如何把自己的服务打造的更加人性化?
昨天有朋友在微信里联系我,问我啥时候继续更新 Spring Cloud 的文章,我很欣慰,那就来吧~继续撸起!
技术从心
2020/02/25
5260
如何把自己的服务打造的更加人性化?
响铃:校园,何故成为开发者争夺重点?
校园永远是个充满故事令人向往的地方,前有芙蓉姐姐,右有奶茶妹妹,而去年一个余佳文让大家对校园有了新的认识,这位被网友冠以“史上最霸道总裁”的90后CEO在《青年中国说》中霸气放言“明年发一亿利润给员工开心一下”,让他的超级课程表火了一把,也让大家认识到校园是创业者鏖战争夺的市场,尤其在移动互联网浪潮推动下创业者对校园市场的深耕细挖,各类垂直细分市场都展现出重磅应用,“课程格子”“超级课程表”风生水起,相继披露用户已超500万,日活跃用户100万,并先后获巨额投资。社交类应用师兄帮帮忙、黑白校园也是前仆后继打得异常火热,校园成为创业者开发者拼死相博寸土必争的沙场。
曾响铃
2018/08/20
4140
腾讯副总裁马斌:数字星球释放人性光辉
首先,这真的是人类历史上重要一次变革。每次文明演进,从来没有像这次这样如此近距离,让每个人都有可能成为时代变革的力量。
IT阅读排行榜
2018/08/14
3660
Python猫荐书系列之三:《黑客与画家》(文末有彩蛋)
上一期荐书时,我说了有一个巧合,本来计划这期揭晓的,但是,现在有了这个插队的黑客,所以那个巧合就顺延到下期了。今期这本书,说起来也有巧合,我刚读完这本书,本计划下期荐书写写,但是,正好Rocky0429同学也在推荐,于是,我决定先推荐它了。
Python猫
2019/04/10
4580
Python猫荐书系列之三:《黑客与画家》(文末有彩蛋)
编程语言那么多,到底哪款适合你?
来这里找志同道合的小伙伴 刚接触互联网技术时候,相信大家和小编一样都会出现这样的疑问: 编程语言那么多,到底哪一种才适合自己呢? 你可能听见过这样或者是那样子的回答, 但是总觉得云里雾里、似懂非懂…… 小编感觉到了问题的严重性, 决定做出一些改变,事情就这样开始啦。 小编在采访了多位技术大牛之后,做了一份这样的问卷,通过以下的问题你可以知道: 你到底适合学习哪种编程语言。 那么现在,请你认真的回答如下问题: 1、你为什么要学编程? 想让孩子学习 —> 先学 Scratch 入门,再学 Python 想要赚
京东技术
2019/03/14
6530
残酷的是,作为传统IT人的你必须适应云
千万不要认为我还年轻,事实残酷着呢。这样说吧,我现在已经完全能够理解父母对儿时的我做出的那些评论了。也许,这就是我为什么喜欢IT的原因:年龄并不重要。你看,传统的IT人在接近退休时喜欢向周围人炫耀什么
静一
2018/03/23
6050
企业头条查翌:出得厅堂,还须入得厨房 | 创业者说
T客汇官网:tikehui.com 撰文 | 方方 在熙熙攘攘的创业大军中,为数众多的女性勇立潮头,构成了一道美丽风景线。 作为创业美女之一,企业头条创始人查翌认为,站在创业的起点,前方的路还很长,压
人称T客
2018/03/23
6060
怎么选?阿里P7 or 副处级干部?
作者:殇流水  大家好,我是DD。 关于工作的选择,之前跟大家聊过很多了。有我自己经历过的关于互联网公司和银行的选择,也给大家分享过网友在研究所工作的体验,昨天DD看到有群友(点击加群)分享了一篇关于阿里P7和副处级干部的选择,我觉得文章内容不错,也可以给大家一个不错的参考,所以这里分享一下。 以下内容转载自:https://www.zhihu.com/question/341125592,作者:殇流水  先说说我自己的情况,大家就明白为什么我说,看待问题不要一道切,每个地方、每个人情况真的不一样。我坚决反
程序猿DD
2022/03/24
7100
推荐阅读
相关推荐
二十张图看清打工与创业的残酷区别...
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档