前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >StarSpace(embed all the things嵌入表示)编译和测试

StarSpace(embed all the things嵌入表示)编译和测试

作者头像
sparkexpert
发布2022-05-07 15:05:53
5870
发布2022-05-07 15:05:53
举报

  StarSpace是Facebook开源的一个嵌入式表示的库,号称可以embed all things,可以学习任何实体的向量表示。其对应的文章为https://arxiv.org/pdf/1709.03856.pdf,对应的开源代码库为:https://github.com/facebookresearch/Starspace。

  如其主页上所介绍的,StarSpace可以学习到任何实体(单词、句子、文档、用户-网页(推荐类)、关系图、知识图谱、图片)的向量表示,特别是图片,是论文中所没有介绍的。

  论文中提到的向量学习模型,首先将实体定义为bag-of-features,即类似于词袋模型一样。将实体离散化为特征袋,而特征袋相对而言是在一定的词典范围内的,从而实体的向量表示学习有个损失函数,即使得两两实体之间的距离最小。(相似)

StarSpace

StarSpace is a general-purpose neural model for efficient learning of entity embeddings for solving a wide variety of problems:

  • Learning word, sentence or document level embeddings.
  • Information retrieval: ranking of sets of entities/documents or objects, e.g. ranking web documents.
  • Text classification, or any other labeling task.
  • Metric/similarity learning, e.g. learning sentence or document similarity.
  • Content-based or Collaborative filtering-based Recommendation, e.g. recommending music or videos.
  • Embedding graphs, e.g. multi-relational graphs such as Freebase.

 Image classification, ranking or retrieval (e.g. by using existing ResNet features).

下面主要是对源码进行编译,具体过程如下:

(1)make,编译可以直接通过,在此之前需要安装boost_1_63_0版本的C++,编译效果如下图所示:

代码语言:javascript
复制
(2) 例子 examples/classification_ag_news.sh,实现对新闻的分类

学习到的向量如图所示:

(3) 对句子的嵌入

代码语言:javascript
复制
examples/wikipedia_sentence_matching_full.sh

由于采用了1 ngrams,其表示结果如下所示:

表示的向量后,可以进行向量的查找,即querypredict

代码语言:javascript
复制
./query_predict <model> k [basedocs]

(4) 对多关系图的向量表示(知识表示),测试数据为freebase

代码语言:javascript
复制
examples/multi_relation_example.sh

(5) 对文档的嵌入和查找,可以合用embed_doc进行文档的向量表示及时生成

(6)可以实现对图片的向量表示

表示结果如下所示

向量表示之后,将实体转化为向量,可以方便地实现实体的分类等相关操作,如进行可视化可以看出哪些实体比较相似,类似于word2vec的功能。如对cifar10向量表示后采用TSNE进行可视化后,其效果如下:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-01-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • StarSpace
相关产品与服务
灰盒安全测试
腾讯知识图谱(Tencent Knowledge Graph,TKG)是一个集成图数据库、图计算引擎和图可视化分析的一站式平台。支持抽取和融合异构数据,支持千亿级节点关系的存储和计算,支持规则匹配、机器学习、图嵌入等图数据挖掘算法,拥有丰富的图数据渲染和展现的可视化方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档