问Gremlin:在不损失性能的情况下避免重复
EN

Stack Overflow用户

提问于 2021-03-12 08:41:05

回答 1查看 85关注 0票数 0

我试图用gremlin python在最短的时间内插入数百万个顶点和边。我有两件事要考虑:避免顶点和边的重复，避免花费10个小时来插入所有数据

请求的主要时间是查找现有顶点和创建关系。如果我在不检查顶点是否已经存在的情况下插入边，脚本会更快。

我还尝试了批处理事务，如下所示：

g.addV("person").property("name", "X").as_("p1")
 .addV("person").property("name", "Y").as_("p2")
 .addE("has_address").from("p1").to(g.V().has("address", "name", "street"))
 .addE("has_address").from("p2").to(g.V().has("address", "name", "street2")).iterate()

但是我并没有提高性能。

使用重复项，我在查询中会有相同的结果吗？我想以后有重复的查询会更贵，不是吗？

谢谢。

python

performance

duplicates

gremlin

回答 1

Stack Overflow用户

发布于 2021-03-12 11:22:50

我对你上一个问题的answer提供了一些关于如何“快速”加载数据的提示，现在我知道你的大小是数百万，我希望你能考虑这些策略。

如果您碰巧继续使用Gremlin和Python加载，请考虑以下几点：

我不确定你的重复项是从哪里产生的，但我会寻找机会清理那些源数据，并组织它和加载计划，以避免在一开始就加载它们，这将节省你以后的清理工作。我不能说重复是否会在你的查询中留下相同的结果，因为我不知道你的数据，也不知道你的查询。在一些图表和查询中，我知道重复是不相关的和期望的，而在另一些情况下，它可能是一个disaster.
Definitely，尝试在我在另一个答案中建议的blog post中将您的负载组织成批处理模式。这种方法比构建巨大的链式Gremlin遍历更快，在项目1中填充了成百上千的addV()和addE().
Related，您已经看到了在插入之前查找图元素的性能痛苦。考虑以避免重复顶点查找的方式对数据进行预排序。也许一种方法是首先加载所有顶点，以便您知道它们的存在，然后对边加载进行分组/排序，这样您就可以找到顶点一次，然后加载vertices.
Finally，邻域中的所有边。如果您可以计算出1和3，那么也许您可以并行化加载。

再说一次，在这种论坛上不可能真正提供细节，但也许这些想法会激励你找到答案。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66596682

复制

交易系统使用storm,在消息高可靠情况下，如何避免消息重复

其他

概要：在使用storm分布式计算框架进行数据处理时，如何保证进入storm的消息的一定会被处理，且不会被重复处理。这个时候仅仅开启storm的ack机制并不能解决上述问题。那么该如何设计出一个好的方案

intsmaze-刘洋

2018/08/29

6170