ES写入性能 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

是否可以使用AWS R53复制流量数据？

amazon-web-services、elasticsearch、amazon-route53、apm

目前，我有APM服务器的R53记录，它正在向ES写入数据。我想要创建另一个ES集群，我希望首先检查新集群的性能。为此，我想用APM服务器创建另一个实例，它将使用新的ES端点。是否可以将相同的数据从R53发送到旧的和新的APM服务器实例，以便在ES中具有相同的数据以进行性能测试？

浏览 0提问于2021-03-31得票数 0

回答已采纳

1回答

Spark + Elastic search写入性能问题

apache-spark、elasticsearch、elasticsearch-hadoop、elasticsearch-spark

看到使用spark java的elasticsearch写入次数很少。对ES集群使用13.xlarge机器es.batch.size.entries - 10000在此配置中，我尝试加载100万个文档(每个文档的大小为1300Bytes)，因此它在每个ES节点上加载500条记录/文档。有没有办法让Spark发送适当数量的数据来加快<e

浏览 3提问于2017-10-18得票数 1

4回答

3 TB驱动器的SAS或SATA？

hard-drive、sata、sas

AFAIK，SAS通常比SATA提供更好的性能，但是搜索我发现的Seagate Constellation 2和星座ES.2硬盘审查文章中的基准。从性能的角度来看，可以推荐什么，是SATA还是SAS？现实世界的表演可以接受吗？我们系统的工作负载是沉重的多线程顺序写入和擦除，偶尔随机读取访问。

浏览 0提问于2011-08-16得票数 9

回答已采纳

1回答

在微服务风格中使用elasticsearch实现CQRS的最佳实践是什么？

postgresql、elasticsearch、data-structures、elastic-stack、cqrs

浏览 0提问于2021-02-07得票数 3

1回答

限制从Apache Spark到ES的写入

apache-spark、elasticsearch、throttling

在我们的项目中，我们使用Apache Spark来写入ES。我们运行多个并行写入ES的spark作业。我们处理的数据量太大，导致写入吞吐量高达约5K写入/秒。我们希望限制ES写入，以便将其降低到500到1000写入/秒的范围。我们遇到过像es.batch.size.bytes和es.batch.size.entries这样的ES配置，但我们不确定这些配置如何与A

浏览 15提问于2020-07-20得票数 1

1回答

saveJsonToEs会花费太多时间来处理每个元素，即使节点没有超载

apache-spark、elasticsearch

ES_BATCH_SIZE_BYTES = 1mb,ES_BATCH_WRITE_REFRESH = false,ES_BATCH_WRITE_RETRY_WAIT = 30s 。

浏览 4提问于2017-07-18得票数 4

回答已采纳

0回答

OpenGL ES、Z缓冲区、2D精灵、丢弃、性能

performance、opengl-es、2d、shader、alpha

好的，但默认情况下，即使alpha为零，也会写入Z缓冲区，从而产生如下所示的效果： discard;有没有其他不会影响性能的解决方案？是否所有2D游戏都会

浏览 5提问于2016-07-05得票数 0

1回答

在不启用动态脚本的情况下在elasticsearch中运行脚本

elasticsearch

事实证明，启用动态脚本对我们的服务器来说代价很高。如何在不启用动态脚本的情况下运行脚本？

浏览 0提问于2015-11-27得票数 0

1回答

在数据庞大时导入或更新elasticsearch

elasticsearch、indexing、bulkinsert、bulkupdate

我需要根据以下工作流程决定是使用elasticsearch import还是update/upsert。每天，我们以纯文本文件的形式从Hadoop收集大约200 we的日志和分析数据。将200 is数据导入到新索引中。我们正在使用elasticsearch-php SDK来处理批量导入，如果该信息可以提供帮助的

浏览 21提问于2018-02-14得票数 0

1回答

关于Elasticsearch的查询

database、elasticsearch、scalability

对于每个新用户，服务将生成唯一的用户id并将其写入数据库。数据库根据生成的唯一用户id进行分片。我的问题是： --这里的ES能带来什么样的性能呢？--这里我尝试使用ES作为提供多个键的memcache替代方案。所以我希望所有的数据集都在内存中，而不需要是持久的。ES是做这件事的

浏览 1提问于2013-12-13得票数 0

1回答

哪个节点应该用于ElasticSearch的连接？

elasticsearch

我阅读了文档并创建了ES集群，该集群由一个主节点和两个数据节点组成：...node.ingest: true我的主要问题-连接到ES时应该使用哪个节点？我认为应该是Master节点，但是，我也可以连接到Data节点。

浏览 37提问于2019-10-29得票数 2

回答已采纳

1回答

编写大量elasticsearch

elasticsearch

我在一大盒亚马逊ec2上运行ES。threadpool.bulk.type: fixedthreadpool.bulk.queue_size: 2000 但我希望写入性能为有人能建议如何配置一个重写优化的ES集群吗？

浏览 3提问于2014-01-08得票数 4

1回答

是否可以将es.batch.write.retry.count设置为零值

apache-spark、elasticsearch、pyspark、apache-spark-sql

我只想停止spark作业，如果在向ES写入数据时发生任何异常。有一个配置es.batch.write.retry.count的默认值是3。我们可以设置es.batch.write.retry.count =0，这样如果按照我的要求发生故障，spark数据帧写入ES就会停止吗？

浏览 16提问于2019-11-29得票数 1

1回答

我在一个5节点的elasticsearch集群上获得了糟糕的性能。这项任务花费了5小时。星火集群有150个核心10倍(15 CPU，64 RAM)。在/etc/elasticsearch/jvm.options中配置 writeDFToEs(whole_df, "main-indexDataFrame, index: String) = { .format("org.elasticsearch.sp

浏览 2提问于2022-11-02得票数 1

回答已采纳

1回答

使用Scan和Scroll时Elasticsearch批量写入较慢

elasticsearch

我正在尝试解决一个问题，我必须输出Elasticsearch文档并将它们写入csv。文档数量从5万到500万不等。我遇到了严重的性能问题，我感觉我在这里遗漏了什么。现在，我有一个包含400,000个文档的数据集，我正在尝试对其进行扫描和滚动，并最终将其格式化并写入csv。但是输出所需的时间是20分钟！这太疯狂了。elasticsearchimport elasticsearch.helpers as helpers eselast

浏览 0提问于2015-10-14得票数 0

1回答

如果存在这样的文档，如何跳过索引文档？

apache-spark、elasticsearch

我使用Spark将大量数据写入Elasticsearch。但它们中的一些(有时大多数)是在此上下文中具有相同id的重复文档。由于将数据写入ES需要花费很多时间，我想知道如果文档的id已经存在于ES中，如何跳过索引？像这样： continue doc.index(ES)

浏览 2提问于2017-02-21得票数 0

1回答

从OpenGL ES 1.1升级到ES 2只是为了解决性能问题

performance、opengl-es

我读了很多关于从ES1.1到ES2的利弊的文章，我只想澄清一件事。我做的游戏，使用ES 1.1，在一些设备上有性能问题(运行缓慢和低FPS)，我只想知道如果我对ES 2进行更改会有帮助吗？我不想让它变得更有趣，也不想改变效果，只是简单地提高性能。

浏览 0提问于2012-07-20得票数 1

1回答

从Spark流作业写入多个ES接收器

apache-spark、elasticsearch

我正在使用Spark streaming来处理Kafka队列中的大量数据，我需要将结果写入设置的两个ES集群。我在我的项目中使用了"org.elasticsearch.elasticsearch- spark -XX“，并且能够通过使用EsSpark.saveJsonToEs()方法写入一个ES集群，该方法在内部从不可变的spark上下文中获取ES的特定属性。因此，如果spark上下文是不可变的，我如何在运行时更改属性并将结果写入多个ES集群。

浏览 2提问于2020-01-09得票数 0

2回答