我正在运行一个简单的Kafka对接实例,并试图将数据插入Elasticsearch实例,但是我看到了这种异常:
[2018-01-08 16:17:20,839] ERROR Failed to execute batch 36528 of 1 records after total of 6 attempt(s) (io.confluent.connect.elasticsearch.bulk.BulkProcessor)
java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream
我使用[java] kafka-producer将数据推送到kafka-topic x,使用[java] high level consumer/bulkProcessor从主题x读取数据,并使用索引数据将数据推送到elasticsearch。制片人每次推出10个文档。当我在运行producer之后第一次启动bulkProcessor的java代码时,我只看到9条记录被推送到ES中,全部都是使用"_version": 1的。第十项记录不在ES中。
但是,beforeBulk()和afterBulk()方法在某种程度上显示了后续的结果。
Going to execute new
我注意到,如果我想将数据大量发送到elasticsearch中,可以使用BulkIndexer。如Elastigo文件中所述
大容量索引器创建大猩猩,以及使用缓冲区将数据大量连接和发送到elasticsearch的通道。
要批量插入的弹性代码
var c_es = elastigo.NewConn()
var indexer = c_es.NewBulkIndexer(50)
func insertInBulkElastic(){
//Create a custom error function when inserting data into elasticsearch
当我试图用./elasticsearch命令启动elastic search 5.0时,我得到了下面的错误。
[2016-11-23T13:44:09,507][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
at org.elasticse
从SonarQube 6.5升级到6.6后,获取elasticsearch“无法以根用户身份运行”错误。其他的都没变。
Java6.8版(最终版) CentOS (TM) SE运行时环境(内部版本1.8.0_101-b13)
java.lang.RuntimeException: can not run elasticsearch as root
at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:106) ~[elasticsearch-5.6.2.jar:5.6.2]
我正在尝试在我的linux机器上运行Elasticsearch 5.2.1,我是它的root用户。
当我试图执行Elasticsearch时。我得到了以下错误,
[2017-03-15T03:26:18,976][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [elk_data1] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elastic
我尝试启动Elasticsearch并失败,我检查了日志并获得了以下错误:
[...][WARN ][o.e.b.JNANatives ] unable to install syscall filter:
java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed
at org.elasticsearch.bootstrap.Sy
我犯了一个错误,试图将我的elasticsearch版本从6.3.2升级到7.2.0。
我用新版本启动了我的容器,但我意识到kibana不再有效。
因此,我决定将elasticsearch降级到6.3.2,以获得快速修复,但它仍然不起作用。我得到了以下错误:
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
OpenJDK 64-Bit Server VM warning
我有一个非常简单的bash脚本,它每分钟运行一次cron作业。它会记录到文件中。一切正常,但有一件事很奇怪。脚本同时生成多个日志。我不明白这怎么可能。这是密码。
#!/bin/bash
# -c returns number of lines in grep result
isActive=$(systemctl status elasticsearch | grep "active (running)" -c)
if (( $isActive == 0 ))
then
systemctl start elasticsearch
timestamp=$(
在更改部署在K8s中的Elasticsearch配置时,我遇到了麻烦。我想为我的Elasticsearch节点应用这个配置。
# Force all memory to be locked, forcing the JVM to never swap
bootstrap.mlockall: true
## Threadpool Settings ##
# Search pool
threadpool.search.type: fixed
threadpool.search.size: 20
threadpool.search.queue_size: 100
# Bulk pool
thr