这是我的代码： es_write_conf = { ¦ "es.port" : ES_PORT, ¦ "es.input.json": "true"
浏览 23提问于2019-03-17得票数 1
回答已采纳
我正在尝试将Kafka Stream转换为RDDs，并将这些RDDs插入到Elasticsearch数据库中。这是我的代码：sc = SparkContext(conf=conf) "es.nodes)
ssc.awaitTermination()
saveAsNewAPIHadoopFile函数应该将这些
浏览 0提问于2016-12-30得票数 1
内部: org.apache.spark.SparkException ( java.util.ArrayList类型的数据不能使用)重复1 conf={ "es
浏览 5提问于2015-07-14得票数 4
我不知道如何使用spark中的python为elasticsearch编写数据格式。我跟随着的脚步。= customSchema)
kpi1 = sqlContext.sql("SELECT * FROM data")
es_conf= {"es.nodes" : "10.10.10.10","es.port" : "9
浏览 8提问于2016-09-18得票数 5
2回答
初学者在这里提问从研究来看，我认为我需要使用方法。然而，在和中进行深入研究，我仍然有点困惑于参数需要采用什么格式，以及为什么
注意，我使用的是pyspark，这是ES的一个新表(不存在索引)，df是5列(2种字符串类型，2种长类型，1列ints)，包含大约
浏览 3提问于2017-10-16得票数 8
回答已采纳
0回答
我可以使用以下命令查看elasticsearch数据库中第一个RDD的内容：>>>(u'1', {u'name': u'john'})name=kvs.map(lambda x: x[1])>>>>robert
我打算用"robert“替换rdd "name"：&qu
浏览 3提问于2016-12-30得票数 1
我们目前使用saveAsNewAPIHadoopDataset()通过Spark RDDs (pyspark)将数据导入到HBase表中。
此函数是否通过mapreduce使用HBase批量加载功能？换句话说，直接导入到HBase的saveAsNewAPIHadoopDataset()是否等同于使用saveAsNewAPIHadoopFile()将Hfiles写入HDFS，然后调用org.apache.hadoop.hbase.mapreduce.Lo
浏览 5提问于2015-08-24得票数 3
我目前正在研究如何将旧的ES集群迁移到受ILM管理的https://www.elastic.co/guide/en/elasticsearch/reference/master/data-streams.html如果写操作无论如何都要写入当前的写索引，那么ES为什么要关心@timestamp字段呢？
浏览 457提问于2021-07-09得票数 1
1回答
我试图弄清楚如何使用自定义路由(多租户方案)创建一个每月滚动索引，并满足以下要求：READ :请求必须路由到所有备份索引。请求将具有指定的自定义路由密钥(例如：customerId)，结果必须聚合并返回。
索引创建:滚动索引应该是自动化的。
浏览 19提问于2022-10-03得票数 0
回答已采纳
我在一个序列容器中有超过40个独立的数据流任务。我试过这个方法：
此方法有效，但我必须继续为容器中的每个数据流任务添加脚本任务。是否有一种方法可以让这个脚本在每个数据流任务完成后自动执行，并写入每个数据流
浏览 0提问于2012-10-22得票数 0
回答已采纳
我们使用Spark Streaming将数据写入ElasticSearch，并通过JavaPairRDD (Spark 1.6.0)的saveAsNewAPIHadoopFile方法将数据写入Java。如前所述，我们使用的是Spark 1.6.0和ElasticSearch 2.0.0。
浏览 0提问于2016-09-15得票数 0
2回答
ELK将数据流转换为常规索引
、、、、
我想使用常规索引而不是datastream，但是不能从Kibana UI中删除/更新它，也不能借助直接ES调用来删除/更新它。200] would cause data streams [logstash-2020.12.24] to no longer match a data stream template"删除数据或基础索引( recreated)delete索引模板用于创建数据streamreassign索引模板以指向某个虚拟索引，然后删除上面的(错误))如何迁移
浏览 10提问于2020-12-24得票数 0
上下文是，我正在使用pyspark，用1k、10k、50k、500k、1m记录索引RDDs到ElasticSearch (ES)。将spark.driver.memory提高到大约4gb，我可以索引更多。然而，这将持续多久是有限度的，我们希望索引在500 K，1米，5米，2000万记录。to_index_rdd.saveAsNewAPIHadoopFile(
path=&#
浏览 0提问于2017-11-30得票数 1
在流数据流管道中，如何动态地更改写入云存储的存储桶或数据前缀？
例如，我希望将数据存储到GCS上的文本或avro文件，但前缀中包含处理时间。更新：这个问题是无效的，因为在写入Google的流数据流中没有接收器可以使用。
浏览 3提问于2016-11-10得票数 0
回答已采纳
我将ES集群部署到access，它可以通过应用程序负载均衡器进行访问。我已经在集群中创建了一个索引。我将部署一个Kinesis来使用http_endpoint作为将数据流到ES集群的目标。但是，我如何配置http谓词消防喉用于将数据放入ES端点呢？例如，我的ES端点是http://xxxx.com/myindex，我希望消防软管向这个端点发送POST请求。如何将其配置为
浏览 2提问于2021-06-15得票数 3
当通过数据工厂映射数据流引用时，我在使用参数化数据集时遇到了问题。CSV文件的结构将传递给SQL Server存储过程，该存储过程将查找与CSV文件具有相同结构的视图。然后，将读取CSV文件的内容并将其写入SQL
浏览 1提问于2019-11-02得票数 4
我使用influxDB已经有一段时间了，但从来没有连续使用过它的数据流。一个简单的GET /query就足够了。但现在我需要一种方法来将数据流式传输到前端，以绘制漂亮的图表等。到目前为止，我们已经从前端周期性地运行了GET /query，但是效率非常低。我更愿意让连接保持打开状态，并在数据写入数据库时接收数据。
浏览 20提问于2020-01-09得票数 5
回答已采纳
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的数据流作业，以便使用for循环将</e
浏览 22提问于2016-08-11得票数 3
回答已采纳
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
我是AWS cloudformation的新手，需要创建一个Kinesis数据流，然后使用python代码将记录写入此数据流。我可以通过cloudformation模板创建数据流，但不能设置权限。我将如何附加一个权限，以允许某些用户组使用python库写入此kinesis数据流？
浏览 25提问于2019-04-23得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号