StreamSets的Logstash源连接器

文章/答案/技术大牛

发布

1回答

streamsets

可以使用Logstash作为起点和Cassandra作为目的地直接构建管道吗？如果不是，最好的方法是什么呢？

浏览 5提问于2016-08-11得票数 1

回答已采纳

1回答

使用Direct Engine REST API的流集。此数据收集器不可访问

connector、streamsets

访问Streamsets连接器时出现错误。如何更改回“使用Websocket隧道？” 我使用Streamsets版本4.1有一段时间了。这解决了一个安全问题，当我想要连接到我们的测试环境，但它使我不能在本地Docker实例中使用Streamsets。我想要将其切换回来，但我找不到配置设置更改的位置。

浏览 26提问于2021-10-26得票数 0

1回答

从MSSQL vis kafka连接器到带有嵌套类型的elasticsearch的大容量数据更新失败

elasticsearch、apache-kafka、apache-kafka-connect、confluent-platform

optional":false "payload":{ "prop":100, "roles":"[{"role":"actor"},{"role":"director"}]"} 失败的原因:"object mapping for [roles] tried to parse field [roles] as object, but found a concrete value&q

浏览 2提问于2020-05-05得票数 0

1回答

将火花流连接到流集输入

streaming、spark-streaming、streamsets

我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。我将探讨是否有其他方法将它们连接到一个示例POC。

浏览 3提问于2016-07-06得票数 3

回答已采纳

3回答

卡夫卡vs StreamSets

ssis、apache-kafka、informatica、streamsets

我读了一些关于卡夫卡和StreamSets的文章，我的理解是现在，以下是我的问题，请帮助澄清卡夫卡和StreamSets的根本区别是什么？是Kafka不移动数据而StreamSets移动数据吗？如果Kafka不移动

浏览 113提问于2019-06-02得票数 10

回答已采纳

1回答

我正在尝试使用streamsets管道将zip文件加载到配置单元数据库，得到以下错误。错误: com.streamsets.pipeline.api.base.OnRecordErrorException: HIVE_30 -无效的列名在com.streamsets.pipeline.api.base.RecordProcessor.process(RecordProcessor.java:52)处注释HIVE_30处的压力我发现问题是源<

浏览 17提问于2020-03-13得票数 0

1回答

对于BI和Hadoop，什么是处理JSON活动流的合适工具？

json、hadoop、android-activity、stream、etl

我希望将传统的SQL datamart用于OLAP，并将原始JSON数据转储到Hadoop中以运行批处理mapreduce作业。我一直在阅读Kafka，Flume，Scribe，S4，Storm和一大堆其他工具，但我仍然不确定哪一个最适合手头的任务。这些似乎要么专注于日志文件数据，要么专注于活动流的实时处理，而我猜我更感兴趣的是在活动流上做ETL。我考虑的设置类型是为我感兴趣的所有流(URL、参数、凭证)提供配置，该工具定期轮询它们，将输出转储到HDFS中，并且还有一个钩子供我处理和转换

浏览 1提问于2013-07-03得票数 2

1回答

在groovy脚本中写入流集sdc

groovy、streamsets

我对Streamset和Groovy非常陌生，我正在将我的“Dev原始数据源”更新为“Groovy脚本”作为我的输入。这里我面临的问题是，我在我的“Groovy脚本”中有下面的代码，它会抛出一个错误。:124) at com.streamsets.pipeline.api.base.configurablestage.DPushSource.produce(DPushSource.java:at com.streamsets.datacollector.runn

浏览 4提问于2022-08-19得票数 0

2回答

在ElasticSearch索引中使用具有多个映射的不同时间域名称

mongodb、elasticsearch、kibana

我使用Mongo-Connector来填充来自Mongo的弹性搜索索引。我想可视化一个条形图在'Col2‘和过滤器使用一个特定的日期范围’> 'Col2'>'startDate‘时间域。是否可以使用startDate作为过滤器？我在_msearch生成的ElasticSearch请求中看到，过滤器是为该索引设置的时间字段(即createdAt)。我找到了一个解决办法，指定createdAt的最后5年，以便不限制这个时间

浏览 3提问于2015-11-18得票数 1

回答已采纳

1回答

如何使用apache flume将数据接收到syslog

syslog、rsyslog

我目前正在检查官方文档，但似乎没有到Syslog的接收器连接器可用。我考虑使用logstash作为替代，因为它同时支持syslog的源和宿。然而，缺点是它不是分布式的和可伸缩的。提前谢谢？

浏览 12提问于2017-02-08得票数 1

回答已采纳

1回答

特殊字符(重音、撇号、换行符)在自定义源代码测试中有效，但在部署到停靠的流集时不再有效

streamsets

我已经编写了一个自定义的Streamsets源文件。有些记录包含像é或ë这样的字符。当运行我的自动化测试时，我可以验证数据是否按照预期以SDC记录列表的形式发出。但是，当我在however化的Streamsets Data Collector上的管道中使用我的自定义原点时，所有这些特殊字符都显示在UI中(预览)，并作为'?‘推送到我的Target。Streamsets是否正在解释我

浏览 4提问于2019-01-22得票数 1

1回答

StreamSets数据收集器是否可以在目标数据库中自动创建表？

sql-server、postgresql、cdc、streamsets

StreamSets数据采集器有没有办法在源库的基础上，在目标库中自动创建表？我正在从一个源: mssql读取数据，并将其写入目标postgresql。如果我对源数据库中的50个表感兴趣，我不想在目标数据库中手动创建这些表。

浏览 2提问于2018-06-11得票数 1

2回答

使用Kafka加载HDFS有哪些选项？

hadoop、apache-kafka、hdfs、streaming

在当前的技术环境中，使用Apache Kafka加载HDFS有哪些选项/解决方案？我在StackOverflow上看了看，但许多问答都过时了。因此就有了这个问题。

浏览 0提问于2018-08-16得票数 1

1回答

数据收集器将SQL源中的位列转换为布尔值

sql、sqldatatypes、streamsets

我们正在使用Streamsets将数据从sql加载到databricks中。当加载到布尔列时，来自源服务器的0和1被转换为False和True。在Streamsets中有没有一种方法可以帮助我在Target中获取1和0，而不是在target中获取布尔值。

浏览 22提问于2021-06-14得票数 0

1回答

Streamsets SQL Server更改跟踪源的奇怪行为

streamsets

我正在尝试使用SQL更改跟踪源来创建数据摄取管道。我已经连接了源，并指定了所有必要的jdbc参数，管道验证成功。(JdbcBaseRunnable.java:217) at com.streamsets.pipeline.lib.executor.SafeScheduledE

浏览 2提问于2018-06-07得票数 2

1回答

在StreamSets数据收集器中使用反引号/反引号处理特殊字符

streamsets

我的源字段有特殊字符，需要用反引号括起来。Source - ahj@#我如何在StreamSets中实现这一点--包括列名？

浏览 5提问于2020-03-16得票数 1

2回答

阐明弹性搜索的有用性

ruby-on-rails、elasticsearch、couchdb

我对ElasticSearch的用法有点困惑。我现在有一个带有关系数据库(Mysql)的应用程序(Ruby on Rails)，我正试图从ElasticSearch提供的搜索功能中获益。我仍然想像以前一样使用我的关系数据库，但我只想使用ElasticSearch进行搜索。因此，我可以使用ES作为辅助存储吗？如何告诉我的应用程序总是将数据从Mysql复制到ES？这里有什么最佳实践吗？我还听说couchdb很适合搜索，它是ES的替代品还是提供了不同的功能？

浏览 4提问于2016-12-06得票数 0

1回答

Elasticsearch/Logstash错误: com.mysql.jdbc.Driver未加载-无法在服务器上定位mysql-连接器-java-5.1.36-bin.jar

elasticsearch、jdbc、amazon-ec2、logstash

我试图在AWS EC2服务器上安装Logstash的jdbc，以便查询MySQL数据库。Logstash正在工作，但我无法让JDBC插件工作。当我运行Logstash时，会得到以下错误： [ec2-user@ logstash]$ su

浏览 1提问于2019-03-13得票数 4

回答已采纳

2回答

JBoss/WildFly Logstash

jboss、logback、logstash、wildfly

我很难把我们的野生蝇日志放到我们的Logstash/Kibana服务器上，Wildfly在Ubuntu AWS服务器上，以及logstash/kibana上 file { path => "/home/ubuntu/app/log/logs

浏览 0提问于2014-05-07得票数 1

点击加载更多