无法通过Logstash将数据从MS Sql Server传输到ElasticSearch
Logstash是一个开源的数据收集引擎，它可以从各种来源收集、转换和发送数据。然而，Logstash本身并不直接支持从MS SQL Server传输数据到Elasticsearch。但是，我们可以通过以下步骤实现将数据从MS SQL Server传输到Elasticsearch：
- 安装和配置Logstash：首先，需要安装和配置Logstash。可以从Elastic官方网站下载并安装Logstash，并根据需要进行配置。
- 配置MS SQL Server输入插件：Logstash提供了一个名为"jdbc"的输入插件，可以用于从关系型数据库中读取数据。通过配置该插件，可以连接到MS SQL Server数据库并读取数据。
- 配置Elasticsearch输出插件：Logstash还提供了一个名为"elasticsearch"的输出插件，用于将数据发送到Elasticsearch。通过配置该插件，可以指定要将数据发送到的Elasticsearch集群。
- 编写Logstash配置文件：在Logstash的配置文件中，需要定义输入插件和输出插件的配置。配置文件应包括连接到MS SQL Server数据库的详细信息，以及将数据发送到Elasticsearch的详细信息。
- 运行Logstash：使用命令行工具运行Logstash，并指定配置文件的路径。Logstash将根据配置文件中的设置，从MS SQL Server读取数据并将其发送到Elasticsearch。
需要注意的是，以上步骤仅提供了一个基本的框架，具体的配置和参数设置可能因实际情况而异。此外，还可以根据需求使用其他工具或插件来增强数据传输过程的性能和功能。
腾讯云提供了一系列与云计算相关的产品，其中包括数据库、服务器、人工智能等。对于数据传输和存储，推荐使用腾讯云的云数据库 TencentDB 和对象存储 COS。您可以通过以下链接了解更多关于腾讯云产品的信息：
- 腾讯云数据库 TencentDB：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储 COS：https://cloud.tencent.com/product/cos
相关·内容
我正在尝试通过Logstash将MS Sql Server数据与ElasticSearch同步。我正在按照Elastic文档中的建议设置配置。所有的东西(MS、ES和LogStash)都安装在CentOS 7环境下的同一台服务器上 我已经尝试用它来设置与我的JDK(1.8.0_131)兼容的每一个可能的JDBC Jar。下面是我的SQL.conf： input { jdbc
浏览 9提问于2019-09-03得票数 1
回答已采纳
1回答
我有一个与logstash和elasticsearch有关的问题。
当我试图通过logstash将日志从远程计算机发送到我的elasticsearch服务器时，就可以创建索引。但是，当我试图通过logstash从承载elasticsearch的服务器发送日志时，没有创建索引，什么也没有发生。DATESTAMP:processTimeStamp} %{GREEDYDATA} : %{GREEDYDAT
浏览 1提问于2014-03-24得票数 0
我正在尝试将我的表数据从MSSQL服务器复制到elasticsearch，在浏览了一些文档之后，我为logstash编写了配置文件，当我从命令提示符运行该文件时，我得到以下消息：
我在aws中有MSSQL数据库.jdbc_pass
浏览 0提问于2019-04-02得票数 0
回答已采纳
1回答
同步SQL Server和弹性搜索的方法是什么，以SQL Server作为主数据库，并通知elasticsearch任何新的添加/更新/删除记录。我知道有一条河流是不推荐的，我知道将数据从SQL Server导出到elasticsearch的logstash，但是这些不能解决这个问题。
有人能帮忙吗？
浏览 2提问于2017-12-19得票数 0
我正在尝试将一些数据从MS服务器迁移到Elasticsearch。我在网上看到了使用JDBC & Logstash的各种资源，但是我想找到一种使用ODBC连接来完成整个过程的方法。我在MS Access中使用ODBC连接到SQL服务器数据库。
如果使用JDBC是唯一的选择，是否有一种方法可以使用ODBC? changes/implementations?将MS Access中的<e
浏览 0提问于2021-01-22得票数 0
我想要将数据从LogStash流式传输到MS SQL Server工作表，其架构类似于：)
我希望[Data]字段包含来自LogStash的整个消息，并将其序列化为JSON字符串，并且不希望半途而废地使用sprintf
浏览 3提问于2018-09-06得票数 0
"true" }filter {output { elasticsearch{ index => "shops" }
我想使用Logstash导入Ela
浏览 2提问于2015-07-28得票数 12
我想把我的日志(例如/path/to/workdir/logs/django.log)发送到elasticsearch。
浏览 2提问于2019-10-24得票数 2
回答已采纳
当我搜索时，我只找到了显示logs、logstash、beats、elasticsearch和kibana都在一起的设置的教程。
浏览 13提问于2020-01-07得票数 4
回答已采纳
我的公司网站使用mysql数据库。我们的一个客户只是试图利用我们的API，却只能以MSSQL .bak文件的形式向我们提供数据，我一直在尝试使用内置的迁移工具导入该文件，但没有成功。
浏览 19提问于2019-06-18得票数 0
我们的组织使用Elastic Logstash & Kibana (ELK)，并使用SQL Server数据仓库进行分析和报告。我们希望将ELK中的一些数据项复制到数据仓库中。我发现有很多网站描述了如何将SQL Server数据加载到ELK中。然而，我们需要走另一个方向。如何将数据从ELK传输到SQL
浏览 13提问于2017-08-29得票数 4
我们公司使用elasticsearch和Logstash。我需要开源的PaaS或SaaS工具来导入数据从Elasticsearch到Oracle / SQL server数据库。如果你有任何已知和可用的建议，我将很高兴。(另外，我尝试过优化Apache Nifi，但它并不是很有用。)
浏览 5提问于2020-03-03得票数 0
1回答
嗨，我已经创建了一个日志配置文件，计划每5分钟将数据从MSSql服务器传输到Elasticsearch，我使用windows使用.\ logstash -7.2.0 bin\ logstash -f logstash.conf.txt运行我的logstash应用程序input {jdbc_driver_library => ""
jdbc_d
浏览 0提问于2020-01-10得票数 0
回答已采纳
1回答
我使用elastic search 2.0，我使用logtash将数据放入es集群.The数据大小为98 to，使用此配置脚本几乎需要一天时间 # The name of the driver class forsql s
浏览 0提问于2017-01-05得票数 0
我试图安装麋鹿堆栈在最后几天，但不幸的是，我无法使它工作。
server.port: 5601
安装logstash，在conf.d. d下创建logstash.conf我试图通过邮递员将一些数据</e
浏览 3提问于2017-04-10得票数 1
我可以通过tcp将日志发送到logstash，然后在kibana中查看。但我无法实现发送日志的文件节拍设置。它看起来像是在发送数据，但在elasticsearch上看不到。elasticsearch:elasticsearch docker.elastic.co/kibana/kibana:7.5.2 Logstash： docker run -d -p 5044:5044-p 5000:5000 -h
浏览 155提问于2020-01-27得票数 0
在我目前的项目中，我每天都要将数据从MS Access传输到Sql Server2008标准版。当然，我可以使用将Access数据库转换为Sql Server数据库，但问题是我必须每天一次又一次地这样做，才能不断更新我的sql server数据库。那么有没有办法写C#程序把数据从MS ACCE
浏览 0提问于2010-09-29得票数 3
回答已采纳
我使用Logstash将日志数据发送到Elasticsearch数据库。我希望将碎片的数量从3更改为1，并通过ES REST发出以下命令：{
"template": "logstash",然后，我使用输出集启动logstash，将</e
浏览 0提问于2014-09-03得票数 1
回答已采纳
5回答
每次我在谷歌上搜索这个，我都会发现“河”的方法已经被弃用了。如果这是一个有用的信息，我正在使用Dapper。
浏览 1提问于2017-08-16得票数 13
1回答
结构化流式传输指标性能？
、、、
将queryProgress输出到文件或Kafka的最好方法是什么？
在spark streaming和spark structured之间比较性能(速度、输入、输出记录)的有效方法是什么？
浏览 1提问于2018-05-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
