wordpress   发布时间:2022-04-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了windows上使用logstash-input-jdbc大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

  (一)安装logstash 下载链接  选择下载你要的对应的logstash版本,这个东西解压就能使用了 (二)安装logstash-input-jdbc 就是用执行logstash-plugin.bat install logstash-input-jdbc,linux上其实也是大同小异 (三)mysql数据库 在mysql中创建一个可以用于测试的数据库 执行以下脚本,创建一个表: crea

 

(一)安装logstash

下载链接  选择下载你要的对应的logstash版本,这个东西解压就能使用了

(二)安装logstash-input-jdbc

windows上使用logstash-input-jdbc

就是用执行logstash-plugin.bat install logstash-input-jdbc,linux上其实也是大同小异

(三)MysqL数据库

MysqL中创建一个可以用于测试的数据库

windows上使用logstash-input-jdbc

执行以下脚本,创建一个表:

create table testtable (PersonID int,LastName varchar(255),FirstName varchar(255),City varchar(255),Date datetime(6)); 

可以看到:

windows上使用logstash-input-jdbc

往表中插入数据:

INSERT INTO testtable (PersonID,LastName,FirstName,City,Date)
VALUES (4005,Kallis,Jaques,Cape Town,2016-05-23 16:12:03.568810);
INSERT INTO testtable (PersonID,Date)
VALUES (4004,Baron,Richard,2016-05-23 16:12:04.370460);
INSERT INTO testtable (PersonID,Date)
VALUES (4003,McWell,Sharon,2016-05-23 16:12:06.874801); 

结果:

windows上使用logstash-input-jdbc

 

(四)将数据导入es

Logstash 配置

在logstash文件夹中,我们要有一个logstash.conf文件,该文件是要配置并运行以获取必要结果的文件

logstash.conf如下(注意:windows下的文本编码需要为ANSI,否则运行将会出错,另外注意是"hosts",我这边如果写成"host"会出错,另外下面长长的一段连接后面是我加上去的,如果不加上去,运行的时候会报时间什么的错误MysqL驱动要跟你的MysqL数据库版本对应起来,否则会出错):

input {
    jdbc {
        jdbc_connection_string => "jdbc:MysqL://localhost:3306/logstash_jdbc_test?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC"
        jdbc_user => "root"
        jdbc_password => "123456"
        jdbc_driver_library => "D:\logstash-5.3.1\mysql-connector-java-8.0.13\mysql-connector-java-8.0.13.jar"
        jdbc_driver_class => "com.MysqL.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        statement_filepath => "D:\logstash-5.3.1\bin\jdbc.sql"
        schedule => "* * * * *"
        type => "jdbc"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "test-migrate"
        document_type => "data"
        document_id => "%{person_id}"
    }
    stdout {
        codec => json_lines
    }
}

 jdbc.sql内容如下:

windows上使用logstash-input-jdbc

 

然后你系统上要有elasticsearch以及安装一个elasticsearch-head方便查看数据。

在上面的配置文件中,提到了许多参数,例如:JDBC连接器应检查哪个数据库的数据,JDBC插件的位置,MysqL访问的用户名和密码以及查询语句。将上述设置应用于“logstash.conf”文件后,通过键入以下命令运行:

logstash.bat -f logstash.conf

即可启动监听,然后你会发现你的数据已经导入到es之中,而且insert和update的时候也会同步进去。

 我将Sharont改为SharontTest,你会发现es之中也已经同步进去了:

windows上使用logstash-input-jdbc

大佬总结

以上是大佬教程为你收集整理的windows上使用logstash-input-jdbc全部内容,希望文章能够帮你解决windows上使用logstash-input-jdbc所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: