前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >spring boot 集成kafka ,并且实现 发送信息,进行消费信息(亲测有效)

spring boot 集成kafka ,并且实现 发送信息,进行消费信息(亲测有效)

作者头像
一写代码就开心
发布2024-05-25 12:12:44
870
发布2024-05-25 12:12:44
举报
文章被收录于专栏:java和pythonjava和python
目录

  • 1 目标
  • 2 实现

1 目标

有一个spring boot 项目,现在要集成kafka ,并且要实现 生产者,消费者信息;

前提是我们要有一个kafka 软件,也就是kafka 是一个软件,我们得安装成功,并且可以访问

kafka windows版本的下载安装,并且本地使用(亲测有效)

以上安装成功之后,我们可以使用软件链接一下,确保我们安装这个软件成功

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

显示绿色,就是链接本地的kafka 成功

2 实现

既然本地kafka 已经安装成功,接下来我们自己的springboot 项目要集成这个kaffa ,其实和我们项目集成redis 操作一样

第一步,加入依赖

代码语言:javascript
复制
        <!--        kafka-->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.5.4.RELEASE</version>
        </dependency>

第二步,yml 里面添加配置

代码语言:javascript
复制
spring:
  kafka:
    # kafka 所在IP 与 端口
    bootstrap-servers: 127.0.0.1:9092
    producer:
      retries: 3  # 重试次数
      batch-size: 16384 # 批量大小
      buffer-memory: 33554432 # 生产端缓冲区大小
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      # earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
      # latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
      auto-offset-reset: earliest
      # 是否自动提交offset
      enable-auto-commit: true
      # 提交offset延时(接收到消息后多久提交offset)
      auto-commit-interval: 1000
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

第三步,写生产者与消费者

在这里插入图片描述
在这里插入图片描述

以后我们的controller 或者 service 就调用生产者,消费者写好之后就自动监听信息,并且进行处理信息了,也就是把我们的业务逻辑写到消费者里面就可以

生产者里面的代码

代码语言:javascript
复制
package com.jing.db2word.postgresql.kafka.producer;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.apache.tomcat.util.bcel.Const;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

/**
 * 发送者
 * */
@Slf4j
@Component
public class Producer {
    private ObjectMapper objectMapper = new ObjectMapper();
    @Autowired

    private KafkaTemplate<String, Object> kafkaTemplate;


    /**
     * 封装一下 发送信息的底层逻辑,只是topic 不一样
     * @param obj  发送的具体信息
     */
    public void geojsonSync(Object obj) {
        try {
            sendMsg("jing-test", objectMapper.writeValueAsString(obj));
        } catch (JsonProcessingException e) {
            log.error("jing-test  ===> 发生异常:", e);
        }
    }


    /**
     * 底层发送信息
     * @param topic 主题
     * @param message  具体信息
     * */
    public void sendMsg(String topic, Object message) {

        if (!StringUtils.isEmpty(topic)) {
            kafkaTemplate.send(topic, message).addCallback(success -> {
                // 消息发送到的分区
                int partition = success.getRecordMetadata().partition();
                // 消息在分区内的offset
                long offset = success.getRecordMetadata().offset();
            }, failure -> {
                log.error("发送消息失败:" + failure.getMessage());
            });
        }
    }
}

消费者里面的代码

代码语言:javascript
复制
package com.jing.db2word.postgresql.kafka.consumer;

import lombok.extern.slf4j.Slf4j;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

/**
 * 数据消费: 这个类里面会监听topic,自动监听
 * */
@Slf4j
@Component
public class Consumer {

    //调用预处理方法
    @KafkaListener(topics = "jing-test",groupId = "jing-test")
    public void geojsonProcess(String message) {
        try {
            log.info("接收消息成功:{}:", message);
            message = message.replace("\"", "").replace("\"", "");
            //c1DExampleFc.addGeojson(message);
            System.out.println("我监听到了:"+message);
        }
        catch (Exception e){
            log.error("jing-test  ===> 发生异常:", e.getMessage());
        }
    }
}

第五步,写controller

代码语言:javascript
复制
@Api(tags = "kafka测试")
@RestController
@RequestMapping("/kafka")
public class KafkaController {

    @Autowired
    private Producer producer;
    @ApiOperation(value = "发送kafka", httpMethod = "POST")
    @PostMapping("/sendKafka")
    public AjaxResult sendKafka(String code) {
        producer.geojsonSync(code);
        return AjaxResult.success("成功");
    }
}

以上就写好了,我们进行测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发现控制台也输出流,kafka 软件里面也有记录,所以我们项目就集成了

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-05-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 目录
  • 1 目标
  • 2 实现
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档