我正在用scala编写一个与kafka进行火花流连接的程序,我得到了以下错误:
18/02/19 12:31:39 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 39)
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {prensa4-0=744}
at org.apache.kafka.clients.
我使用storm和kafka来分析实时数据。
我在spout中得到了以下错误
错误
kafka.common.OffsetOutOfRangeException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.n
我们从Confluent 4.0.0升级到5.0.0,升级后我们无法列出kafka connect hdfs接收器连接器消费者lag。
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/ka
目前,我的Kafka Consumer流媒体应用程序正在手动将偏移量提交到Kafka中,并将enable.auto.commit设置为false。当我尝试重新启动应用程序时,它失败了,抛出以下异常: org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions:{partition-12=155555555} 假设上面的错误是由于消息不存在/由于保留期而删除分区,我尝试了以下方法: 我禁用了手动提交