我有一个用例,在这个用例中,我需要编写一个自定义逻辑来根据消息中的某些关键参数分配分区。我对此做了一些研究,发现kafka转换支持覆盖转换接口中的某些方法,但我无法在git、hub或其他地方编写一些示例代码。请有人共享示例代码或git集线器链接,以便在kafka源连接器中执行自定义分区分配吗?
提前谢谢!.
发布于 2019-03-15 11:25:46
卡夫卡连接默认分配分区:DefaultPartitioner
(org.apache.kafka.clients.producer.internals.DefaultPartitioner
)
如果您需要使用某些自定义覆盖默认连接器,则可以,但您必须记住,重写应用于。要做到这一点,您必须设置producer.partitioner.class
属性,例如producer.partitioner.class=com.example.CustomPartitioner
。此外,还必须使用Kafka库将jar与分区器复制到目录中。
变换方式:
在Transformation中也可以设置分区,但这不是正确的方法。在Transformation
中,您无法访问主题元数据,这些元数据对于分配分区至关重要。
如果您想为记录设置分区,代码应该如下所示:
public class AddPartition <R extends ConnectRecord<R>> implements Transformation<R> {
public static final ConfigDef CONFIG_DEF = new ConfigDef();
@Override
public void configure(Map<String, ?> props) {
final SimpleConfig config = new SimpleConfig(CONFIG_DEF, props);
}
@Override
public R apply(R record) {
return record.newRecord(record.topic(), calculatePartition(record), record.keySchema(), record.key(), record.valueSchema(), record.value(), record.timestamp());
}
private Integer calculatePartition(R record) {
// Partitions calcuation based on record information
return 0;
}
@Override
public void close() {
}
@Override
public ConfigDef config() {
return CONFIG_DEF;
}
}
https://stackoverflow.com/questions/55188508
复制相似问题