数据处理过程中,因格式问题处理失败的数据会怎么处理?
数据处理过程中,因格式问题处理失败或不满足过滤器规则的数据会流向“失败处理”策略。
“失败处理”策略包括:
1. “丢弃”策略即丢弃处理失败的原始数据;
2. “保留”策略会保留处理失败的原始数据,并将原始数据和处理失败信息封装成新的消息体,投递到目标Topic;
3. “死信队列”策略会保留处理失败的原始数据,并将原始数据和处理失败信息封装成新的消息体,投递到死信队列。
数据处理过程如何知道处理的性能不足?
数据处理的流程分为3个阶段,分别是:
1. 消费数据源 Topic 的数据;
2. 对原始数据进行处理;
3. 将处理后数据投递到数据目标Topic。
其中,我们可以通过消费者的消息积压程度和消费速度的监控来查看阶段1消费能力的性能,以及目标 Topic 的生产速度的监控来查看阶段3生产能力的性能。
一般我们可以通过提高数据源 Topic 的分区数,从而提高任务可扩容的并发度上限,以达到提升任务整体性能的效果。