天天看点

Kafka详解五、Kafka Consumer的底层API- SimpleConsumer

the high-level consumer api

the simpleconsumer api     

第一种高度抽象的consumer api,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的api,那么先介绍下第二种api能够帮助我们做哪些事情

一个消息读取多次

在一个处理过程中只消费partition其中的一部分消息

添加事务管理机制以保证消息被处理且仅被处理一次

必须在程序中跟踪offset值

必须找出指定topic partition中的lead broker

必须处理broker的变动

从所有活跃的broker中找出哪个是指定topic partition中的leader broker

找出指定topic partition中的所有备份broker

构造请求

发送请求查询数据

处理leader broker变更

继续阅读