Kafka -- 幂等生产者 + 事务生产者

　　消息交付可靠性保障：Kafka对Producer和Consumer要处理的消息所提供的承诺常见的承诺最多一次（at most once）：消息可能会丢失，但绝不会被重复发送至少一次 （at least once）：消息不会丢失，但有可能被重复发送精确一次（exactly once）：消息不会丢失，也不会被重复发送Kafka默认提供的交付可靠性保障：至少一次只有Broker成功提交 消息且Producer接到Broker的应答才会认为该消息成功发送如果Broker成功提交消息，但Broker的应答没有成功送回Producer端，Producer只能选择重试最多一次Kafka也可以提供最多一次 交付可靠性保证，只需要让Producer禁止重试 即可，但大部分场景下并不希望出现消息丢失精确一次消息不会丢失，也不会被重复处理，即使Producer端重复发送了相同的消息，Broker端也能自动去重两种机制：幂等性 、事务

　　幂等性

　　幂等原是数学中的概念：某些操作或者函数能够被执行多次，但每次得到的结果都是不变 的幂等操作：乘1，取整函数；非幂等操作：加1计算机领域在命令式 编程语言（如C）中，如果一个子程序是幂等的，那它必然不能修改系统状态在函数式 编程语言（如Scala、Haskell）中，很多纯函数 天然就是幂等的，不执行任何的Side Effect幂等性的好处：可以安全地重试 任何幂等性操作

　　幂等性Producer

　　在Kafka中，Producer默认不是幂等的 ，在0.11.0.0 版本引入了幂等性Producer默认情况下 ，Producer向Broker发送数据时，可能会出现同一条消息被发送多次，导致消息重复升级为幂等性Producer

　　props.put("enable.idempotence", true)

　　props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true)

　　基本原理空间换时间 ，在Broker端多保存一些字段当Producer发送了具有相同字段值的消息后，Broker能够自动发现这些重复消息，然后默默丢弃作用范围幂等性Producer只能保证单分区 上的幂等性即只能保证某个主题上的一个分区上不出现重复消息，无法实现

二手游戏卖号平台

多个分区的幂等性幂等性Producer只能实现单会话 上的幂等性，不能实现跨会话的幂等性会话：Producer进程的一次运行 ，如果重启Producer进程，将丢失幂等性保证如果要实现多分区 或者多会话 的消息无重复，可以采用事务Producer

　　事务

　　数据库事务提供了ACID 的安全性保障：Atomicity 、Consistency 、Isolation 、DurabilityKafka在0.11 版本开始提供了对事务的支持，目前主要在Read Committed 的隔离级别上做事情保证多条消息原子性地写入目标分区 ，同时也保证Consumer只能看到事务成功提交的消息

　　事务Producer

　　事务Producer能够保证一批消息原子性地写入多个分区 ，这批消息要么全部写入成功 ，要么全部写入失败事务Producer允许进程重启 ，Producer重启后，Kafka依然保证它们发送的消息的精确一次处理升级为事务Producer

　　props.put("transactional.id", "my-transactional-id")

　　record1和record2会被当作一个事务统一提交到Kafka，要么全部提交成功，要么全部写入失败即使写入失败，Kafka也会把它们写入到底层日志 中，即Consumer还是会看到这些消息因此在Consumer端，读取事务Producer发送的消息，需要设置isolation.level 参数read_uncommitted默认值，Consumer能够读取到Kafka写入的任何消息 ，不论事务Producer提交事务还是终止事务read_committedConsumer只会读取到事务Producer成功提交事务写入的消息 ，也能读取到非事务Producer写入的所有消息

　　producer.initTransactions();

　　try {

　　producer.beginTransaction();

　　producer.send(new ProducerRecord<>(TOPIC, KEY, VALUE + 1));

　　producer.send(new ProducerRecord<>(TOPIC, KEY, VALUE + 2));

　　//

　　producermitTransaction();

　　} catch (KafkaException e) {

　　producer.abortTransaction();

　　}

　　小结

　　幂等性Producer和事务Producer都是Kafka社区为了实现精确一次 处理语义所提供的工具，只是作用范围 不同而已幂等性Producer只能保证单分区、单会话 上的消息幂等性；而事务Producer能够保证跨分区、跨会话 的幂等性事务Producer与幂等性Producer相比，性能更差