Zero Copy（零拷贝）在Kafka中的应用。
在Producer中:
1. Kafka的Producer接收到用户数据后,会首先写入到Socket的发送缓冲区,此时数据还在用户空间,这是第一次避免拷贝。
2. Kafka基于文件映射内存映射(mmap)技术,会将Topic对应的日志文件映射到内存中,Producer直接操作内存即可写入数据,避免拷贝到内核空间,这是第二次避免拷贝。
3. 当发送缓冲区的数据超过 batch.size 时,会一次性发送出去,避免了多次send调用带来的性能损耗,这也算是一种"批量零拷贝"。
4. Kafka Producer还会通过sendfile系统调用,直接在两个文件描述符之间拷贝数据,完全避免拷贝到用户空间,这是第三次避免拷贝。
在Consumer中:
1. Kafka的Consumer使用mmap技术,会将Topic对应的日志文件映射到内存中,Consumer可以直接从内存中读取数据,避免第一次拷贝到用户空间。
2. Kafka的Consumer以拉的方式批量读取消息,每次会拉取多个消息,避免了频繁读空间带来的性能损失,这也属于一种"批量零拷贝"。
3. 在批量拉取消息后,Consumer会将消息依次返回给用户,而不会立即拷贝到用户空间,直到用户真正消费此消息,这 avoids 第二次拷贝。
4. Kafka的Consumer也使用到sendfile系统调用,将文件描述符之间的数据直接拷贝到Socket,避免第三次拷贝到用户空间。
可以看出,Kafka通过mmap内存映射、批量发送、sendfile零拷贝等手段,极大地减少了数据在用户空间和内核空间之间的拷贝次数,这使得Kafka可以实现极高的吞吐量。这就是零拷贝技术在Kafka中得以完美应用的原因。 #软件架构#
