2021年大数据Kafka（十）：kafka生产者数据分发策略

找个劳资来宠我

  全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！ 
  新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。

目录
系列历史文章
生产者数据分发策略
策略一:用户指定了partition
策略二:用户发生数据的时候指定了key没有指定partition ,采用hash算法
策略三: 当用户既没有指定partition也没有key。采用粘性的划分策略(Sticky Partitioning Strategy)方案(2.4以上版本新特性,老版本为轮询)
总结

---

系列历史文章

2021年大数据Kafka（十）：kafka生产者数据分发策略
2021年大数据Kafka（九）：kafka消息存储及查询机制原理
2021年大数据Kafka（八）：Kafka如何保证数据不丢失
2021年大数据Kafka（七）：Kafka的分片和副本机制
2021年大数据Kafka（六）：❤️安装Kafka-Eagle❤️
2021年大数据Kafka（五）：❤️Kafka的java API编写❤️
2021年大数据Kafka（四）：❤️kafka的shell命令使用❤️
2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
2021年大数据Kafka（二）：❤️Kafka特点总结和架构❤️
2021年大数据Kafka（一）：❤️消息队列和Kafka的基本先容❤️

生产者数据分发策略

          kafka在数据生产的时候，有一个数据分发策略。默认的情况使用DefaultPartitioner.class类。这个类中就是定义数据分发的策略  

策略一:用户指定了partition

          生产就不会调用DefaultPartitioner.partition() 方法 , 数据分发策略的时候，可以指定数据发往哪个 partition 。当ProducerRecord 的构造参数中有 partition 的时候，就可以发送到对应 partition 上  

策略二:用户发生数据的时候指定了key没有指定partition ,采用hash算法

  注意: 如果 key 一直不变，同一个 key 算出来的 hash 值是个固定值。如果是固定值，这种 hash 取模就没有意义。 Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions  

策略三: 当用户既没有指定partition也没有key。采用粘性的划分策略(Sticky Partitioning Strategy)方案(2.4以上版本新特性,老版本为轮询)

Sticky Partitioning Strategy会随机地选择一个分区并会尽可能地坚持使用该分区——即所谓的粘住这个分区。
原因：
  kafka 在发送消息的时候 , 采用批处理方案 , 当到达一批后进行分送 , 但是如果一批数据中有不同分区的数据 , 就无法放置到一个批处理中, 而老版本中轮询方案 , 就会导致一批数据被分到多个小的批次中 , 从而影响效率 , 故在新版本中 , 采用这种粘性的划分策略  

总结

---

<ul>
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！