2021年大数据Kafka（十）：kafka生产者数据分发策略

找个劳资来宠我

  齐网最具体的年夜数据Kafka文章系列，激烈倡议珍藏减存眷！ 
  新文章皆曾经列出汗青文章目次，协助各人回忆前里的常识重面。

目次
系列汗青文章
消费者数据分收战略
战略一:用户指定了partition
战略两:用户发作数据的时分指定了key出有指定partition ,接纳hash算法
战略三: 当用户既出有指定partition也出有key。接纳粘性的分别战略(Sticky Partitioning Strategy)计划(2.4以上版本新特征,老版本为轮询)
总结

---

系列汗青文章

2021年年夜数据Kafka（十）：kafka消费者数据分收战略
2021年年夜数据Kafka（九）：kafka动静存储及查询机造道理
2021年年夜数据Kafka（八）：Kafka怎样包管数据没有丧失
2021年年夜数据Kafka（七）：Kafka的分片战副本机造
2021年年夜数据Kafka（六）：❤️装置Kafka-Eagle❤️
2021年年夜数据Kafka（五）：❤️Kafka的java API编写❤️
2021年年夜数据Kafka（四）：❤️kafka的shell号令利用❤️
2021年年夜数据Kafka（三）：❤️Kafka的散群拆建和shell启动号令剧本编写❤️
2021年年夜数据Kafka（两）：❤️Kafka特性总结战架构❤️
2021年年夜数据Kafka（一）：❤️动静行列战Kafka的根本介绍❤️

消费者数据分收战略

          kafka正在数据消费的时分，有一个数据分收战略。默许的状况利用DefaultPartitioner.class类。那个类中便是界说数据分收的战略  

战略一:用户指定了partition

          消费便没有会挪用DefaultPartitioner.partition() 办法 , 数据分收战略的时分，能够指定命据收往哪一个 partition 。当ProducerRecord 的机关参数中有 partition 的时分，就能够收收到对应 partition 上  

战略两:用户发作数据的时分指定了key出有指定partition ,接纳hash算法

  留意: 假如 key 不断稳定，统一个 key 算出去的 hash 值是个牢固值。假如是牢固值，这类 hash 与模便出故意义。 Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions  

战略三: 当用户既出有指定partition也出有key。接纳粘性的分别战略(Sticky Partitioning Strategy)计划(2.4以上版本新特征,老版本为轮询)

Sticky Partitioning Strategy会随机天挑选一个分区并会尽量天对峙利用该分区——即所谓的粘住那个分区。
缘故原由：
  kafka 正在收收动静的时分 , 接纳批处置计划 , 当抵达一批落后止分收 , 可是假如一批数据中有差别分区的数据 , 便没法安排到一个批处置中, 而老版本中轮询计划 , 便会招致一批数据被分到多个小的批次中 , 从而影响服从 , 故正在新版本中 , 接纳这类粘性的分别战略  

总结

---

<ul>
免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！