2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️

冷ゝ冰月

  齐网最具体的年夜数据Kafka文章系列，激烈倡议珍藏减存眷！ 
  新文章皆曾经列出汗青文章目录，协助各人回忆前里的常识重面。

目录
系列汗青文章
Kafka配额限速机造
限定producer真个速度
限定consumer真个速度
打消kafka的Quota设置

---

系列汗青文章

2021年年夜数据Kafka（十两）：❤️Kafka配额限速机造❤️
2021年年夜数据Kafka（十一）：❤️Kafka的消耗者背载平衡机造战数据积压成绩❤️
2021年年夜数据Kafka（十）：kafka消费者数据分收计策
2021年年夜数据Kafka（九）：kafka动静存储及查询机造道理
2021年年夜数据Kafka（八）：Kafka怎样保证数据没有丧失
2021年年夜数据Kafka（七）：Kafka的分片战副本机造
2021年年夜数据Kafka（六）：❤️装置Kafka-Eagle❤️
2021年年夜数据Kafka（五）：❤️Kafka的java API编写❤️
2021年年夜数据Kafka（四）：❤️kafka的shell号令操纵❤️
2021年年夜数据Kafka（三）：❤️Kafka的散群拆建和shell启动号令剧本编写❤️
2021年年夜数据Kafka（两）：❤️Kafka特性总结战架构❤️
2021年年夜数据Kafka（一）：❤️动静行列战Kafka的根本引见❤️

Kafka配额限速机造

消费者战消耗者以极下的速率消费/消耗大批数据或发生恳求，从而占用broker上的局部资本，形成收集IO饱战。有了配额（Quotas）就能够制止那些成绩。Kafka撑持配额办理，从而能够对Producer战Consumer的produce&fetch操纵举办流量限定，避免个体营业压爆效劳器。
限定producer真个速度

为一切client id设置默许值，以下为一切producer法式设置其TPS没有超出跨越1MB/s，即1048576/s，号令以下：

1. bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default

复造代码

运转基准测试，察看消费动静的速度

1. bin/kafka-producer-perf-test.sh --topic test --num-records 50000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1:9092,node2:9092,node3:9092 acks=1

复造代码

限定前：

限定后：

成果：      
50000 records sent, 1120.222252 records/sec (1.07 MB/sec)

限定consumer真个速度

对consumer限速取producer相似，只不外参数名纷歧样。      
为指定的topic举办限速，以下为一切consumer法式设置topic速度没有超出跨越1MB/s，即1048576/s。号令以下：

1. bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'consumer_byte_rate=1048576' --entity-type clients --entity-default

复造代码

运转基准测试，察看动静消耗的速度

1. bin/kafka-consumer-perf-test.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test --fetch-size 1048576 --messages 50000

复造代码

限定前：

限定后：

成果：
MB.sec： 0.9308

打消kafka的Quota设置

1. bin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'producer_byte_rate' --entity-type clients --entity-default
3. bin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'consumer_byte_rate' --entity-type clients --entity-default

复造代码

---

<ul>
免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！