记一次Kafka消费者拉取多个节点的数据，其中有1-2个节点出现拉取流量比较大问题其原洇是
我把consumer拉取的数据的自动提交配置设置成了false,而并没调用commit(offset)提交接口，推送导致是其原因由于没确认又重复的拉取数据了
之后修改成自动確认的问题解决了。
mit 设置为 true需要在每次poll时，确保前一次poll出来的数据已经消费完毕否则可能导致位点跳跃。如果想自己控制位点提交則把 mit 设为 false，并调用commit(offsets)函数自行控制位点提交
故障描述： 12月6日下午运维反馈说某个主题的一个分区消费积压，由于这个主题非常重要且已经有用户投诉所以运维很紧张，紧急打印堆栈并Dump堆内存后就重启了这台機器。 故障分析1： 消费这个主题的集群的业务逻辑相对比较简单主要就是读取某些主题，然后逻辑判断+DB操作后分流写入到另外某些主題。运维通过kafka监控平台找到积压的主题发现主题的某个分区积压了几万消息后，...
1查看某个broker所拥有的consumer group bin/kafka-consumer-mit to 】 kfaka中主要包含生产者与消费都对象，生产者往队列中推送消息而消费者则从队列中读取并处理消息。生产者推送的过程较为简单而对于消费者来说，情况复杂且容易受各种因素影响 1.
挂掉时tmp文件爱呢怎么处理（hdfs上的tmp文件） 4 我遇到一个问题，当agent是6个时一小时约生成26.5G文件，当有3个agent时一小
