189 8069 5689
这篇文章主要介绍“Kafka Producer相关问题有哪些”，在日常操作中，相信很多人在Kafka Producer相关问题有哪些问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Kafka Producer相关问题有哪些”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
创新互联建站-专业网站定制、快速模板网站建设、高性价比阜城网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式阜城网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖阜城地区。费用合理售后完善，十多年实体公司更值得信赖。
1：我该怎么设置：metadata.broker.list?
Producre会通过metadata.broker.list来取得自己所想要的Metadata，一旦成功取得metada，生产
者就会直接发射 Produce的request到这个持有了相对topic/partition的Broker上。在Zookeeper上用
ip/port 去注册这个Broker，任意的一个Broker能够Serve这个metadata的请求，Client必须确保
在 metadata.broker.list 之中存在有至少一个Broker是能够提供服务的，在一个load balancer之中有一种方
式去achieve 这些，那就是通过VIP（目前不知道什么是VIP）
2：为什么Producer在async模式运行的过程之中会得到 QueueFullException？
这一个现象很典型的发生在Producer发射消息的速度要远远超过Broker能够处理的速度，如果
你的日志能够不允许被Block，那么唯一的方式就是，不得不添加新的足够的Broker，使他们和之前的
Broker协同处理，如果您的日志数据是能够被允许Block的，那么您可以通过设置如下：
queue.enqueueTimeout.ms:-1 ，
通过这种方式，一旦我们的队列满了，生产者将会Block 这些数据，而不是直接丢弃。
3：当我使用的 Zk_based的Producer 在0.7版，我只是看到数据在一些Broker上消费，而不是全部？
这个问题主要和kafka0.7 系列相关： http://apache.markmail.org/thread/c7tdalfketpusqkg
简单点来说，对于一个新的Topic而言，Producer将会使用所有存在的Brokers，然而，如果Topic在其他的Brokers之上已经存在，而这个时候你又新添加了新的Broker，这个时候，这些Producer将不会看到这些新添加的Producer。一个替代的方案是去手动的为这些Topic，在新添加的Broker上创建log目录。
4：为什么更改压缩级别以后，我们的Brokers并没有接收到来自于 Producer生产的数据？
这个现象发生在当我 通过设置compression.codec 为1，试图开启Gzip 压缩的时候，伴随着Codec的改变，你可能会发现，即便的数据发射已经一秒钟以后，这一条数据你依旧没有收到，任何地方都没有出现日志记录错误，后来通过增加了 log4j.properties到我的Producer的classPath 并且将日志的记录级别设置为DEBUG模式，我发现了在Producer端出现了： org/xerial/snappy/SnappyInputStream NotClass 错误，通过添加了Snappy jar以后错误消失了
5：我们是否能够删除掉 kafka之中的一个Topic？
到目前为止 kafka Version0.8还不能直接的删除，如果你要删除topic，您需要在删除kafka之中存放的一系列的数据，并且将保持在Zookeeper上的状态和数据一并删除
1： 为什么我们的消费者从来都拿不到数据？
在默认的情况之下，消费者如果是【历史第一次开始消费】，那么他它将忽略整个Topic之中，所有的现有的数据，他将只是消费目前Consumer启动以后，最新到来的数据。因此，请尝试在启动之后多发射一些数据，或者您可以通过设定： auto.offset.reset to "smallest".
2： 为什么消费者取数的时候得到：invalidMessageSizeException？
通常的情况住下，这意味着 消费者的”Fetch.Size“的大小还不够，每一次消费者从Broker提取数据的
过程之中，都会读取一个已经配置好的上限的数据，如果这个大小，比我们kafka单条日志的大小【最大】还要
小，就会抛出invalidMessageSizeException，要解决这个问题，需要通过设置属性：
fetch.message.max.bytes
fetch.size
默认的Fetch.Size的尺寸是300,000
3： 我是否需为当前的消费者选择多个group ID，或则只是一个？
如果所有的消费者都使用相同的组 id，在主题中的信息就被分发到这些消费者。换句话说，每个消费者
将得到消息的非重叠子集。同一组中拥有更多的消费者增加了并行度和消费的总体吞吐量。另一方面，如果每个
消费者拥有其自己的组ID，那么每个消费者将得到所有消息的完整的副本。
4：为什么在一个消费者组中间的一些消费者一直都没有拿到数据？
在当前的角度之上，相对于一个ConusmerGroup中的Consumer而言，一个Topic的分区【partition】
就是最小的单元，于是，如果你一个Consumer组中间的Consumer数量大于Partition的数目，那就会有一些
Consumer空闲得不到数据了。要解决这个问题，可以通过增加你的Partitions的数目。
5：为什么有很多 reblance 在我门的消费者log之中？
【过多平衡调整】的一个典型原因是消费者侧 GC。如果是这样，您将看到Zookeeper会话失效在消费者日志 （过期 grep）。偶然几次的Rebalnce是有必要的，但是一旦次数过多，那么将降低我们消费Consumer的次数，这个时候 Java GC 需要我们去调整
6：我们可以预测kafka consumer rebalance 的结果么？
7：我自己的Conusmer 看起来已经停止了，这是为什么？
8：为什么我的数据 在消费的过程之中出现延迟了。
9：如何去提高kafka remote Consumer的吞吐量？
10：如何在消费的过程之中重置这个偏移量
11：如果我不想目前kafka自身去管理消费的偏移量，我想自身去管理，那该怎么办？
12：Fetch.wait.max.ms 和 Socket.timeout.ms 的关系是怎样的？
13： 用怎么样的方式才能从kafka 拿到一条 精确的消息？
14：怎么通过OffsetFetchRequest，用TimeStamp去精确得到指定的消息的偏移量
1：kafka 是如何依赖Zookeeper的？
2：为什么控制关闭失败了？
3：为什么我的 Consumer/Producer 连接不上Broker
4：为什么我们的 Partiton Leaders 会迁移他们自己？
5：我们能够拥有多少个topic？
6：对于一个Topic而言，我们应该如何去选择分区的数？
7： Why do I see lots of Leader not local exceptions on the broker during controlled shutdown?
-------- 中文不太好翻译 --------
8：如何在ISR 阶段减少 Churns ？ 什么时候一个Broker会离开ISR阶段？
9：每当Bouncing 一个Borker，为什么在启动的时候我们会遭遇到：LeaderNotAvaible or NotLeaderFor Excetpion ？
10：我们是否能够动态的向集群添加一个新的 Broker？
到此，关于“Kafka Producer相关问题有哪些”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！