Kafka源码剖析
Kafka源码剖析之源码阅读环境搭建首先下载源码：http://archive.apache.org/dist/kafka/1.0.2/kafka-1.0.2-src.tgzgradle-4.8.1下载地址：https://services.gradle.org/distributions/gradle-4.8.1-bin.zipScala-2.12.12下载地址：https://downloads.lightbend.com/s...
标签 Kafka 下的文章
Kafka集群与运维
集群应用场景消息传递Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在这个领域，Kafka与ActiveMQ或 Rabbi...
Kafka高级特性解析
生产者消息发送数据生产流程解析Producer创建时，会创建一个Sender线程并设置为守护线程。生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创建时创建）。批次发送的条件为：缓冲区数据大小达到batch.size或者linger.ms达到上限，哪个先达到就算哪个。批次发送后，发往指定分区，然后落盘到broker；如果生产者配置了re...
Kafka架构与实战
概念和基本架构Kafka介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化...