kafka

,Redpanda 使用C++编写，是一个与 Kafka兼容的流数据平台，事实证明它的速度提高了10 倍。它还不含 JVM、不含 ZooKeeper、经过 Jepsen 测试且源代码可用。,,Redp...

译者 | 吉锴,策划 | 云昭,Apache Kafka是处理流式数据的事实标准。随着它在各行各业中的广泛应用，我经常会听到一个非常有意思的问题：我什么时候不适合使用Apache Kafka？流式数据...

作者：海源、仕禄、肖恩、鸿洛、启帆、胡荣、李杰等,Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面...

,大家好，我是 华仔, 又跟大家见面了。,上一篇作为专题系列的第一篇，我们深度剖析了关于 Kafka 存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「Kafka Broker 端网络架构和请...

如果问你，如何提高kafka队列中的消息消费速度呢？,答案很简单，topic多分几个分片，然后使用消费者组（Consumer Group）去消费topic即可。,如果加个条件，对同一个对象的操作请求必...

,大家好，我是 华仔, 又跟大家见面了。,原文完整版在星球里面，如果感兴趣可以扫文末二维码加入。,上篇主要带大家深度剖析了「号称承载 Kafka 客户端消息快递仓库 RecordAccmulator ...

今天我们就来聊聊 Kafka 是如何对 Java NIO 进行封装的，本系列总共分为3篇，主要剖析以下几个问题：,本篇只讨论前3个问题，剩余的放到后2篇中。,认真读完这篇文章，我相信你会对 Kafka...

作者 | 葛贤亮，单位：中国移动智慧家庭运营中心,近年来，互联网技术发展迅猛，各行各业的信息量急剧膨胀。随着云计算和算力网络时代的到来，消息中间件在国内许多行业的关键应用中越来越受到重视。在高并发分布...

​既然是不常见，那就说明在实际场景中并没有太高的出场率，但它们依然是很高级很实用的。下面就有请今天的主角登场：Kafka 拦截器。,如果你用过 Spring Interceptor 或是 Apache...

在聊Kafka高可靠之前，先在评论区来波RNG NB好不好!,大家都知道，系统架构有三高：「高性能、高并发和高可用」，三者的重要性不言而喻。,对于任意系统，想要同时满足三高都是一件非常困难的事情，大型...

,大家好，我是Jensen。一个想和大家一起打怪升级的程序员朋友。,咱们在写Kafka消费者的时候，有没有发现一个很麻烦的事：消费消息前每次都要手动解析Kafka消息，转换成自己想要的类型，再进行业务...

这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。,目前，Kafka 使用 Zookeeper 保存与分区（patitio...

​Rocketmq和kafka这两个消息队列大家应该都比较熟悉吧，哪怕不是很熟悉，应该也听说过的吧，你别告诉我，作为一个资深的程序员，你没听过这两门技术。,我之前使用这两个消息队列的时候就遇到一个很奇...

不知道大家有没有遇到这样的场景，就是一个项目中要消费多个kafka消息，不同的消费者消费指定kafka消息。遇到这种场景，我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spri...

《Bug：Zabbix对Kafka topic积压数据监控》一文我们通过监控lag来对Kafka某个分区topic的消费情况进行告警。通过告警我们发现，分区topic的消费积压情况告警非常频繁，这无疑...

,本文探讨了JMS消息中间件和Kafka部署的差异、权衡和架构。对于基于JMS的消息队列 (MQ) 基础架构和基于Apache Kafka的数据流的比较是一个广泛的话题。本文探讨JMS消息代理和Kaf...

Kafka 一开始是LinkedIn这家公司研发的技术，它是一种高吞吐量的分布式发布订阅消息系统，现在已成为大多数公司使用的技术，我们公司也不例外。那么你对kafka的了解有多少呢?那么本文就带你过一...

最近在折腾Kafka日志集群，由于公司部署的应用不断增加，日志采集程序将采集到的日志发送到Kafka集群时出现了较大延迟，总的TPS始终上不去，为了不影响业务团队通过日志排查问题，采取了先解决问题，再...

译者 | 陈峻,审校 | 孙淑娟,众所周知，作为一个事件流平台，Kafka能够松散地驻留在面向消息的中间件（Message-oriented Middleware，MoM）空间里。而被称为Actor模...

作者 | 蔡柱梁,审校 | 重楼,Kafka 是使用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统。目前，它的定位是一个分布式流式处理平台。,Kafka 在...

作者：海源、仕禄、肖恩等,Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。,Kafka是一个开源的流处理平台，我们首先了解一...

从今天开始我将以「 Kafka 2.7」 版本为主，通过「场景驱动」的方式带大家一点点的对 Kafka 源码进行深度剖析，正式开启 「Kafka的源码之旅」，跟我一起来掌握 Kafka 源码核心架构设...

,大家好，我是 华仔, 又跟大家见面了。,在​​上一篇​​中，主要带大家深度剖析了「Kafka 对 NIO SocketChannel、Buffer」的封装全过程，今天我们接着聊聊 Kafka 是如何...

最近公司日志Kafka集群出现了性能瓶颈，单节点还没达到60W/tps时消息发送就出现了很大延迟，甚至最高超过了10s，截图说明如下：,虽说使用的机械磁盘，但这点压力对Kafka来说应该是小菜一碟，这...

,这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？,看过之前的文章​​《字节面试官: 让你设计一个MQ每秒要抗几十万并发，怎么做？》​​的同学，应该都知道写入Kafka的数据是会落地写入...

Kafka是一个分布式的消息队列系统，消息存储在集群服务器的硬盘,Kafka中可以创建多个消息队列，称为topic，消息的生产者向topic中发布消息，消息的消费者从topic中获取消息,消息是海量的...

今天深入理解一下零拷贝技术~​,数据的四次拷贝与四次上下文切换,很多应用程序在面临客户端请求时，可以等价为进行如下的系统调用：,例如消息中间件 Kafka 就是这个应用场景，从磁盘中读取一批消息后原封...

这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。,Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚...

大家好，我是 华仔, 又跟大家见面了。,在上一篇中，正式开启了「Kafka的源码之旅」，主要讲述了 KafkaProducer 初始化时用到的核心组件以及消息发送的核心流程，带你梳理生产者初始化整体的...

Kafka Source 接收并处理来自 Kafka 的点击数据(指定事件时间)，开一个滚动窗口(Tumble Windows) 每 10 秒统计一次 pv 并将结果输出到 Print Sink 中...

kafka多牛啊，老少通吃，风光无限，从业务服务到大数据，无所不能。,但，即使它这么牛x，在不少项目中，依然能看到很多的替代品，比如RabbitMQ、RocketMQ、Pulsar等。,等等，先不说这...

,Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kaf...

这里先给出结论，我不太希望在解释概念 X 的时候，说到「为了了解 X，我们需要先了解一下 Y」，阅读的人思绪会被迁到另一个地方。既然小标题里说了要解释什么是 Kafka，那么我们就只说什么是 Kafk...

大家好,我是君哥。,在讲解 Kafka的副本同步限流机制三部曲(源码篇) 第二篇(原理篇) 之前,我想先讲解一下 Kafka中的数据采集和统计机制 当你了解这个机制之后才会更容易理解限流机制 图片,你...

​大家好，我是树哥。,相信大家在学习 Kafka 的时候，都会被问到：为啥 Kafka 这么快？许多朋友都会回答是因为 zero-copy 技术。而一说到 Zero-copy 就会说到 DMA 技术...

哈喽，大家好，我是指北君。,最近业务上用到了Spring Kafka，所以系统性的探索了下Spring Kafka的各种用法，发现了很多实用的特性，下面介绍下Spring Kafka的消息重试机制...

大家好，我是树义。,Kafka 作为消息队列中的中坚力量，基本上是每次面试必问的知识点。而说到 Kafka，大家对它的印象就是快！异常地快！,因此，为什么 Kafka 这么快，也是每次面试必问的知识点...

一位7年工作经验的小伙伴，面试被问到这样一道题，说：”谈谈你对Kafka副本Leader选举原理的理解“。当时，他想，这Kafka用的不就是Zookeeper 的选举吗？难道Kafka又自己搞了一套...

【51CTO.com快译】为了实现这种复杂的操作，必须有某种类型的服务“邮局”来跟踪所有请求和警报。实现这一目标的工具便是消息队列。 消息队列是一种专门的应用程序，它充当分布式应用程序的不同服务之间或...

这篇文章，给大家聊一个消息中间件相关的技术话题，对于一个优秀的消息中间件而言，客户端与服务端通信的时候，对于这个网络通信的机制应该如何设计，才能保证性能最优呢？甚至通过优秀的设计，让性能提升10倍以上...

这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？,我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。,,那么现在问题来了，如果每天产生几十TB的数据...

线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？,最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。,整体排查...

消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列（Message Queue / MQ），互联网场景中经常使用消息中间件进行消息路由、订阅发布、异步处理等操作，来...

Kafka的消息发送与消息消费与分区关联密切，我们从这篇文章开始讲点学习分区相关的知识，本篇文章将重点介绍分区内部的工作机制，即分区状态机运转机制。,Kafka内部分区的运转机制具体实现为Partit...

这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。,Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚...

【Flink 1.10】- 有一种情况是所有的系统或应用之间的桥梁都是Kafka，而这个时候恰恰是上游需要做Unbound的聚合统计。From @PyFlink 企业用户。,示例代码：,执行这个SQL...

历史原因，公司存在多个 MQ 同时使用的问题，我们中间件团队在去年下半年开始支持对 Kafka 和 Rabbit 能力的进行封装，初步能够完全支撑业务团队使用。,鉴于在之前已经基本完全实施 Kafka...

作者简介,Pin，关注 RPC、Service Mesh、Serverless 等云原生技术。,随着上云项目的不断推进，大量的应用需要部署到 aws 上，其中有很多应用都依赖延迟队列的功能。而在 aw...

,面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持久化的影响？,这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。,所以无论是...

大家好，欢迎来到Tlog4J课堂，我是Jensen。,记录今天发生的一次生产故障以及故障处理全过程。,需求背景是这样的：产品要求订单过售后期后，资金平台需要对这些订单进行结算，并把虚拟资产入账到下单客...