Rocket MQ消息中间件 至 2010 年,随着阿里业务的快速发展,急需一款支持顺序消息,拥有海量消息堆积能力的消息 Meta Q 1.0 在 2011 年诞生。,到 2012 年, Meta Q 已经发展到了 Meta Q ... 网站建设# meta# mq# rocket 2年前180
降级机制设计不当,线上系统瞬间崩溃 ,背景情况是这样:线上一个系统,在某次高峰期间MQ中间件故障的情况下,触发了降级机制,结果降级机制触发之后运行了一小会儿,突然系统就完全卡死,无法响应任何请求。,给大家简单介绍一下这个系统的整体架构... 网站建设# mq# 写入# 机制 3年前450
作为一个程序员你懂降级吗?小心系统被高并发请求给击垮 这篇文章,我们继续给大家聊聊另外一个线上系统在生产环境遇到的问题。,背景情况是这样:线上一个系统,在某次高峰期间MQ中间件故障的情况下,触发了降级机制,结果降级机制触发之后运行了一小会儿,突然系统就完... 网站建设# mq# 中间件# 写入 3年前640
别冒冒失失在项目里用MQ,里面很多坑都不知道肯定不行! ,上篇文章《做了几年开发,你知道自己的系统为什么要用消息中间件吗?》,给大家讲了讲消息中间件引入系统架构的作用,主要是解决哪些问题的。,其比较常见的实践场景是:,这篇文章给大家讲讲,如果你在系... 网站建设# mq# 异步# 消息中间件 3年前590
用Redis实现延迟队列,我研究了两种方案,发现并不简单 前段时间有个小项目需要使用延迟任务,谈到延迟任务,我脑子第一时间一闪而过的就是使用消息队列来做,比如RabbitMQ的死信队列又或者RocketMQ的延迟队列,但是奈何这是一个小项目,并没有引入MQ... 网站建设# mq# redis# 延迟 3年前350
消息中间件实现高可用架构,你会怎么设计? ,这篇文章,我们来聊一下消息中间件高可用架构的一些原理。,对于一个合格的高级Java工程师而言,你肯定会碰到在系统里用到MQ的场景,那么这个时候你需要基于你的业务场景和需求,考虑在使用MQ的时候可能遇... 网站建设# mq# 可用# 技术 3年前400
阿里面试官就是厉害,居然问我分布式事务怎么实现高可用? ,上一篇文章咱们聊了聊TCC分布式事务,对于常见的微服务系统,大部分接口调用是同步的,也就是一个服务直接调用另外一个服务的接口。,这个时候,用TCC分布式事务方案来保证各个接口的调用,要么一起成功... 网站建设# mq# 分布式# 异步 3年前530
新来个技术总监,把MQ高可用架构讲的那叫一个透彻 ,这篇文章,我们来聊一下消息中间件高可用架构的一些原理。,对于一个合格的高级Java工程师而言,你肯定会碰到在系统里用到MQ的场景,那么这个时候你需要基于你的业务场景和需求,考虑在使用MQ的时候可能遇... 网站建设# mq# 可用# 技术 3年前940
MQ保证读写消息不丢失,这个你都不会就等着被开除吧... 这篇文章,我们来聊聊在线上生产环境使用消息中间件技术的时候,从前到后的全链路到底如何保证数据不能丢失。,这个问题,在互联网公司面试的时候高频出现,而且也是非常现实的生产环境问题。,如果你的简历中写了自... 网站建设# mq# 丢失# 消息中间件 3年前1680
RocketMQ消息中间件用起来真的可靠吗? ,上一篇文章《MQ保证读写消息不丢失,这个你都不会就等着被开除吧...》,我们初步介绍了之前制定的那些消息中间件数据不丢失的技术方案遗留的问题。,一个最大的问题,就是生产者投递出去的消息,可能... 网站建设# mq# 丢失# 投递 3年前360
Spring Boot Event 观察者模式,轻松实现业务解耦! 实际业务开发过程中,业务逻辑可能非常复杂,核心业务 + N个子业务。如果都放到一块儿去做,代码可能会很长,耦合度不断攀升,维护起来也麻烦,甚至头疼。还有一些业务场景不需要在一次请求中同步完成,比如邮件... 网站建设# bean# event# mq 3年前170
JMS VS Kafka:苹果与橘子之战! ,本文探讨了JMS消息中间件和Kafka部署的差异、权衡和架构。对于基于JMS的消息队列 (MQ) 基础架构和基于Apache Kafka的数据流的比较是一个广泛的话题。本文探讨JMS消息代理和Kaf... 网站建设# confluent# jms# kafka 3年前440
一口气说出六种实现延时消息的方案 延时消息(定时消息)指的在分布式异步消息场景下,生产端发送一条消息,希望在指定延时或者指定时间点被消费端消费到,而不是立刻被消费。,延时消息适用的业务场景非常的广泛,在分布式系统环境下,延时消息的功能... 网站建设# mq# 存储# 模块 3年前560
聊聊分布式定时任务框架选型 我们先思考下面几个业务场景的解决方案:,类似的业务场景非常多,我们怎么解决?,很多业务场景需要我们某一特定的时刻去做某件任务,定时任务解决的就是这种业务场景。一般来说,系统可以使用消息传递代替部分定时... 网站建设# job# mq# 业务 4年前250
RocketMQ 的 Push 消费方式实现的太聪明了 大家好,我是三友,我又来了~~,最近仍然畅游在RocketMQ的源码中,这几天刚好翻到了消费者的源码,发现RocketMQ的对于push消费方式的实现简直太聪明了,所以趁着我脑子里还有点印象的时候,赶... 网站建设# mq# push# rocketmq 4年前390
如果公司线上系统突然宕机了,怎么才能确保MQ消息不丢失? ,之前写过一篇文章《项目里接入了MQ消息中间件以后,我摸鱼的时间更长了~》,我们用一个简单易懂的电商场景给大家引入说明了一个消息中间件的使用场景。,同时,我们还基于RabbitMQ的Hello... 网站建设# mq# 中间件# 服务 4年前290
如果你公司里的MQ集群崩溃了,你能确保数据绝对不丢失吗? ,上一篇讲消息中间件的文章:《如果公司线上系统突然宕机了,怎么才能确保MQ消息不丢失?》,初步给大家介绍了一个在生产环境中可能遇到的问题,就是你的消费者服务可能会宕机,一旦宕机,你就需要考虑是... 网站建设# mq# rabbitmq# 丢失 4年前540
消息中间件应用的常见问题与方案 消息队列(MQ)中间件已经普及很多年了,在互联网应用中,通常稍大一些的应用,我们都可以见到MQ的身影。当前市面上有很多中消息中间件,包括但不限于RabbitMQ、RocketMQ、ActiveMQ、K... 网站建设# mq# 中间件# 消息 4年前450
大曝光!从RabbitMQ平滑迁移至Kafka架构设计方案! 历史原因,公司存在多个 MQ 同时使用的问题,我们中间件团队在去年下半年开始支持对 Kafka 和 Rabbit 能力的进行封装,初步能够完全支撑业务团队使用。,鉴于在之前已经基本完全实施 Kafka... 网站建设# kafka# mq# rabbit 4年前140
生产环境MQ集群一个非常诡异的消费延迟排查 某一天,项目组一个同事向我反馈,他们使用公司的数据同步产品将MySQL数据同步到MQ集群,然后使用消费者将数据再同步到ES,反馈数据同步延迟严重,但对应的消费组确没有积压,但最近最近几分钟的数据都没有... 网站建设# mq# 同步# 延迟 4年前640
超详细的RabbitMQ入门与实战介绍,看这篇文章就够了 ,上一篇文章《教你面试的时候如何迅速完成90%以上的海量数据处理题》,我们已经给出了一整套的数据一致性的保障方案。,我们从如下三个角度,给出了方案如何实现。并且通过数据平台和电商系统进行了举例分析... 网站建设# mq# rabbitmq# 基于 4年前340
消息中间件该如何实现高可用架构 这篇文章,我们来聊一下消息中间件高可用架构的一些原理。,对于一个合格的高级 Java 工程师而言,你肯定会碰到在系统里用到 MQ(消息队列)的场景。那么这个时候你需要基于你的业务场景和需求,考虑在使用... 网站建设# mq# 可用# 技术 4年前170
记Kafka消费的一次生产故障处理过程 大家好,欢迎来到Tlog4J课堂,我是Jensen。,记录今天发生的一次生产故障以及故障处理全过程。,需求背景是这样的:产品要求订单过售后期后,资金平台需要对这些订单进行结算,并把虚拟资产入账到下单客... 网站建设# kafka# mq# 异步 4年前100
面试官让我聊聊 MQ 的数据丢失问题,没想到水这么深 ,这篇文章,给大家聊一下写入Kafka的数据该如何保证其不丢失?,看过之前的文章《字节面试官: 让你设计一个MQ每秒要抗几十万并发,怎么做?》的同学,应该都知道写入Kafka的数据是会落地写入... 网站建设# kafka# mq# 写入 4年前350
听说你搞过架构设计?来,我这里有个系统设计一下... ,上一篇文章《你以为架构师天天就画图写PPT吗,告诉你其他事儿多了去了~》,我们已经给出了一整套的数据一致性的保障方案。,我们从如下三个角度,给出了方案如何实现。并且通过数据平台和电商系统进行... 网站建设# mq# 一致性# 基于 4年前410
用RocketMQ这么久,才知道消息可以这样玩 ,今天我们就来带大家如何玩转MQ的消息。,消息中间件,英文Message Queue,简称MQ。它没有标准定义,一般认为:消息中间件属于分布式系统中一个子系统,关注于数据的发送和接收,利用高效可靠的异... 网站建设# mq# rocketmq# 分布式系统 4年前520
用了MQ消息中间件后,我开始后悔了 上篇文章《为什么要使用MQ消息中间件?这几个问题必须拿下!》,给大家讲了讲消息中间件引入系统架构的作用,主要是解决哪些问题的。,其比较常见的实践场景是:,这篇文章给大家讲讲,如果你在系统架构里... 网站建设# mq# 异步# 消息中间件 4年前310
如果我是核酸系统架构师,我会这么用MQ ,上篇文章:《选Redis做MQ的人,是脑子里缺根弦儿吗?》,我们分析了RabbitMQ开启手动ack机制保证消费端数据不丢失的时候,prefetch机制对消费者的吞吐量以及内存消耗的影响... 网站建设# mq# prefetch# 丢失 4年前590
车祸现场!线上突然宕机,一条订单消息丢失了 之前写过一篇文章《RabbitMQ是如何收发消息的?(通俗易懂)》,我们用一个简单易懂的电商场景给大家引入说明了一个消息中间件的使用场景。,同时,我们还基于RabbitMQ的HelloWorl... 网站建设# mq# 收发# 服务 4年前360
做了几年开发,你知道自己的系统为什么要用消息中间件吗? ,这篇文章开始,我们把消息中间件这块高频的面试题给大家说一下,也会涵盖一些MQ中间件常见的技术问题。,假如面试官看你简历里写了MQ中间件的使用经验,很可能会有如下问题:,好,我们一个个的来分析!,这个... 网站建设# activemq# mq# rabbitmq 4年前270
用RocketMQ实现可靠消息最终一致性方案,yyds ,对于常见的微服务系统,大部分接口调用是同步的,也就是一个服务直接调用另外一个服务的接口。,这个时候,用TCC分布式事务方案来保证各个接口的调用,要么一起成功,要么一起回滚,是比较合适的。,但是在实际... 网站建设# mq# 异步# 服务 4年前650
为什么要使用MQ消息中间件?这几个问题必须拿下 ,这篇文章开始,我们把消息中间件这块高频的面试题给大家说一下,也会涵盖一些MQ中间件常见的技术问题。,假如面试官看你简历里写了MQ中间件的使用经验,很可能会有如下问题:,好,我们一个个的来分析!,这个... 网站建设# activemq# mq# rabbitmq 5年前1650