分布式

​​想了解更多关于开源的内容，请访问：​​ ​​51CTO 开源基础软件社区​​ ​​https://ost.51cto.com​​ 1984—关于分布式查询优化 该部分为1984的分布式查询优化综述...

​​想了解更多关于开源的内容，请访问：​​ ​​51CTO 开源基础软件社区​​ ​​https://ost.51cto.com​​ 一、分布式数据对象概述 分布式数据对象管理框架是一款面向对象的内存...

分布式的概念存在年头有点久了，在正式进入我们《分布式专栏》之前，感觉有必要来聊一聊，什么是分布式，分布式特点是什么，它又有哪些问题，在了解完这个概念之后，再去看它的架构设计，理论奠基可能帮助会更大。 ...

作者 | 崔皓 审校 | 孙淑娟 众所周知，HarmonyOS具备分布式软总线、分布式数据管理和分布式安全三大核心能力。多种设备之间能够实现硬件互助、资源共享，依赖的关键技术。同时还实现了包括分布式软...

​如今使用的几乎所有软件都是分布式系统的一部分，手机上的应用程序与托管在云中的服务一起工作，托管服务本身就是大规模的分布式系统，通常运行在遍布全球的机器上，大数据系统和大规模数据库分布在许多机器上，大...

​​想了解更多关于开源的内容，请访问：​​ ​​51CTO 开源基础软件社区​​ ​​https://ost.51cto.com​​ 一、写在前面的话 分布式能力是鸿蒙的一大亮点，不管是分布式数据库...

1.引言 搜索引擎在数据量逐步扩大之后，分布式搜索是必经之路。搜索引擎的分布式除了要考虑数据分片之外，更重要还需要考虑数据的有状态以及各组件的状态流转。在这里分享一下基于ZK设计分布式搜索引擎的一些经...

​​想了解更多内容，请访问：​​ ​​51CTO OpenHarmony技术社区​​ ​​https://ost.51cto.com​​ 目标 基于OpenHarmony提供的分布式能力，实现在同一个...

一、Raft 概述 ​​Raft 算法​​​是分布式系统开发首选的​​共识算法​​。比如现在流行 Etcd、Consul。 如果​​掌握​​​了这个算法，就可以较容易地处理绝大部分场景的​​容错​​​...

大家好，非常高兴在今天的峰会能与大家一起分享Apache PyFlink的核心技术部分。 首先，还是简单的自我介绍一下，我是孙金城，花名 金竹，来自阿里巴巴，从2016年开始一直投入在开源建设中，目前...

针对共享资源的互斥访问历来是很多业务系统需要解决的问题。在分布式系统中，通常会采用分布式锁这一通用型解决方案。本文将就分布式锁的实现原理、技术选型以及阿里云存储的具体实践进行论述。 一 从单机锁到分布...

​​​​分布式系统一个核心的问题就是数据的一致性。Paxos算法是分布式一致性中的经典算法，用来解决一个分布式系统如何就某个值(决议)达成一致的问题。本文从Paxos的问题引出EPaxos，介绍EPa...

分布式事务中涉及的参与者分布在异步网络中，参与者通过网络通信来达到分布式一致性，网络通信不可避免出现失败、超时的情况，因此分布式事务的实现比本地事务面临更多的困难。本文归纳总结五种分布式事务解决方案...

不同的场景下所需的流控算法不尽相同，那应该如何选择适用的流控方案呢?本文分享单机及分布式流控场景下，简单窗口、滑动窗口、漏桶、令牌桶、滑动日志等几种流控算法的思路和代码实现，并总结了各自的复杂度和适用...

“all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问...

我们都知道现在使用微服务，那么就会出现一种情况，就是一个功能，从 A 服务，到 B 服务，然后到 C 服务，每个服务都可能需要去调取不同的服务，而这个服务之间的调用，而当他们使用三个独立的数据源的时候...

近期读到腾讯发布的《商业银行核心系统分布式转型白皮书》，书中介绍了银行核心分布式改造的架构路线、关键技术及最佳实践等内容。结合自己之前在金融业的一些体验，感觉总结整理的不错，特分享出来。文中的部分内容...

作者 | 蔡柱梁,审校 | 重楼,Kafka 是使用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统。目前，它的定位是一个分布式流式处理平台。,Kafka 在...

,目前业界主流的做法是使用分布式链路跟踪系统，其理论基础是来自 Google 的一篇论文 《大规模分布式系统的跟踪系统》。,论文如下图所示：,,,, （图片来源：网络）,,在此理论基础上，诞生了很多...

大家好，我是老三，大家对电商购物应该都比较熟悉了，我们应该注意到，在下单之后，通常会有一个倒计时，如果超过支付时间，订单就会被自动取消。,,下单,今天，我们来聊聊订单超时未支付自动取消的几种方案。,这...

大家好，我是田螺。,日常开发中，经常会碰到秒杀抢购等业务。为了避免并发请求造成的库存超卖等问题，我们一般会用到Redis分布式锁。但是使用Redis分布式锁，很容易踩坑哦~ 本文田螺哥将给大家分析阐述...

,1、Nutch依靠hadoop运行，hadoop本身就会花费大量的时间。,若集群机数量较少，爬行速度反而不如单机爬虫快。,2、Nutch是为搜索引擎设计的爬虫，不精确。,大多数用户需要一个爬虫来爬取...

,之前写过一篇文章（《​Redis 分布式锁，没它真不行！​》），给大家说了一下Redisson这个开源框架是如何实现Redis分布式锁原理的，这篇文章再给大家聊一下ZooKeeper实现分布式锁的原...

虽然Kubernetes 给云原生时代带来了颠覆性的新气象，但却很少人了解被钦定作为其后端存储的 etcd ，本篇从分布式锁视角梳理etcd的各种机制，探索基于etcd的锁实现是怎样。,etcd 能被...

,说明,1、Ray为构建分布式应用程序提供了一个简单、通用的API。,2、Ray是一种分布式执行框架，便于大规模应用程序和利用先进的机器学习库。,Ray通过以下方式完成这项任务：,为构建和运行分布式应...

,供应链仓储域子域繁多，例如库存域，lpn域等，平时开发的过程中涉及很多分布式事务的场景，例如收货加库存，发货扣库存，拣货入箱，发货出箱等一些分布式事务场景，所以迫切需要出一套分布式事务处理方案，在调...

随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候，因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难。,这时候可能有的小伙伴就会...

,定时任务有很多种，有一些大的框架也有一些简单的实现。比如常见的：,小编也就知道这些，欢迎大佬补充哈！！,今天小编就以现在比较火的分布式定时任务xxl-job，优点比较轻量级，但是从21年到现在没有比...

作者 | 葛贤亮，单位：中国移动智慧家庭运营中心,近年来，互联网技术发展迅猛，各行各业的信息量急剧膨胀。随着云计算和算力网络时代的到来，消息中间件在国内许多行业的关键应用中越来越受到重视。在高并发分布...

定时任务几乎是每个业务系统必不可少的功能，计算到期时间、过期时间等，定时触发某项任务操作。在使用单体应用时，基本使用Spring提供的注解即可实现定时任务，而在使用微服务集群时，这种方式就要考虑添加分...

,​上一篇文章咱们聊了聊TCC分布式事务，对于常见的微服务系统，大部分接口调用是同步的，也就是一个服务直接调用另外一个服务的接口。,这个时候，用TCC分布式事务方案来保证各个接口的调用，要么一起成功...

近年来，随着 ARM 技术的发展，ARM 在服务器芯片领域的应用范围逐渐推广，在 Intel X86 的技术标准和产品供应链之外，提供了新的选择空间。,现阶段需重点研究分布式数据库同时支持 X86 和...

今天给大家聊一个有意思的话题：每秒上千订单场景下，如何对分布式锁的并发能力进行优化？,首先，我们一起来看看这个问题的背景？,前段时间有个朋友在外面面试，然后有一天找我聊说：有一个国内不错的电商公司，面...

这篇文章聊一个话题：什么是分布式计算系统？,现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。,但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。所以...

,之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了不少文章，还是不知道分布式事务到底怎么回事，在项目里到底如何使用。,所以咱们这篇文章，就用大白话+手...

这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？,我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。,,那么现在问题来了，如果每天产生几十TB的数据...

随着分布式架构逐渐成为主流，“可观测性”一词也日益频繁地被人提起，它涉及的范围比较广泛，主要概括为如下三类：,这三个方向虽然各有千秋，各有侧重，但是又不完全独立。在Peter Bourgon 的文章...

最近看了下关于分布式限流的部分，看到Sentinel的分布式限流，也就是集群限流的部分，想搭个环境看看，结果发现网上关于这方面的内容基本可以说没有，你甚至很难跑起来他的demo，就算能跑起来，估计也得...

分布式消息队列是分布式系统架构中的关键组件，主要用于解决应用耦合、异步消息、流量削峰的问题。随着业务逻辑的拆分和业务系统的微服务改造，不仅要求消息队列在性能和可靠性上有充分保障，也对其在一些特殊业务场...

,微服务架构的快速发展使得分布式链路追踪系统成为观测体系中越来越重要的组件。字节跳动的分布式链路追踪系统经历了数年的发展后，已覆盖了字节的绝大部分在线业务，完成了对数万微服务和数百万微服务实例的在线链...

现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper等知识。,所以咱们这篇文章就来聊聊分布...

【问题描述】存储是IT架构最基础的部分，新技术的发展对存储提出了更高的要求，分布式存储针对这些新技术有哪些特长？不足又有哪些？,@顾黄亮 苏宁消费金融有限公司 技术总监： ,分布式存储在IT架构中的定...

大家好，今天给大家分享一个在 2022 年出去面试 Java 几乎必问的一个技术，那就是 seata。,什么？？你才看了第一句话心里有闪现了无数个问号？因为没听说过 seata 这个东西？,没关系，为...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功...

首先我先声明一点，本文单纯就是技术探讨，要从实际应用中来说的话，我并不建议这样去玩分布式事务、也不建议这样去玩多数据源，毕竟分布式事务主要还是用在微服务场景下。,好啦，那就不废话了，开整。,首先我们来...

Google的粗粒度锁服务Chubby的设计开发者Burrows曾经说过：所有一致性协议本质上要么是Paxos要么是其变体。,网上有很多讲解Paxos算法的文章，但是质量层次不齐。今天笔者带大家深入聊...

开发人员很多时候会遇到在一个JVM实例内，多个线程要竞争使用具有排它性的共享资源，恰好JDK中提供了如synchronized 、 JUC包中的xxxLock 这些锁工具，使用它们可以方便我们实现对...

​大家好，我是不才陈某~,过去，我们运维着“能做一切”的大型单体应用程序。这是一种将产品推向市场的很好的方式，因为刚开始我们也只需要让我们的第一个应用上线。,而且我们总是可以回头再来改进它的。部署一个...

,这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。虽然定位是有“分布式”、“容错架构”等看起来略显复杂的字眼，但是咱们还是按照老规矩：大白话 + 手绘数张彩图，逐步递进...

,1、尽量减少网站访问量。,一次爬虫主要在网络请求等待响应上花费时间，尽量减少网站访问量，减轻自己的工作量，减轻网站压力，降低封闭风险。,首先要做的化流程，尽量简化流程，避免多页重复获取。,接着去重...

基于阿里开源的Sentinel实现了服务的限流与容错，并详细介绍了Sentinel的核心技术与配置规则。简单介绍了服务网关，并对SpringCloud Gateway的核心架构进行了简要说明，也在项目...

这里先给出结论，我不太希望在解释概念 X 的时候，说到「为了了解 X，我们需要先了解一下 Y」，阅读的人思绪会被迁到另一个地方。既然小标题里说了要解释什么是 Kafka，那么我们就只说什么是 Kafk...

,​这篇文章，我们来聊一下最近这一两年行业内Java高级工程师面试的时候尤为常见的一个问题：谈谈你对分布式搜索引擎的理解，聊聊他的架构原理？,很多同学可能从来没接触过这个东西，所以本文我们就以现在最火...

,这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。,虽然定位是有“分布式”、“容错架构”等看起来略显复杂的字眼，但是咱们还是按照老规矩：大白话 + 手绘数张彩图，逐步递...

我们都知道 Seata 是一个分布式事务的解决方案，今天我们就来带大家了解一下什么是分布式事务，首先我们先来了解一下基础的知识——事务，我们先来了解一下事务的概念是什么。,事务四部分构成— ACID...

今天给大家聊聊线上系统的接口幂等问题，以及如何通过分布式锁来保障接口的幂等性，同时会给大家分享一下我们在基于分布式锁实现接口幂等性的时候，一些生产实践经验的积累。,首先给大家说说，假如说要是我们线上系...

随着互联网的不断发展，企业的业务系统变得越来越复杂，原本单一的单体应用系统已经无法满足企业业务发展的需要。于是，很多企业开始了对项目的分布式与微服务改造，新项目也在开始的时候就会采用分布式与微服务的架...

Redisson是一个在Redis的基础上实现的Java驻内存数据网格（In-Memory Data Grid）。它不仅提供了一系列的分布式的Java常用对象，还提供了许多分布式服务。,Redisso...

今天，就正式进入分布式事务篇章的学习，首先，我们简单介绍下分布式事务的核心原理与SpringCloud Alibaba技术栈中的Seata框架。,分布式事务是互联网行业一直无法绕过的技术难题，如何更加...

,Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kaf...

提到锁，想必大家可能最先想到的是Java JUC中的synchronized​关键字或者可重入锁ReentrantLock。它能够保证我们的代码在同一个时刻只有一个线程执行，保证数据的一致性和完整性...

我们在分布式开发中经常听到的一个词就是“服务治理”。在理解“服务治理”的概念之前让我们先理解什么是分布式系统，分布式系统之间如何通过RPC（Remote Procedure Call，远程过程调用）方...

在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的 CRUD 等语义，我们需要保证这些放置在不同物理机器上...

近日，围绕国内数据库产品，计世资讯发布“数据库产品影响力指数”。在“分布式数据库”榜单中，30家国产分布式数据库产品榜上有名。其中，蚂蚁“OceanBase企业级分布式关系数据库”、腾讯云“TDSQL...

​有位工作五年的小伙伴在面试的时候被问到RocketMQ的分布式事务实现原理。他说他只知道RocketMQ能够支持事务，但是没有了解过它的事务实现原理。,今天，我给大家分享一下我对这个问题的理解。,随...

我们都在讨论分布式，特别是面试的时候，不管是招初级软件工程师还是高级，都会要求懂分布式，甚至要求用过。传得沸沸扬扬的分布式到底是什么东东，有什么优势？,,风遁·螺旋手里剑,看过火影的同学肯定知道漩涡鸣...

随着业务的快速发展、业务复杂度越来越高，几乎每个公司的系统都会从单体走向分布式，特别是转向微服务架构。随之而来就必然遇到分布式事务这个难题，这篇文章通过seata框架总结了分布式事务的几种解决方案,关...

我们在聊架构风格之前先明确一个问题，什么是架构？我们为什么要选择架构、用来解决哪些问题？,书本定义：“软件的架构是一种抽象的结构，他由软件的各个组成部分和这些部分之间的依赖关系构成”。我的理解是，架构...

这篇文章再给大家聊一下ZooKeeper实现分布式锁的原理。,同理，我是直接基于比较常用的Curator这个开源框架，聊一下这个框架对ZooKeeper（以下简称zk）分布式锁的实现。,一般除了大公司...

,之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了不少文章，还是不知道分布式事务到底怎么回事，在项目里到底如何使用。,所以咱们这篇文章，就用大白话+手...

大家好，我是老三，大家对电商购物应该都比较熟悉了，我们应该注意到，在下单之后，通常会有一个倒计时，如果超过支付时间，订单就会被自动取消。,,下单,今天，我们来聊聊订单超时未支付自动取消的几种方案。,这...

分布式的 CAP 理论应该是人尽皆知了，它描述了一致性（C）、可用性（A）、分区容错性（P）的一系列权衡。,很多时候，我们要在一致性和可用性之间权衡，而分布式事务，就是在这个大的前提下，尽可能的达成一...

要说哪种分布式事务处理方案效率高，必然绕不开消息中间件！基于消息中间件的两阶段提交方案，通常用在高并发场景下。这种方式通过牺牲数据的强一致性换取性能的大幅提升，不过实现这种方式的成本和复杂度是比较高的...

​这篇文章，给大家来聊一个生产级的中间件系统的架构设计实践，希望给对中间件系统感兴趣的同学一点启发。,这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，所以这里...

译者 | 崔皓 ,策划 | 云昭,本文聚焦于信息系统的观察性，特别是在大型信息系统中如何应用可观测性，让其在大型分布式组织中产生奇效。 ,根据维基百科的说法：“通过系统的外部输出来推断和度量，系统...

1.1 Harbor新功能-分布式跟踪,Harbor在2.4.0版本后新增一个功能：向 Harbor 添加跟踪功能，以增强故障排除、识别性能瓶颈等。目前Harbor支持Jaeger和OpenTelem...

在 Iterable，我们每天代表客户发送大量营销信息。这些包括电子邮件、推送、SMS 和应用内消息。Iterable 还每天处理更多的用户更新、事件和自定义工作流状态，其中许多可以触发系统中的其他操...

今天的分享主要包含以下几个方面的内容：,CrateDB是一款基于ElasticSearch的分布式数据库，它与ElasticSearch最大的区别是提供了ANSI SQL查询访问接口。ElasticS...

,首先，我们一起来看看这个问题的背景？,前段时间有个朋友在外面面试，然后有一天找我聊说：有一个国内不错的电商公司，面试官给他出了一个场景题：,假如下单时，用分布式锁来防止库存超卖，但是是每秒上千订单的...

,大家好，我是君哥。,事务消息是分布式事务的一种解决方案，RocketMQ 有成熟的事务消息模型，今天就来聊一聊 RocketMQ 事务消息实现机制。,假如有一个电商场景，用户下单后，账户服务从用户账...

过去，我们运维着“能做一切”的大型单体应用程序。这是一种将产品推向市场的很好的方式，因为刚开始我们也只需要让我们的第一个应用上线。,而且我们总是可以回头再来改进它的。部署一个大应用总是比构建和部署多个...

,在上一节中我们讲解了，关于分布式事务和seata的基本介绍和使用，感兴趣的小伙伴可以回顾一下​​《别再说你不知道分布式事务了!》​​ 最后小农也说了，下期会带给大家关于Seata中关于seata中A...

分布式事务，咱们前边也聊过很多次了，网上其实也有不少文章在介绍分布式事务，不过里边都会涉及到不少专业名词，看的大家云里雾里，所以还是有一些小伙伴在微信上问我。,那么今天，我就再来一篇文章，和大家捋一捋...