集群

前言 如何知道 K8S 集群内 Pod 之间建立了哪些 TCP 连接？集群之间存在哪些调用关系？ 使用 k8spacket 和Grafana，你可以可视化集群中的 TCP 流量。了解工作负载如何相互通...

译者 | 赵青窕 审校 | 孙淑娟 树莓派是一种可以连接显示器、鼠标、键盘，通过图形界面(GUI)安装Linux操作系统的微型计算机。您还可以在没有GUI的无头模式下使用并运行树莓派，例如，数据库服务...

Kubernetes 是一个容器编排平台，用于调度、部署和管理容器化应用。并且经过几年的发展，k8s 已经成为事实上的容器编排平台标准。集群是 k8s 架构的构建块（building block）。集...

集群联邦的一些典型应用场景： 高可用：在多个集群上部署应用，可以最大限度地减少集群故障带来的影响 避免厂商锁定：可以将应用负载分布在多个厂商的集群上并在有需要时直接迁移到其它厂商 故障隔离：拥有多个小...

在我看来，Kubernetes 的优势主要在于它的声明式性质与控制循环相结合，并通过这些控制循环持续监控集群的活动状态，确保它与 etcd[2] 中存储的期望状态保持一致。这种方式非常强大，但同时其数...

​​想了解更多关于开源的内容，请访问：​​ ​​51CTO 开源基础软件社区​​ ​​https://ost.51cto.com​​ graph LRA[搭建库和工具] -->B(配置远程访问环...

​一、背景 唯品会日志系统dragonfly 1.0是基于EFK构建，于2014年服务至今已长达7年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。 随着...

集群容量概览 直到今年 1 月，我一直在使用一款企业级监控解决方案来监控 Kubernetes 集群，这款监控方案还用于 APM。它用起来很自然，与 Kubernetes 的集成非常容易，只需要进行一...

,上一篇文章​​《第一次当架构师，我设计高并发架构发现了N个痛点。。。》​​，给大家初步讲述了一套大规模复杂系统中，两个核心子系统之间一旦耦合，会发生哪些令人崩溃的场景。如果还没看上篇文章的，建议先看...

本文咱们来聊聊如何通过 MQ 消息中间件的使用，重构系统之间的耦合，让系统具备高度的可扩展性。,首先看一张系统之间的耦合图，大家先不用关注图中数据查询平台和实时计算平台的具体细节。,只需知道这里的数据...

,RocketMQ集群架构图,如图所示，RocketMQ集群由4部分组成：Producer会根据业务需要发送消息；Broker负责接收、存储和分发消息；Consumer负责按需消费消息；Name Se...

,这段时间在做 MQ（Pulsar）相关的治理工作，其中一个部分内容关于消息队列的升级，比如：,本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。,一键创建集群和执行测试用例比较简单...

Crossplane 是一个开源的 Kubernetes 插件，通过扩展 Kubernetes API 来解决云资源的供应问题。使用 Crossplane 时，你可以用声明的方式定义需要创建哪些云资源...

Ceph作为一个分布式系统，通常会产生大量的日志。这些日志可以来自 MON、MGR、OSD 或 Ceph 的任何其他客户端。,在大多数情况下，Ceph 都能很好地处理其问题。自我修复是 Ceph 的特...

作者丨Pavan Kumar,译者 | 崔莹峰,策划丨诺亚, 编写Dockerfile看起来很容易，除非你最终编写了大小为0.5GB的Docker镜像。是的，没错。我最近在做一个ReactJS项目，在...

随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻塞业务的发展。因此，如何解决单机房容量瓶颈成为了我们亟...

集群联邦（Federation）的目的是实现单一集群统一管理多个Kubernetes集群的机制，这些集群可能是跨地区（Region），也可能是在不同公有云供应商上，或者是公司内部自行建立的集群。,一但...

,在 yarn 中，对于容量调度而言，需要配置不同的队列，并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的，那么，如果集群资源进行扩容，队列的资源也就相应的增加了。在某些场景下， 我...

最近在折腾Kafka日志集群，由于公司部署的应用不断增加，日志采集程序将采集到的日志发送到Kafka集群时出现了较大延迟，总的TPS始终上不去，为了不影响业务团队通过日志排查问题，采取了先解决问题，再...

最近看了下关于分布式限流的部分，看到Sentinel的分布式限流，也就是集群限流的部分，想搭个环境看看，结果发现网上关于这方面的内容基本可以说没有，你甚至很难跑起来他的demo，就算能跑起来，估计也得...

,作者 | 云昭,可观测对于微服务盛行的年代来讲，十分必要。成千上万的微服务给开发和运维团队带来了指数级的维护成本。要解决这个难题，就势必引入高效的监控工具来辅助技术管理和决策。而K8s作为当下微服务...

【问题描述】存储是IT架构最基础的部分，新技术的发展对存储提出了更高的要求，分布式存储针对这些新技术有哪些特长？不足又有哪些？,@顾黄亮 苏宁消费金融有限公司 技术总监： ,分布式存储在IT架构中的定...

优化一个分布式系统的吞吐能力，除了应用本身代码外，很大程度上是在优化它所依赖的中间件集群处理能力。如：kafka/redis/rabbitmq/postgresql/分布式存储(CephFS,Juic...

作者 | 石浪、满神,近年来，随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求，这同时也带来了不断上升的资源成本以及实验的调试成本。,为了解决这一问题，阿里云机...

一般来说，我们在设计系统的时候，为了系统的高扩展性，会尽可能的创建无状态的系统，这样我们就可以采用集群的方式部署，最终很方便的根据需要动态增减服务器数量。但是，要使系统具有更好的可扩展性，除了无状态设...

我们采用冷热数据分离：,冷数据基于HBase+Elasticsearch+纯内存自研的查询引擎，解决了海量历史数据的高性能毫秒级的查询,热数据基于缓存集群+MySQL集群做到了当日数据的几十毫秒级别的...

,安装 hbase 之前需要先搭建好 hadoop 集群和 zookeeper 集群。,我解压到了。,/opt/lagou/servers/hbase-1.3.1 目录。,内容如下：,执行命令使配置生...

​译者 | 布加迪,审校 | 孙淑娟,Kubernetes是一个动态系统，可以自动适应用户工作负载的资源利用率。,Kubernetes有两个扩展级别。每个单独的Kubernetes部署都可以使用Hor...

,作者 | Kyle Hunter,翻译 | 布加迪,在 Kubernetes 环境中，应用程序跨集群内的多个节点运行，应用程序服务可能分布在多个集群和多个云中，因此跟踪应用程序及其依赖的基础架构的健...

大家好，我是君哥。,今天来分享 RocketMQ 的定时任务。通过这些定时任务，能让我们更加理解 RocketMQ 的消息处理机制和设计理念。,从 RocketMQ 4.9.4 的源代码上看，Rock...

Helm Charts[1] 如今已是一种非常流行的软件打包方式，在其应用市场中你可以找到接近一万款适用于云原生环境的软件。然后在如今的混合云多集群环境中，业务越来越依赖部署到不同的集群、不同的环境...

这篇文章，咱们来聊聊热点缓存的架构优化问题。,其实使用缓存集群的时候，最怕的就是热key、大value这两种情况，那啥叫热key大value呢？,简单来说，热key，就是你的缓存集群中的某个key瞬间...

RocketMQ作为阿里系的一款开源的MQ中间件，经历了双十一的高并发场景的消息流转，能够处理万亿级别的消息。,这篇文章将作为《RocketMQ 进阶》专栏的第一篇文章，介绍一下实际生产中如何搭建一个...

最近公司日志Kafka集群出现了性能瓶颈，单节点还没达到60W/tps时消息发送就出现了很大延迟，甚至最高超过了10s，截图说明如下：,虽说使用的机械磁盘，但这点压力对Kafka来说应该是小菜一碟，这...

消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列（Message Queue / MQ），互联网场景中经常使用消息中间件进行消息路由、订阅发布、异步处理等操作，来...

,这篇文章，咱们来聊聊热点缓存的架构优化问题。,其实使用缓存集群的时候，最怕的就是热key、大value这两种情况，那啥叫热key大value呢？,简单来说，热key，就是你的缓存集群中的某个key瞬...

⾼可⽤（High Availability）是分布式系统架构设计中必须考虑的因素之⼀，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运⾏100个时间单位，会有1个时间单位⽆法提供服务，我们...

这篇文章，跟大家讲讲站在一个程序员的角度，自己的后台架构应该如何抗住一天3个热点涌入的巨大流量！,其实使用缓存集群的时候，最怕的就是热key、大value这两种情况，那啥叫热key大value呢？,简...

这个问题简单说一下背景，如果不明白可以看上篇文章 ，不想看也没关系，这是个通用的解法，后面我会总结抽象下。,在上篇文章的最后提到对每个摘除的地址做决策时，需要顺序执行，且每一个要摘除的地址都要实时获取...