如何使用 K8spacket 和 Grafana 对 K8s 的 TCP 数据包流量进行可视化 前言 如何知道 K8S 集群内 Pod 之间建立了哪些 TCP 连接?集群之间存在哪些调用关系? 使用 k8spacket 和Grafana,你可以可视化集群中的 TCP 流量。了解工作负载如何相互通... 系统教程# kspacket# tcp# 数据包 2年前100
如何从0到1构建32Core树莓派集群 译者 | 赵青窕 审校 | 孙淑娟 树莓派是一种可以连接显示器、鼠标、键盘,通过图形界面(GUI)安装Linux操作系统的微型计算机。您还可以在没有GUI的无头模式下使用并运行树莓派,例如,数据库服务... 系统教程# gui# 服务器# 构建 2年前240
浅析 Kubernetes 多集群调度方案 Kubernetes 是一个容器编排平台,用于调度、部署和管理容器化应用。并且经过几年的发展,k8s 已经成为事实上的容器编排平台标准。集群是 k8s 架构的构建块(building block)。集... 系统教程# ks# 一个# 容器 2年前110
初探几种常用的 Kubernetes 多集群方案 集群联邦的一些典型应用场景: 高可用:在多个集群上部署应用,可以最大限度地减少集群故障带来的影响 避免厂商锁定:可以将应用负载分布在多个厂商的集群上并在有需要时直接迁移到其它厂商 故障隔离:拥有多个小... 系统教程# federation# ks# v 2年前210
Kubernetes 生态下的 GitOps 常用工具大盘点 在我看来,Kubernetes 的优势主要在于它的声明式性质与控制循环相结合,并通过这些控制循环持续监控集群的活动状态,确保它与 etcd[2] 中存储的期望状态保持一致。这种方式非常强大,但同时其数... 系统教程# etcd# kubernetes# 仓库 2年前90
跟着小白一起学鸿蒙之运行OpenHarmony 想了解更多关于开源的内容,请访问: 51CTO 开源基础软件社区 https://ost.51cto.com graph LRA[搭建库和工具] -->B(配置远程访问环... 系统教程# bug# 开源# 搭建 2年前110
日志系统成本飙升千万,吓得我赶紧把ES换成ClickHouse…… 一、背景 唯品会日志系统dragonfly 1.0是基于EFK构建,于2014年服务至今已长达7年,支持物理机日志采集,容器日志采集,特殊分类日志综合采集等,大大方便了全公司日志的存储和查询。 随着... 系统教程# es# 攻击# 日志 2年前160
使用 Thanos 和 Prometheus 打造一个高可用的 Kubernetes 监控系统 集群容量概览 直到今年 1 月,我一直在使用一款企业级监控解决方案来监控 Kubernetes 集群,这款监控方案还用于 APM。它用起来很自然,与 Kubernetes 的集成非常容易,只需要进行一... 系统教程# apm# kubernetes# 方案 2年前170
百亿级流量的系统架构该怎么设计,今天就来教会你! ,上一篇文章《第一次当架构师,我设计高并发架构发现了N个痛点。。。》,给大家初步讲述了一套大规模复杂系统中,两个核心子系统之间一旦耦合,会发生哪些令人崩溃的场景。如果还没看上篇文章的,建议先看... 网站建设# 系统# 缓存# 耦合 3年前740
给你一份精心设计的消息中间件高扩展架构,赶紧写进简历吧 本文咱们来聊聊如何通过 MQ 消息中间件的使用,重构系统之间的耦合,让系统具备高度的可扩展性。,首先看一张系统之间的耦合图,大家先不用关注图中数据查询平台和实时计算平台的具体细节。,只需知道这里的数据... 网站建设# 平台# 系统# 缓存 3年前520
基于AOP思想构造RocketMQ组件 ,RocketMQ集群架构图,如图所示,RocketMQ集群由4部分组成:Producer会根据业务需要发送消息;Broker负责接收、存储和分发消息;Consumer负责按需消费消息;Name Se... 网站建设# consumer# producer# rocketmq 3年前550
对 Pulsar 集群的压测与优化 ,这段时间在做 MQ(Pulsar)相关的治理工作,其中一个部分内容关于消息队列的升级,比如:,本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。,一键创建集群和执行测试用例比较简单... 网站建设# pulsar# 压测# 官方 3年前690
使用 Crossplane 和 VCluster 在 Kubernetes 上快速构建新集群 Crossplane 是一个开源的 Kubernetes 插件,通过扩展 Kubernetes API 来解决云资源的供应问题。使用 Crossplane 时,你可以用声明的方式定义需要创建哪些云资源... 网站建设# crossplane# kubernetes# vcluster 3年前250
Ceph Dashboard 通过 Loki 配置集中日志 Ceph作为一个分布式系统,通常会产生大量的日志。这些日志可以来自 MON、MGR、OSD 或 Ceph 的任何其他客户端。,在大多数情况下,Ceph 都能很好地处理其问题。自我修复是 Ceph 的特... 网站建设# ceph# dashboard# loki 3年前300
看我如何将Docker镜像大小缩减95% 作者丨Pavan Kumar,译者 | 崔莹峰,策划丨诺亚, 编写Dockerfile看起来很容易,除非你最终编写了大小为0.5GB的Docker镜像。是的,没错。我最近在做一个ReactJS项目,在... 网站建设# docker# kubernetes# 应用程序 3年前110
B站离线多机房架构实践 随着B站业务的高速发展,业务数据的生产速度变得越来越快,离线集群规模快速膨胀,既有机房内的机位急剧消耗,在可预见的不久的将来会达到机房容量上限,阻塞业务的发展。因此,如何解决单机房容量瓶颈成为了我们亟... 网站建设# 容量# 机房# 离线 3年前150
如何使用 K8s 实现跨集群管理,这篇文章告诉你了! 集群联邦(Federation)的目的是实现单一集群统一管理多个Kubernetes集群的机制,这些集群可能是跨地区(Region),也可能是在不同公有云供应商上,或者是公司内部自行建立的集群。,一但... 网站建设# api# federation# kubernetes 3年前620
容量调度绝对值配置队列使用与避坑 ,在 yarn 中,对于容量调度而言,需要配置不同的队列,并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的,那么,如果集群资源进行扩容,队列的资源也就相应的增加了。在某些场景下, 我... 网站建设# 绝对值# 資源# 配置 3年前310
尴尬,在Kafka生产实践中又出问题了 最近在折腾Kafka日志集群,由于公司部署的应用不断增加,日志采集程序将采集到的日志发送到Kafka集群时出现了较大延迟,总的TPS始终上不去,为了不影响业务团队通过日志排查问题,采取了先解决问题,再... 网站建设# kafka# 客户端# 日志 3年前400
聊聊Sentinel集群限流探索 最近看了下关于分布式限流的部分,看到Sentinel的分布式限流,也就是集群限流的部分,想搭个环境看看,结果发现网上关于这方面的内容基本可以说没有,你甚至很难跑起来他的demo,就算能跑起来,估计也得... 网站建设# sentinel# 关于# 分布式 3年前480
把K8s做到可观测,都需要哪些选型? ,作者 | 云昭,可观测对于微服务盛行的年代来讲,十分必要。成千上万的微服务给开发和运维团队带来了指数级的维护成本。要解决这个难题,就势必引入高效的监控工具来辅助技术管理和决策。而K8s作为当下微服务... 网站建设# ks# 应用程序# 服务 3年前1990
解析分布式存储选型和应用九个典型问题 【问题描述】存储是IT架构最基础的部分,新技术的发展对存储提出了更高的要求,分布式存储针对这些新技术有哪些特长?不足又有哪些?,@顾黄亮 苏宁消费金融有限公司 技术总监: ,分布式存储在IT架构中的定... 网站建设# 分布式# 存储# 架构 3年前470
云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的实践 优化一个分布式系统的吞吐能力,除了应用本身代码外,很大程度上是在优化它所依赖的中间件集群处理能力。如:kafka/redis/rabbitmq/postgresql/分布式存储(CephFS,Juic... 网站建设# citus# postgresql# sentry 4年前200
阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend 作者 | 石浪、满神,近年来,随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求,这同时也带来了不断上升的资源成本以及实验的调试成本。,为了解决这一问题,阿里云机... 网站建设# hybridbackend# pai# 稀疏 4年前1220
每个Java程序员都必须知道的四种负载均衡算法 一般来说,我们在设计系统的时候,为了系统的高扩展性,会尽可能的创建无状态的系统,这样我们就可以采用集群的方式部署,最终很方便的根据需要动态增减服务器数量。但是,要使系统具有更好的可扩展性,除了无状态设... 网站建设# 均衡# 服务器# 算法 4年前240
2022经历裁员之后,我总结了程序员必备的架构能力 我们采用冷热数据分离:,冷数据基于HBase+Elasticsearch+纯内存自研的查询引擎,解决了海量历史数据的高性能毫秒级的查询,热数据基于缓存集群+MySQL集群做到了当日数据的几十毫秒级别的... 网站建设# mysql# 挂掉# 架构 4年前200
HBase集群部署与基础命令 ,安装 hbase 之前需要先搭建好 hadoop 集群和 zookeeper 集群。,我解压到了。,/opt/lagou/servers/hbase-1.3.1 目录。,内容如下:,执行命令使配置生... 网站建设# hbase# user# 查询 4年前290
Kubernetes优秀实践:如何正确设置资源请求和限制? 译者 | 布加迪,审校 | 孙淑娟,Kubernetes是一个动态系统,可以自动适应用户工作负载的资源利用率。,Kubernetes有两个扩展级别。每个单独的Kubernetes部署都可以使用Hor... 网站建设# autoscaler# kubernetes# pod 4年前440
监控Kubernetes的最佳实践、工具和方法 ,作者 | Kyle Hunter,翻译 | 布加迪,在 Kubernetes 环境中,应用程序跨集群内的多个节点运行,应用程序服务可能分布在多个集群和多个云中,因此跟踪应用程序及其依赖的基础架构的健... 网站建设# kubernetes# 健康状况# 应用程序 4年前380
40 个定时任务,带你理解 RocketMQ 设计精髓! 大家好,我是君哥。,今天来分享 RocketMQ 的定时任务。通过这些定时任务,能让我们更加理解 RocketMQ 的消息处理机制和设计理念。,从 RocketMQ 4.9.4 的源代码上看,Rock... 网站建设# rocketmq# 任务# 定时 4年前420
Helm Chart 多环境、多集群交付实践,透视资源拓扑和差异 Helm Charts[1] 如今已是一种非常流行的软件打包方式,在其应用市场中你可以找到接近一万款适用于云原生环境的软件。然后在如今的混合云多集群环境中,业务越来越依赖部署到不同的集群、不同的环境... 网站建设# chart# helm# kubevela 4年前370
聊聊八卦,当年的顶流明星事件是如何把公司的缓存架构“击垮”的 这篇文章,咱们来聊聊热点缓存的架构优化问题。,其实使用缓存集群的时候,最怕的就是热key、大value这两种情况,那啥叫热key大value呢?,简单来说,热key,就是你的缓存集群中的某个key瞬间... 网站建设# key# value# 缓存 4年前460
搭了一个RocketMQ高可用集群,同事直呼哇塞! RocketMQ作为阿里系的一款开源的MQ中间件,经历了双十一的高并发场景的消息流转,能够处理万亿级别的消息。,这篇文章将作为《RocketMQ 进阶》专栏的第一篇文章,介绍一下实际生产中如何搭建一个... 网站建设# rocketmq# 系统# 耦合 4年前660
生产环境Kafka集群400W/Tps为啥就扛不住了? 最近公司日志Kafka集群出现了性能瓶颈,单节点还没达到60W/tps时消息发送就出现了很大延迟,甚至最高超过了10s,截图说明如下:,虽说使用的机械磁盘,但这点压力对Kafka来说应该是小菜一碟,这... 网站建设# kafka# tps# 线程 4年前370
一篇文章带你了解高可用架构分析 消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列(Message Queue / MQ),互联网场景中经常使用消息中间件进行消息路由、订阅发布、异步处理等操作,来... 网站建设# kafka# 消息# 消息中间件 4年前190
吐血1个月给大家整理了高并发下的缓存设计方案 ,这篇文章,咱们来聊聊热点缓存的架构优化问题。,其实使用缓存集群的时候,最怕的就是热key、大value这两种情况,那啥叫热key大value呢?,简单来说,热key,就是你的缓存集群中的某个key瞬... 网站建设# key# value# 缓存 5年前260
走入⾼可⽤分布式集群世界 ⾼可⽤(High Availability)是分布式系统架构设计中必须考虑的因素之⼀,它通常是指,通过设计减少系统不能提供服务的时间。如果系统每运⾏100个时间单位,会有1个时间单位⽆法提供服务,我们... 网站建设# elasticsearch# 机器# 示例 5年前470
你的系统有热点缓存问题吗?如何为系统设计缓存架构? 这篇文章,跟大家讲讲站在一个程序员的角度,自己的后台架构应该如何抗住一天3个热点涌入的巨大流量!,其实使用缓存集群的时候,最怕的就是热key、大value这两种情况,那啥叫热key大value呢?,简... 网站建设# key# value# 系统 5年前360
请求量太大下游扛不住怎么办?进来学一招 这个问题简单说一下背景,如果不明白可以看上篇文章 ,不想看也没关系,这是个通用的解法,后面我会总结抽象下。,在上篇文章的最后提到对每个摘除的地址做决策时,需要顺序执行,且每一个要摘除的地址都要实时获取... 网站建设# 地址# 摘除# 获取 5年前190