存储

近日，感谢IT之家网友肖战割割提供的线索！据5月25日IT之家报道，对于大数据存储公司而言，磁带存储技术一直未曾消失，专业磁带公司LTO，由HPE、IBM和昆腾组成，宣布，2022年磁带存储产品出货量...

根据IT之家10月29日的报道，磁带作为一种存储设备，在过去20年中逐渐被认为被淘汰，外媒Techreader指出，一部分用户仍在使用磁带进行数据备份，LiveVault公司早在2003年就声称磁带已...

一、背景简介 在项目研发的过程中，对于数据存储能力的依赖无处不在，项目初期，相比系统层面的组件选型与框架设计，由于数据体量不大，在存储管理方面通常容易被轻视，当项目发展进入到中后期阶段，系统的复杂性很...

1、Docker 迁移存储目录 默认情况系统会将 Docker 容器存放在 /var/lib/docker 目录下 [问题起因]今天通过监控系统，发现公司其中一台服务器的磁盘快慢，随即上去看了下，发现...

介绍 调优 Ceph 可能是一项艰巨的挑战。在 Ceph、RocksDB 和 Linux 内核之间，实际上有数以千计的选项可以进行调整以提高存储性能和效率。由于涉及的复杂性，比较优的配置通常分散在博客...

一、背景概述 框架Dashboard是一款携程内部历史悠久的自研监控产品，其定位是企业级Metrics监控场景，主要提供用户自定义Metrics接入，并基于此提供实时数据分析和视图展现的面板服务，提供...

​​想了解更多关于开源的内容，请访问：​​ ​​51CTO 开源基础软件社区​​ ​​https://ost.51cto.com​​ 【本期看点】 Hadoop和Spark框架的性能优化系统。 云计算...

简介 OpenEBS 是什么？ OpenEBS 是一种开源云原生存储解决方案，托管于 CNCF 基金会，目前该项目处于沙箱阶段。 OpenEBS 是一组存储引擎，允许您为有状态工作负载 (Statef...

Stashing 允许您保留对存储库所做更改的副本，而无需创建提交。 如果您正在切换上下文，这非常有用，尤其是当您在同一个项目的不同错误或任务之间来回切换时。 git stash 的基本操作 在处理并...

从 NIO 到 Netty IO 是编程中一个重要的概念，不论是数据存储和网络通信，底层都是会用到，理解 IO 对面试和工作都有很大的帮助，也能从基础理论层面扎实基础，理解其上层应用就简单的多了。在常...

Groove windows 10 上新增加的音乐播放器，当我们把音乐存储到 OneDrive 之后，我们就可以使用它进行音乐播放。当然，对于本地硬盘上的音乐文件也是可以进行的。它的界面很简单，使用起...

在 21 世纪，我们往往认为数据存储是理所当然的。我们有许多存储介质，相对价格便宜，而且有许多不同的可用类型。然而，不论你获得的免费云存储空间有多少，没有比有一个物理硬盘空间来存储重要的数据更好了（或...

win11默认存储位置一般会放在系统盘c盘里，这就会导致存储内容过多会遇到系统盘储量不足的问题，因此我们需要知道win11怎么更改储存位置，就能解决了。,1、首先我们点击底部Windows徽标打开“ ...

如果我们经常使用win11自带的微软商店下载软件，或者没有修改过目录，可能会找不到win11安装目录在哪，其实我们只要打开存储就能找到了。,1、首先我们打开win11中的“ 设置”,,2、然后打开右边...

为了处理更复杂的任务，近年来神经网络的规模也在不断变大，如何高效的储存和传输神经网络变得十分重要。另一方面，随着彩票假说（Lottery Ticket Hypothesis (LTH)）的提出，随机稀...

​​​​数据湖可以很好地帮助企业应对当前数据场景越来越多、数据结构越来越复杂、数据处理需求越来越多样化的问题。阿里云从2018年起就开始布局数据湖，推出了云原生数据湖分析Data Lake Anal...

如果没有正确的工具集，管理 monorepos 通常是一项具有挑战性的任务。,在单个存储库中协调多个项目的复杂性可能会导致以下问题：,幸运的是，有一些工具可以简化单存储库的管理并增强开发体验。,在本文...

,相信下载并使用开源软件包一定是每个开发者的必备技能，毕竟站在巨人的肩膀上看风景才能看得最远，然而，你使用的开源代码一定是安全的吗？,近日，一名安全研究人员发现，很多在Python官方软件包存储库（P...

,说明,1、值类型是简单数据类型/基本数据类型，在存储过程中的变量中存储值本身，所以称为值类型。,2、五种数据类型(值类型)：string、number、boolean、undefined、null...

,说明,1、游标是用来存储查询结果集的数据类型 , 在存储过程和函数中可以使用光标对结果集进行循环的处理。,2、也可以将游标称之为光标。光标的使用包括声明光标、打开光标、使用光标和关闭光标。,实例,以...

本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和现状、如何搭建一套日志系统、从 ElasticSearch 到 Clickhouse 存储演进、日志3.0重构及未来计划。,,图1,20...

译者 | 陈峻,审校 | 孙淑娟,作为一种分析类中央存储库，数据仓库可用于存储已结构化、且已过滤的数据。而作为数据仓库典型用户的数据分析师，他们通常拥有着丰富的SQL知识、以及数据处理能力。他们通过对...

作者 ｜ 中国移动云能力中心PaaS产品部 王琦,容器内部存储的生命周期是短暂的，会随着容器环境的销毁而销毁，具有不稳定性。如果多个容器希望共享同⼀份存储，则仅仅依赖容器本身是很难实现的。,在Kube...

使用 Altair ，你可以将更多时间专注于数据及其含义，下面我将详细介绍：,这是一个在 JupyterLab 中使用 Altair 快速可视化和显示数据集的示例：,源自 Vega-Lite 的 Al...

大家好，我是程序员幽鬼。,Dolt DB[1] 是世界上第一个可以像 git 存储库一样分支和合并、推送和拉取、分叉和克隆的 SQL 数据库。,我们从头开始构建 Dolt 的存储引擎，以加快这些操作...

提起对象存储，业界唯一扛把子就是 AWS Simple Storage Service (S3), 国内云厂商不需要做什么，要什么创新，直接抄就完事。协义都是现成的，哪家厂商敢不支持 s3 协义，都会...

,分类,1、存储引擎主要有: MyIsam、InnoDB、Memory、Archive、Federated。,默认为：InnoDB 引擎。InnoDB 底层存储结构为 B+树， B 树的每个节点对应...

,当你编写一个应用时，需要数据存储是很常见的。有时你要存储你的应用需要的素材数据，其他时候你要存储用户数据，包括偏好和保存的数据。存储数据的一种方式是在数据库中，为了在你的代码和数据库之间进行通信，你...

这篇文章是想表达我对系统软件的一些理解，风格跟之前的不太一样，整体偏“务虚”。我自己其实是不太擅长“务虚”的，甚至是有点排斥。就跟相比起看论文，我更喜欢看code，当然我也看论文，只不过相对来说少些...

了解使用数组和切片在 Go 中存储数据的优缺点，以及为什么其中一个更好。,在本文中，我将解释 Go 数组和切片，包括如何使用它们，以及为什么你通常要选择其中一个而不是另一个。,数组是编程语言中最流行的...

,1、直方图是数据的分布形式。如果按姓名的字母顺序排序，可以把字母A到F开头的人放入逻辑桶。,将G到J开头的人放入另一个等等。优化器会假设数据在列中均匀分布，但实际使用时大多不均匀。,2、MySQL提...

存算一体（Computing in Memory）是在存储器中嵌入计算能力，以新的运算架构进行二维和三维矩阵乘法/加法运算。,存算一体技术概念的形成，最早可以追溯到上个世纪70年代。随着近几年云计算和...

,存储过程是一组预先编译的SQL语句的集合。编译后存储在数据库中。用户通过指定存储过程的名称并给出参数(如果存储过程中有参数)来调用和执行它。接下来我们对其特点展开探究。,特点：,1、增强SQL语言的...

Prometheus本地存储专为短期且性能要求不高的数据而设计的，因此，使用的时候需要确认当前数据的保留期限以及相应的可用性要求。为了让我们将持久数据存储更长的时间，我们使用了“外部存储”机制。在这种...

,不同点,1、Redis是存储器数据库。Memcache还可以缓存照片。,Redis和Memcache将数据存储在存储器中，是存储器数据库。但是，Memcache还可以缓存照片和视频等其他东西。Red...

,1、相同点， char(n)，varchar(n)中的n代表字符数。超过长度n的限制后，字符串将被切断。,2、不同点，char都会占用n个字符的空间，varchar只会占用实际字符应占用的字节空间加...

团队项目原来使用的云存储中间件已经下线了，由于历史原因未能及时将其全部迁移到新的云存储平台，进而导致部分功能在使用时出现问题。比如在某些需要上传并存放文件的场景下，会导致上传失败，影响正常的业务逻辑...

【问题描述】存储是IT架构最基础的部分，新技术的发展对存储提出了更高的要求，分布式存储针对这些新技术有哪些特长？不足又有哪些？,@顾黄亮 苏宁消费金融有限公司 技术总监： ,分布式存储在IT架构中的定...

业务场景中经常会有各种大key多key的情况， 比如：,1：单个简单的key存储的value很大。,2：hash， set，zset，list 中存储过多的元素（以万为单位）。,3：一个集群存储了上亿...

最近在做一个公共相关的内容，公告里边的内容，打算做成配置化的。,但是考虑到存储到数据库，需要建立数据库表；,存储到配置组件中，担心配置组件存储不下；,于是决定先暂时存储到项目中的资源目录中，以JSON...

,使用注意,1、索引必须存储列值。,覆盖索引不适用于所有索引类型。,2、MySQL只能使用B-TREE。,Hash和full-text索引没有存储值。,3、不同的存储引擎有不同的覆盖索引。,4、并不是...

,最近一年来，我所在的项目为一个传统行业客户的 IT 核心系统做遗留系统改造，我参与了该系统一个业务模块的拆分和服务化，在这过程中落地了一些有意思的实践，特此记录下来和大家分享。,这是一个运行了至少 ...

延时消息（定时消息）指的在分布式异步消息场景下，生产端发送一条消息，希望在指定延时或者指定时间点被消费端消费到，而不是立刻被消费。,延时消息适用的业务场景非常的广泛，在分布式系统环境下，延时消息的功能...

浏览器本地存储，是每一个前端小伙伴都相当熟悉的知识点。,目前使用率最高的当之无愧为Web Storage API​，也就是localStorage和sessionStorage​，API简单，读取效率...

石墨文档全部应用部署在Kubernetes上，每时每刻都会有大量的日志输出，我们之前主要使用SLS和ES作为日志存储。但是我们在使用这些组件的时候，发现了一些问题。,SLS个人觉得是一个非常优秀的产品...

大家好，我是小林。,面试中，MySQL 索引相关的问题基本都是一系列问题，都是先从索引的基本原理，再到索引的使用场景，比如：,索引底层使用了什么数据结构和算法?,今天就带大家，夯实 MySQL 索引的...

Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。,在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在...

,我最近在做一个需求：批量去往数据库里存储一些东西，数量可能一次性达到几百个，也就意味着我需要一次性往数据库里存储几百次，我是这么做的：,正当我觉得这个需求很轻松的时候。。在 Code Review ...

大家好，我是Tom哥,5G 时代，运营商网络不断提速，成本越来越低，流量越来越便宜。,给 互联网、物联网、互联网+ 各个行业的高速发展创造了非常好的有利条件，同时也产生了海量数据。,如何做好数据分析...

在看高性能MySQL第3版（4.1.7节）时，作者建议当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串。但是没有给出具体原因。为了搞清楚这个...

Kafka是一个分布式的消息队列系统，消息存储在集群服务器的硬盘,Kafka中可以创建多个消息队列，称为topic，消息的生产者向topic中发布消息，消息的消费者从topic中获取消息,消息是海量的...

相信有很多朋友在学习 SQLSERVER 的时候都听说过这句话，但大多都是记忆为主，最近在研究 SQLSERVER，所以我们从 底层存储 的角度来深入理解下。,在前面的文章中我也说过，一个 数据页 是...

最近我在公司优化过几个慢查询接口的性能，总结了一些心得体会拿出来跟大家一起分享一下，希望对你会有所帮助。,我们使用的数据库是Mysql8，使用的存储引擎是Innodb。这次优化除了优化索引之外，更多的...

,说明,1、MySQL默认事务型存储引擎，拥有良好的性能和自动崩溃恢复特性。,作用,2、处理大量的短期事务，短期事务大部分情况是正常提交的，很少被回滚。,机制分析,数据存储在表空间中，由InnoDB管...

,群聊是多人社交的基本诉求，一个群友在群内发了一条消息，期望做到：,群消息的实时性、可达性、离线消息的复杂度，要远高于单对单消息。,群业务的核心数据结构有两个。,群成员表：,画外音：用来描述一个群里有...

,说明 ,1、栈，操作系统自动分配释放存储函数的参数值和局部变量值。它的操作模式类似于数据结构中的栈。堆，复杂类型的存储(对象)通常由程序员分配和释放。,2、简单的数据类型存储在栈中，复杂数据类型存放...

,Apache Kafka（简称Kafka）是由LinkedIn公司开发的分布式消息流平台，于2011年开源。Kafka是使用Scala和Java编写的，当下已成为最流行的分布式消息流平台之一。Kaf...

存算分离，作为一种架构潮流，在架构设计和项目规划的时候经常被提及。现如今，数字化转型已经从选择题变成了必修课，企业IT架构的重塑也势在必行，所以我们有必要把这些所谓潮流的东西解构清楚。翻阅了不少资料...

,1、优点，简化复杂的操作、保证了数据的完整性、简化了变更管理等。,(1)处理封装在易于使用的单元中，简化了复杂的操作；,(2)由于不需要重复建立一系列处理步骤，因此保证了数据的完整性，如果所有开发人...

,区别 ,1、cookie数据存储在客户浏览器上，session在服务器上。,2、cookie不太安全，session较安全。,他人可以分析保管在当地的cookie，欺骗cookie，考虑到安全应该使...

,,NumPy(Numerical Python)是 Python的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库，Numpy底层使用C语言编写，数组中直接存储对...

,‍ 又有一位工作2年的小伙伴面试的时候，被问到一个集合相关的问题。说请你谈谈ArrayList、Vector和LinkedList 的存储性能及特性。,今天呢，我给大家分享一下我对这个问题的理解...

近期，笔者所在公司的某业务系统的存储临近极限，服务器马上就要跑不动了，由于该业务系统A包含多个子系统A1、A2、A3 ... An，这些子系统的中间存储文件由于设计原因，都存储在同一个父级目录之内，唯...

数组是数据结构还是数据类型？,数组只是个名称，它可以描述一组操作，也可以命名这组操作。数组的数据操作，是通过 idx->val 的方式来处理。它不是具体要求内存上要存储着连续的数据才叫数据，而是...

作者介绍,Dongyu，资深云原生研发工程师，专注于日志与OLAP领域，主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。,本文将从以下五部分切入，讲述日志系统的演进之路：携程日志的背景和...

你否曾经想托管自己的GitLab存储库以确保代码永远不会落入坏人之手？尽管在第三方云主机上托管你的存储库有很多优势（例如可用性和可靠性），但要完全控制你的存储库，这样任何人都可以在未经你批准的情况下访...

,1、连接层：最上层是一些客户端和连接服务。,主要完成一些类似连接处理、授权认证和相关安全方案。在这个层面引入了线程池的概念，为通过认证安全访问的客户端提供线程。同样，基于SSL的安全链接可以在这个层...

在存储引擎的设计上，ClickHouse采用了基于列存储的存储结构设计。列存储在很多场景中极大地降低了数据分析过程中读取的数据量，图1展示了列存储相比于行存储减少数据量的原理。明显地，在宽表场景下，由...

说到预编译，大家立刻就能想到#define、#if、#ifdef和#ifndef等熟悉的预编译命令。其实#include，我们通常放在源文件用来包含头文件，它也是预编译命令。当然这不是这篇文章的重点...

对于 Java 虚拟机，我们都知道其内存区域划分成：堆、方法区、虚拟机栈等区域。但一个对象在 Java 虚拟机中是怎样存储的，相信很少人会比较清楚地了解。Java 对象在 JVM 中的内存布局，是我们...