数据库

要想在项目中操作数据库， 首先要安装操作 MySQL 数据库的第三方模块(mysql)， 借助mysql 模块连接到 MySQL 数据库， 执行 SQL 语句，具体的流程如下图所示。,,mysql 模...

​​localStorage​​​ 是前端本地存储的一种，其容量一般在 ​​5M-10M​​ 左右，用来缓存一些简单的数据基本够用，毕竟定位也不是大数据量的存储。 在某些场景下 ​​localStor...

以用户为中心，提供快速的网页访问体验。主要参数有较短的响应时间、较大的并发处理能力、较高的吞吐量与稳定的性能参数。,可分为前端优化、应用层优化、代码层优化与存储层优化。,①服务尽量进行拆分（微服务...

无论是创建网站，还是移动应用程序，我们都需要通过 API 来传递数据，通过 API 我们可以获取到数据库中的数据，可以操作数据库，可以处理一些业务逻辑。现在最流行的 API 架构是 REST。但是，G...

,上篇文章：《​​为什么有些看起来很厉害的技术高手，设计的架构都很垃圾？​​》主要聊了一下将单块系统重构为分布式系统，以此来避免单台机器的负载过高。同时引申出来了弹性资源调度、分布式容错机制等相关的东...

,最近有很多小伙伴给我留言，分布式系统时代，线程并发，资源抢占，"锁" 慢慢变得很重要。那么常见的锁都有哪些？,今天Tom哥就和大家简单聊聊这个话题。,正如其名，它是指对数据修改时持保守态度，认为其他...

,微服务架构的应用具有很好的扩展性，因此似乎微服务并不挑数据库，在微服务中使用哪种数据库问题都不是很大。事实真的如此吗？也许对于一些研发能力很强的队伍来说，为微服务选择数据库是很容易的事情，因为选择的...

译者 | 布加迪,审校 | 重楼,Python庞大的数据科学工具生态系统对用户有很大的吸引力。生态系统如此庞大而丰富的唯一缺点是，有时最好的工具可能会被忽视。,,下面介绍了其中几款面向Python的最...

译者 | 陈峻,审校 | 孙淑娟,Java 8 的并行流是改进大型集合处理的直接方法。本文在此基础上介绍了三种不同的改进算法，并通过比较，给出了能够带来更优越性能的方法。,和许多其他编程语言类似，Ja...

,​​想了解更多关于开源的内容，请访问：​​,​​51CTO 开源基础软件社区​​,​​https://ost.51cto.com​​,在​​自定义HamronyOS启动页组件​​一文中封装了启动页组...

,最近参与公司项目研发，在其中发现对于数据的管理存在一些小问题，根据以往经验，在这里记录下微服务数据设计模式。,微服务架构中的服务是松耦合的，可以独立开发、部署和扩展。每个微服务都需要不同类型的数据和...

​译者 | 陈峻,审校 | 孙淑娟,在本文中，我将构建一个Java微服务，与Neo4j AuraDB的免费数据库中的图形数据进行连接和交互。这些数据是​​Goodreads数据集​​的精简版，其中包含...

,1、概念,通过独立的中间件来统一管理所有数据源和数据分片整合，后端数据库集群对前端应用程序透明，需要独立部署和运维代理组件。,代理组件为了分流和防止单点，一般以集群形式存在，同时可能需要 Zooke...

公司主营短信，工作中数据库查询占了很大比例。,我们的操作是，通过navicat连接十多台机器的库，然后连接数据库-输入sql-修改查询条件（如一长串的日期）进行各种查询。,遇上高峰期，客服频频转发问题...

什么是多数据源?最常见的单一应用中最多涉及到一个数据库，即是一个数据源(Datasource)。那么顾名思义，多数据源就是在一个单一应用中涉及到了两个及以上的数据库了。,其实在配置数据源的时候就已经很...

​译者 | 布加迪,审校 | 孙淑娟,随着组织将单体应用程序分解成微服务，遇到的主要障碍之一就是识别数据库依赖关系。,数据库共享可能是复杂的挑战。数据库不允许您定义什么是共享的、什么不是。在修改模式以...

​随着近些年来内外部形势的剧烈变化及企业自身发展诉求，国内企业愈发重视基础软件的自主可控。特别是对于某些涉及国计民生的重点行业，监管层面也提出了非常明确的指导意见，在指定时间内完成技术改造。,作为核心...

目前随着微服务化建设的普及，存在越来越多的跨系统数据交互情况，跨系统数据一致性问题越发凸显，那如何有效保证跨系统数据的一致性呢?,本文旨在总结沉淀工作中问题的解决经验，整理解决跨系统数据不一致问题的经...

,在某些情况下，我们希望从外部数据库中获取数据，而无需在应用程序中进行额外编码，只需编写一个 T-SQL 查询即可为我们完成所有工作。这就是微软提供的“链接服务器”功能的原因。,但默认情况下，链接服务...

我们都知道 Seata 是一个分布式事务的解决方案，今天我们就来带大家了解一下什么是分布式事务，首先我们先来了解一下基础的知识——事务，我们先来了解一下事务的概念是什么。,事务四部分构成— ACID...

作者 | KG沈剑,​有水友提问：,这是一个典型的，短文本分词搜索的问题，简单聊聊自己的经验。,,(1) 数据库LIKE法​,将标题数据存放在数据库中，使用like来查询，方案非常简单，能支持简单的模...

如果我们把数据比作“米”，数据库就是“米仓”。没错，从标准定义来讲，数据库就是按照数据结构来组织，存储和管理数据的仓库。 数据库的设计初衷？ 就像米多了要修建米仓一样，在操作系统出现之后，随着计算机应...

,译者 | 康少京,策划 | 云昭,在众多NoSQL存储中，Cassandra 是广受企业和开发者欢迎的选择之一。它使用AmazonDynamo引入的架构方面的特性来支持Big Table 数据模型...

微服务架构想必大家都是有所耳闻。,简单来说，微服务架构就是把传统的一个单体应用以一套"小服务"的方式进行开发，这些"小服务"可以运行在不同机器上，它们在自己的进程中运行，"小服务"之间可以通过像是 H...

​一想到并发控制，很多人第一反应就是加锁，的确，加锁确实是解决并发问题最常见的方案。但是，其实除了加锁以外，在数据库领域，还有一种无锁的方案可以来实现并发控制，那就是大名鼎鼎的MVCC。,MVCC，是...

译者 | 李睿,审校 | 孙淑娟,许多企业发现了图形数据库在解决连接数据的复杂问题方面提供的巨大价值。在关系数据库关注数据模型中的数据时，它们很难从同一数据模型中的数据项之间的关系中获取价值。而图形数...

我们首先看一下数据库里面有一个 department这个部门表。这个表里有六条数据，分别代表不同的部门。,接下来看一下这个Python代码，首先导入需要用到的库SQLAlchemy，这是Python中...

,Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。,包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。,有些朋友可能听说过H...

文章目录 准备 keys * 等命令的危害与避免 不用keys * ，应该用什么 BigKey 阿里云Redis开发规范 多大算Big 危害 怎么产生的？ 怎么发现BigKey 怎么删除 String...

当我们为自己编写程序时，通常会将一些重要的配置项直接写在源代码里，比如：服务器监听的端口、数据库使用的名称和端口号、HTTP请求超时的持续时间...,但是，如果我们尝试将这个项目开源分享给他人使用，用...

Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：,你...

​作者 ｜ 霖雾，携程数据开发工程师，关注图数据库等领域。​,2017年9月携程金融成立，在金融和风控业务中，有多种场景需要对图关系网络进行分析和实时查询，传统关系型数据库难以保证此类场景下的关联性能...

,Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库...

DTS是数据传输平台(Data Transfer Platform的缩写),随着得物App的用户流量增长，业务选择的数据库越来越多样化，异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持...

哈喽，大家好，我是指北君。,今天给大家介绍一下 JPA 实体类中的注解，希望能对大家有帮助。,标注于实体类声明语句之前，指出该 Java 类为实体类，将映射到指定的数据库表。,不与 @Table 结合...

,1、WAL预写日志系统。数据库中的高效日志算法，对于非内存数据库来说，磁盘I/O操作是数据库效率的一个重要瓶颈。,在相同的数据量下，使用WAL日志的数据库系统提交业务时，磁盘写作操作只有传统滚动日志...

近年来，随着 ARM 技术的发展，ARM 在服务器芯片领域的应用范围逐渐推广，在 Intel X86 的技术标准和产品供应链之外，提供了新的选择空间。,现阶段需重点研究分布式数据库同时支持 X86 和...

分库分表，是企业里面毕竟常见的针对高并发、数据量大的场景下的一种技术优化方案，也是一个非常高频的面试题。但是，因为很多人其实并没有非常丰富的分库分表的经验，所以能把这个问题回答的比较好的人其实还挺少的...

近日，围绕国内数据库产品，计世资讯发布“数据库产品影响力指数”。在“分布式数据库”榜单中，30家国产分布式数据库产品榜上有名。其中，蚂蚁“OceanBase企业级分布式关系数据库”、腾讯云“TDSQL...

,很多同学可能从来没接触过这个东西，所以本文我们就以现在最火最流行的Elasticsearch为例，来聊一下分布式搜索引擎的核心架构原理。,要了解分布式搜索引擎，先了解一下搜索这个事儿吧，搜索这个技术...

SQL 起源于上世纪七十年代的 IBM R 系统，是一个针对关系型数据库的声明式查询语言。一句话引出三个点：,1. 关系型（relational）：基于关系代数理论的一种数据建模方式，其他的建模方式如...

在上一篇文章中，我们详细的介绍了对于下单流量不算高的系统，可以通过​请求唯一ID​+​数据表增加唯一索引约束​这种方案来实现防止接口重复提交！,随着业务的快速增长，每一秒的下单请求次数，可能从几十上升...

大家好，我是不才陈某~,请求合并到底有什么意义呢？我们来看下图。,,假设我们3个用户（用户id分别是1、2、3），现在他们都要查询自己的基本信息，请求到服务器，服务器端请求数据库，发出3次请求。我们都...

,1、连接管理，是MySQL数据库的客户端和服务器端建立连接的管理工具。,客户端通过IP地址、端口号、用户名、密码等信息连接MySQL数据库，然后通过数据库的连接管理工具进行连接验证，确认用户名和密码...

,耦合，是架构中，本来不相干的代码、模块、服务、系统因为某些原因联系在一起，各自独立性差，影响则相互影响，变动则相互变动的一种架构状态。,作为技术人，每每在心中骂上下游，骂兄弟部门，“这个东西跟我有什...

Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言...

最近朋友圈被阿里的 Chat2DB 刷屏了，磊哥也是第一时间下载并体验了阿里巴巴的 Chat2DB，今天就迫不及待和大家分享一下。,Chat2DB 是一款由阿里巴巴开源免费的多数据库客户端工具，支持 ...

现在只要是个数据库都肯定会说自己是具有HTAP能力的，让选择数据库的朋友有了选择恐惧症。实际上选择数据库用一句最简单的话说就是只选对的，不选最好的。再好的数据库产品，不符合你的应用，运维等方面的需求...

,说明,1、在写数据之前，可以强制检查或转换数据等。,2、触发器执行错误，前面成功执行的SQL将被撤销。,导致事务回滚.触发器名称在表中必须是唯一的，数据库中的各个表之间也可以相同。,在每一个时间内只...

,当你编写一个应用时，需要数据存储是很常见的。有时你要存储你的应用需要的素材数据，其他时候你要存储用户数据，包括偏好和保存的数据。存储数据的一种方式是在数据库中，为了在你的代码和数据库之间进行通信，你...

,这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。虽然定位是有“分布式”、“容错架构”等看起来略显复杂的字眼，但是咱们还是按照老规矩：大白话 + 手绘数张彩图，逐步递进...

译者 | 朱先忠,审校 | 梁策 孙淑娟,为了安全起见，使用无状态JWT令牌时可以使用短时限TTL(1分钟)策略，然后这些令牌会在其生存时间内及时刷新。如果服务器不知道用户何时注销，那么可以继续刷新已...

京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付，已经成为一大批用户的消费习惯，更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台，京东白条的后台技...

其实一开始用的是pymysql，但是发现维护比较麻烦，还存在代码注入的风险，所以就干脆直接用ORM框架。,ORM即Object Relational Mapper，可以简单理解为数据库表和Python...

哈喽，大家好，我是指北君。不知道大家出去面试有没有被问到过如何保证数据库与缓存一致性问题呢？大家又是如何回答的呢？,缓存一致性 每次逢年过节的时候抢票非常艰难，放票的时候那么多人同时去抢票，如果所有人...

,作用说明,1、恢复，某些数据的恢复需要二进制日志。,如当一个数据库全备文件恢复后，我们可以通过二进制的日志进行point-in-time的恢复。,2、复制，通过复制和执行二进制日志使得一台远程的My...

WebFlux 最为人所诟病的是数据库的支持问题，毕竟数据是一个应用的生命，我们接触的大部分应用程序都是有数据库的，而 WebFlux 在这一方面的支持行一直比较弱，这也是大家总是吐槽它的原因。,不过...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 清华姚班校友陈丹琦，在ACL 2023上做了场最新演讲！ 话题还是近期非常热门的研究方向—— 像GPT-3、PaLM这样的...

首先我先声明一点，本文单纯就是技术探讨，要从实际应用中来说的话，我并不建议这样去玩分布式事务、也不建议这样去玩多数据源，毕竟分布式事务主要还是用在微服务场景下。,好啦，那就不废话了，开整。,首先我们来...

环境变量取决于某些特定的环境，是特定于当前系统环境的变量，比如，当前登录的用户存储在 USER 变量中。 我们今天这篇文章将会介绍如何查看系统的环境变量。 什么是环境变量 环境变量与你的桌面环境无关...

Seata在大厂也是属于高频的面试题，有一位3年工作经验的小伙伴被问到一道这样的面试题，说“谈谈你对Seata的理解”。那么，今天我给大家来聊一聊。,另外，我花了很长时间，准备了一份500页的PDF面...

,几乎所有的信息管理系统都会涉及到事务，事务的目的是为了保证数据的一致性，这里说的一致性是数据库状态的一致性。,说到数据库状态的一致性，相信大家都会想到 ACID ：,在单体架构中，通常是一套程序对应...

,,Python 目前已经进化到了 3.8 版本，对操作数据库也提供了相应的异步支持。当我们做一个 Web 服务时，性能的瓶颈绝大部分都在数据库上，如果一个请求从数据库中读数据的时候能够自动切换、去处...

大家好，我是 CoderBin,本文总结了一些关于web攻击的几种方式（不代表全部）以及预防方法，希望大家的web之路能够"一路平安",如果文中有不对、疑惑的地方，欢迎在评论区留言指正,Web攻击（W...

,应用场景,1、数据库的灵活复制环境。分组复制可以灵活地增加和减少集群中的数据库实例。,2、数据库环境的高可用性。,在集群中大部分服务器可用时，组复制允许数据库实例宕机，那么整个数据库服务可用。,3...

,判断问题SQL,1、判断SQL是否有问题时可以通过两个表象进行判断：系统级别表象和SQL语句表象。,系统级别表象,CPU消耗严重,IO等待严重,页面响应时间过长,应用的日志出现超时等错误,可以使用s...

其实一开始用的是pymysql，但是发现维护比较麻烦，还存在代码注入的风险，所以就干脆直接用ORM框架。,ORM即Object Relational Mapper，可以简单理解为数据库表和Python...

2023 年度的 ACM SIGMOD/PODS 国际数据管理大会（SIGMOD 2023）将于当地时间 6 月 18-23 日在美国西雅图举办。近日，该会议公布了最佳论文名单，微软研究院的《Pred...

,这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。,虽然定位是有“分布式”、“容错架构”等看起来略显复杂的字眼，但是咱们还是按照老规矩：大白话 + 手绘数张彩图，逐步递...

,1、第一范式1NF：字段原子性，字段不可再分割。,关系型数据库，默认满足第一范式。,注意，在一对多的设计中使用逗号分隔多个外键，这种方法虽然存储方便，但不利于维护和索引。,2、第二范式：消除对主键的...

,备份是通过查询MySQL服务器获取数据库结构和内容信息。,1、备份比物理方法慢，因为服务器必须访问数据库信息并将其转换为逻辑格式。如果输出写入客户端，服务器还必须将其发送到备份程序。,2、输出大于物...

,说明,1、二进制日志记录了对数据库执行更改的所有操作，但是不包括select和show这类操作。,2、用于复制，在主从复制中，从库利用主库上的binlog进行重播，实现主从同步。,用于数据库的基于时...

,说明,1、在数据库表结构中对字段添加唯一索引后，进行数据库进行存储操作时数据库会判断库中是否已经存在此数据。,不存在此数据时才能进行插入操作。,2、索引列的值必须唯一，但允许有空值。,如果是组合索引...

很多小伙伴使用了GreatSQL，但是对GreatSQL的底层原理还不是很了解，今天就带大家一起揭开GreatSQL体系架构的神秘面纱！,首先来回顾一张经典的体系架构图：,图片,图1_GreatSQL...

,在进行某项系统测试时，遇到选择部分保单更新为加急状态后，未选中的保单也同步更新成了加急状态。,经过比对分析，发现是SQL查询在数据库设计为字符型的字段，SQL语句中用了数值型来查询时，查询结果结果会...

微服务架构如今非常的流行，这个架构下可能经常会遇到“双写”的场景。双写是指您的应用程序需要在两个不同的系统中更改数据的情况，比如它需要将数据存储在数据库中并向消息队列发送事件。您需要保证这两个操作都会...

,说明,mysql数据库提供了主从备份机制。,1、将主数据库的所有数据同时写入备份数据库。实现mysql数据库的热备份。,使用步骤,master将改为二进制日志(binarylog)。这就是所谓的二进...

,实现方法,1、用数据版本Version记录机制实现，这是乐观锁最常用的一种实现方式。,2、数据版本，即为数据增加一个版本标识，一般是通过为数据库表增加一个数字类型的 version字段来实现。当读取...

,说明,1、打开查询缓存后，在相同的查询条件和数据的情况下，在缓存中直接返回结果。,这里的查询条件包括查询本身、现在查询的数据库、客户协议版本号等可能影响结果的信息。因此，任何两个查询在任何字符上都会...

,程序中的唯一标识符对于跟踪非常有用。当这些 id 包含高分辨率时间戳时，它们会更加有用。,唯一标识符不仅记录事件的时间，而且是唯一可以帮助跟踪通过系统的事件。,这种独特的时间戳根据实现方式的不一样...

Go 语言中有一个有些特殊的概念，叫做零值。许多转语言的同学经常会弄混淆，一开始会不适应。,代码如下：,输出结果：,这会导致大家在定义各种数据库字段时比较纠结，又会说 Go 这零值，例如：整型的零值 ...

某天，开发的代码在 CI 阶段遇上了这样一个看似比较「怪异」的问题：,代码在 CI 时，有一个步骤会跑去单元测试。因为依赖了远程的配置中心，所以有两份配置存在，一个在配置中心，一个是本地的 yml 文...

前几篇文章主要记录了一下是使用APICloud开发App前端的部分，这次再来体验一下APICloud的云数据库。 云数据库可以通过web页面来操作，实现一些数据库的基本功能，非常方便。云数据库大家可以...

,1、Python操作PgSQL，需要先安装依赖包psycopg2。,2、使用psycopg2中的connect()连接数据库，创建数据库连接对象和游标对象。 ,获得游标对象后，可以执行SQL，然后操...

,在我们数据库中有些时候会保存一些用户的敏感信息，比如：手机号、银行卡等信息，如果这些信息以明文的方式保存，那么是不安全的。假如：黑客黑进了数据库，或者离职人员导出了数据，那么就可能导致这些敏感数据的...

,DB-Engines最近发布了2021年8月份的数据库排名，网站是根据数据库管理系统当前的流行程度进行排名，排名每月更新一次。, ,DB-Engins排名标准是：通过调研这些数据库在搜索引擎（谷歌或...