百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

「职场面试」数据库常见面试题 (二)-MySQL分库分表

qiyuwang 2024-10-21 09:35 12 浏览 0 评论

上期我们讲了索引,MyISAM和InnoDB的选择等相关的数据库面试题目,小伙伴们掌握得怎么样了?这期树懒君决定分享一下分库分表方面的面试题目,这是一个很经典的面试问题哦~

首先,要知道分库分表是两回事儿,大家可别搞混了,可能是光分库不分表,也可能是光分表不分库,都有可能。下面直接上问题!

1.分区方案有哪些?

分区表是由多个相关的底表实现的。这些基础表也由句柄对象表示,因此我们也可以直接访问各个区域,存储引擎管理区域的各个基础表与管理普通表相同(所有基础表都必须使用相同的存储引擎),区域表的索引只是在各个基础表相同的索引。该方案屏蔽了用户的细节,即使查询条件没有sharding column,也能正常工作。

2.MySQL分区能做什么?

  • 分割逻辑数据
  • 提高单一的写作和阅读应用速度。
  • 提高分区范围阅读查询速度。
  • 分割数据能够有多个不同的物理文件路径
  • 高效保存历史数据。

3.分区的类型

  • RANGE区域:根据给定连续区间的列值,将多行分配给区域。mysql根据指定的分割战略,将数据放入不同的表格文件中。相当于文件,被拆成小块。但是,对外给顾客的感觉是表,是透明的。
  • 根据range,每个库的连续数据,这一般在时间范围内,如交易表、销售表等,可以根据年月保管数据。可能会出现热点问题,大量的流量都在最新数据上。
  • 分range的好处是,扩张时很简单。
  • 类似于RANGE分区,每个分区都必须明确定义。其主要区别在于,LIST分区中每个分区的定义和选择是基于某个列的值从属于一个列的值集中在一个列的值中,而RANGE分区从属于一个连续区间值集中在一起。
  • 根据用户定义的表现式回归值进行选择的区域,将该表现式插入表中的列值进行计算。该功能包括MySQL中有效、产生非负整数值的表现。
  • hash分发的优点是,可以平均分配各仓库的数据量和请求压力的缺点是扩麻烦,有数据转移的过程,以前的数据需要重新计算hash值,重新分配到不同的库和表。
  • KEY分区:类似于HASH区域,KEY区域只支持计算一列或多列,MySQL服务器提供自己的哈希函数。必须有一列或多列包含整数值。

4.为什么大部分互联网不使用分区,而是自己分库分表?

许多资源受单体限制,如连接数量、网络吞吐等。如何进行隔断,在实际应用中是十分关键的要素之一。

5.为什么要分库分表?

从性能上看

随着单库数据量越来越大,数据库查询QPS越来越高,数据库读写所需的时间也越来越多。数据库的读写性能可能成为业务发展的瓶颈。相应地,需要优化数据库的性能。本文只讨论数据库水平的优化,不讨论缓存等应用水平的优化手段。

如果数据库查询QPS过高,就需要考虑拆库,通过分库分担单个数据库的连接压力。例如,如果查询QPS为3500,假设单个库可以支持1000个连接数,则可以考虑将其分成4个库来分散查询连接压力。

单表数据量过大时,数据量超过一定量级后,无论是数据查询还是数据更新,在索引优化等纯数据库水平的传统优化手段后,都可能存在性能问题。这是量的变化产生了质的变化。此时,有必要改变解决问题的想法。例如,从数据生产的源头、数据处理的源头解决问题。既然数据量很大,我们就分别治疗,成零。这产生了分钟,将数据按照一定的规则分成多个钟表,解决了在钟表环境下无法解决的访问性能问题。

从可用性上看

如果单个数据库发生事故,很可能会丢失所有数据。特别是在云时代,许多数据库都在虚拟机上行驶。如果虚拟机/宿主机发生事故,可能会造成无法挽回的损失。因此,除了传统的Master-Slave、Master-Master等部署水平,还可以考虑从数据分割水平解决这个问题。

此处我们以数据库宕机为例:

  • 单库部署情况下,如果数据库宕机,那么故障影响就是100%,而且恢复可能耗时很长。
  • 如果我们拆分成2个库,分别部署在不同的机器上,此时其中1个库宕机,那么故障影响就是50%,还有50%的数据可以继续服务。
  • 如果我们拆分成4个库,分别部署在不同的机器上,此时其中1个库宕机,那么故障影响就是25%,还有75%的数据可以继续服务,恢复耗时也会很短。

当然,我们也不能无限制的拆库,这也是牺牲存储资源来提升性能、可用性的方式,毕竟资源总是有限的。

6. 如何分库分表(分库?分表?还是既分库又分表?)

分库分表方案可以分为下面3种

7. 如何对数据进行切分?

通常根据垂直拆分、水平拆分两种方式进行划分,当然,一些复杂的业务场景也可能选择两者结合的方式。

垂直拆分

垂直分表通常根据业务功能的使用频率,将主要受欢迎的字段放在一起作为主要表。然后,将不常用的东西根据各自的业务属性聚集起来,分成不同的次要表的主要表和次要表的关系一般是一对一的。

水平拆分(数据分片)

单表容量不超过500W,否则建议分级。将一块手表复制成同一块手表结构的不同手表,按照一定的规则将数据分别保存在这些手表中,保证手表的容量不太大,提高性能的当然,这些结构相同的手表可以放在一个或多个数据库中。

水平分割的几种方法:

  • 使用MD5哈希,加密UIDmd5,取前几名(在这里取前两名),然后将不同的UID哈希放入不同的用户表中。
  • 根据时间可以放入不同的表。例如,article_201601、article_201602。
  • 按热度拆分,点击率高的词条生成各自的表,低热的词条放在大表中,低热的词条达到一定的贴数后,将低热的表单独分割成表。
  • 根据ID的值加入对应的表格,第一个表格user_0000,第二个100万用户数据加入第二个表格user_0001,随着用户的增加,直接加入用户表格即可。


欢迎点击下方“了解更多

相关推荐

屏幕属性详解:DCI-P3、对比度、色域、Nit

屏幕属性详解:DCI-P3、对比度、色域、Nit---一、DCI-P3(色域标准)1.定义DCI-P3是由美国电影工业制定的广色域标准,覆盖CIE1931色彩空间的约96%,尤其强化红色和绿...

千元级小钢炮,畅爽游戏兼顾生产力,华硕VG249Q1A

#头条创作挑战赛#hello小伙伴们大家好,这里是你们热衷于桌搭的小伙伴晋升奶爸的垃圾佬。...

服务器磁盘在线扩容案例分享

服务器出现磁盘空间不足,可通过lvm实现在线扩容lsblk分析服务器磁盘基本情况使用lsblk命令查看到我们的分区情况,从下面可以看出服务器的根分区是一个lvm卷,满足在线扩容的要求,同时可发现这台...

LVM系列篇:缩容逻辑卷

LVM系列篇:缩容逻辑卷上一篇LVM篇:扩容逻辑卷我们动手实际操作如何扩容逻辑卷。下面我们演示一下如何缩容逻辑卷。提示:相较于扩容逻辑卷,对逻辑卷进行缩容时,丢失数据的风险较大。所以在生产环境中进行操...

CentOS7下动态调整LVM分区大小的操作步骤

1、问题现象1、df–Th查看发现/根分区可用空间不足,且/home分区可用空间较多2、配合lsblk命令查看发现/根分区与/home分区均为LVM类型2、解决思路压缩/home分区的大小,腾出空间...

Linux根目录扩容——学习记录

公司服务器有的服务器需要扩容,自己在网上查找资料学习,顺便整理记录一下你觉得还不错的话,别忘记点赞哦。以下就是Linux根目录扩容的步骤,跟着操作你也一定能成功。...

CentOs7虚拟机扩容磁盘,非增加硬盘,简单实用,步骤详细

本次扩容需要重新启动虚拟机,所以在跑业务的时候,需要谨慎操作。另外扩容有风险,最好把虚拟机做全盘备份,或者快照。一、查看现在磁盘容量情况命令:df–h,总共是200G二、在虚拟机编辑窗口把硬盘扩容...

centos7 对非LVM Linux 扩充磁盘从20G到30G

对于没有LVM的分区,而且要扩展的分区在最后面,并不是中间分区。我们可以采用下面的方法。1.关机,并做好快照,保证万无一失。检查文件系统#fdisk-l/dev/sda20G#df-h...

Linux 中的逻辑卷 LVM 管理完整初学者指南

这是Linux中LVM(逻辑卷管理)的完整初学者指南。在本教程中,您将了解LVM的概念、它的组件以及为什么要使用它。...

Linux系统扩容

1.确定linux磁盘空间是否不足,使用命令:df-h2.打开虚拟机,修改配置(修改时需要先关闭客户机),如下:lsblk命令:列出所有可用设备块信息...

「学员笔记」LINUX随堂笔记(二)

昨天的笔记大家觉得可还满意?是不是感觉相见恨晚。今天宝藏小编继续给你带来我们学员的优质笔记供大家食用。第2章用户和磁盘管理一.用户帐号管理1.1添加用户账号(useradd)...

「干货」Linux入门篇|Linux 逻辑卷管理LVM

基本磁盘分区以后,如果分区空间用完了,能扩展吗?动态磁盘管理:...

记一次Linux机器centos7系统扩充root磁盘空间经历

CentOS虚拟机根分区磁盘扩容操作,我是用VMware虚拟机做的实验。一、选择你需要扩容的虚拟机器,右击——编辑设置根据需求扩容虚拟机的空间,我扩容是"60G"(根据个人需要填写空间...

详细讲解VMware CentOS7磁盘扩容

VMwareCentOS7磁盘扩容IceScream环境准备虚拟机软件:VMware16Pro系统版本:Linuxlocalhost.localdomain虚拟机:CentOS7,8都可...

(建议收藏)CentOS7挂载未分配的磁盘空间以及LVM详细介绍

简述本文主要介绍CentOS7下如何挂载未分配磁盘空间的详细操作步骤。LVMLVM,逻辑卷管理,英文全称LogicalVolumeManager,是Linux环境下对磁盘分区进行管理的一种机制。是...

取消回复欢迎 发表评论: