天天看点

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

MySQL 的存储引擎包括,MyISAM存储引擎和InnoDB,InnoDB是事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键,是默认的MySQL引擎。

mysql的数据结构这个定义怎么理解

  • .frm 文件用来描述表的格式或者说定义 ,.frm 文件的格式在不同的平台上都是相同的。
  • .ibd 文件 存储了 InnoDB 系统信息和用户数据库表数据和索引

MySQL B-tree的数据结构

为什么使用B+tree的结构?

MySQL使用B-Tree实现其索引结构,使用B-tree结构可以显著减少定位记录时所经历的中间过程,从而加快存取速度。一般来说,索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储的磁盘上。这样的话,索引查找过程中就要产生磁盘I/O消耗,相对于内存存取,I/O存取的消耗要高几个数量级,所以评价一个数据结构作为索引的优劣最重要的指标就是在查找过程中磁盘I/O操作次数的渐进复杂度。换句话说,索引的结构组织要尽量减少查找过程中磁盘I/O的存取次数。

B-tree中的每个结点根据实际情况可以包含大量的关键字信息和分支(当然是不能超过磁盘块的大小,根据磁盘驱动(disk drives)的不同,一般块的大小在1k~4k左右);这样树的深度降低了,这就意味着查找一个元素只要很少结点从外存磁盘中读入内存,很快访问到要查找的数据。

B-树的搜索,从根结点开始,对结点内的关键字(有序)序列进行二分查找,如果命中则结束,否则进入查询关键字所属范围的儿子结点;重复,直到所对应的儿子指针为空,或已经是叶子结点;

B-tree和B+tree的区别

  • B-Tree

是一种多路搜索树(并不是二叉的):

1.定义任意非叶子结点最多只有M个儿子;且M>2;

2.根结点的儿子数为[2, M];

3.除根结点以外的非叶子结点的儿子数为[M/2, M];

4.每个结点存放至少M/2-1(取上整)和至多M-1个关键字;(至少2个关键字)

5.非叶子结点的关键字个数=指向儿子的指针个数-1;

6.非叶子结点的关键字:K[1], K[2], …, K[M-1];且K[i] < K[i+1];

7.非叶子结点的指针:P[1], P[2], …, P[M];其中P[1]指向关键字小于K[1]的 子树,P[M]指向关键字大于K[M-1]的子树,其它P[i]指向关键字属于(K[i-1], K[i])的子树;

8.所有叶子结点位于同一层;

9.每个k对应一个data。

例子:(M=3)3阶的B-tree数,2–3树是一个这样的一棵树, 它的每个节点要么有2个孩子和1个数据元素,要么有3个孩子和2个数据元素,叶子节点没有孩子,并且有1个或2个数据元素。

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

B-树的特性:

1.关键字集合分布在整颗树中;

2.任何一个关键字出现且只出现在一个结点中;

3.搜索有可能在非叶子结点结束;

4.其搜索性能等价于在关键字全集内做一次二分查找;

5.自动层次控制;

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

B+Tree

B-Tree有许多变种,其中最常见的是B+Tree,例如MySQL就普遍使用B+Tree实现其索引结构。

  • 与B-Tree相比,B+Tree有以下不同点:
  • 1.非叶子结点的子树指针与关键字个数相同;
  • 2.非叶子结点的子树指针P[i],指向关键字值属于[K[i], K[i+1])的子树(B-树是开区间);
  • 3.为所有叶子结点增加一个链指针;
  • 4.所有关键字都在叶子结点出现;
  • 5.内节点不存储data,只存储key

例子:(M=3)

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

B+的搜索与B-树也基本相同,区别是B+树只有达到叶子结点才命中(B-树可以在非叶子结点命中),其性能也等价于在关键字全集做一次二分查找;

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

存储原理----索引的物理存储

一般来说,索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储的磁盘上。这样的话,索引查找过程中就要产生磁盘I/O消耗,相对于内存存取,I/O存取的消耗要高几个数量级,所以评价一个数据结构作为索引的优劣最重要的指标就是在查找过程中磁盘I/O操作次数的渐进复杂度。换句话说,索引的结构组织要尽量减少查找过程中磁盘I/O的存取次数。

B-tree

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

Paste_Image.png

假如每个盘块可以正好存放一个B树的结点(正好存放2个文件名)。那么一个BTNODE结点就代表一个盘块,而子树指针就是存放另外一个盘块的地址。

  • 下面,咱们来模拟下查找文件29的过程:

    1.根据根结点指针找到文件目录的根磁盘块1,将其中的信息导入内存。【磁盘IO操作 1次】

    2.此时内存中有两个文件名17、35和三个存储其他磁盘页面地址的数据。根据算法我们发现:17<29<35,因此我们找到指针p2。

    3.根据p2指针,我们定位到磁盘块3,并将其中的信息导入内存。【磁盘IO操作 2次】

    4.此时内存中有两个文件名26,30和三个存储其他磁盘页面地址的数据。根据算法我们发现:26<29<30,因此我们找到指针p2。

    5.根据p2指针,我们定位到磁盘块8,并将其中的信息导入内存。【磁盘IO操作 3次】

    6.此时内存中有两个文件名28,29。根据算法我们查找到文件名29,并定位了该文件内存的磁盘地址。

    分析上面的过程,发现需要3次磁盘IO操作和3次内存查找操作。关于内存中的文件名查找,由于是一个有序表结构,可以利用折半查找提高效率。至于IO操作是影响整个B树查找效率的决定因素。

当然,如果我们使用平衡二叉树的磁盘存储结构来进行查找,磁盘4次,最多5次,而且文件越多,B树比平衡二叉树所用的磁盘IO操作次数将越少,效率也越高。

B+tree

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

Paste_Image.png

  • B+tree的优点:
  1. B+-tree的磁盘读写代价更低

    ****B+-tree****的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中,那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。

    举个例子,假设磁盘中的一个盘块容纳16bytes,而一个关键字2bytes,一个关键字具体信息指针2bytes。一棵9阶B-tree(一个结点最多8个关键字)的内部结点需要2个盘快。而****B+

    ****树内部结点只需要1个盘块。当需要把内部结点读入内存中的时候,B 树就比****B+ ****树多一次盘块查找时间(在磁盘中就是盘片旋转的时间)。

  2. B+-tree的查询效率更加稳定

    由于非终结点并不是最终指向文件内容的结点,而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有关键字查询的路径长度相同,导致每一个数据的查询效率相当。

mysql的两种存储引擎的索引存储机制

MyISAM索引实现

MyISAM引擎使用B+Tree作为索引结构,叶节点的data域存放的是数据记录的地址。下图是MyISAM索引的原理图:

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

Paste_Image.png

这里设表一共有三列,假设我们以Col1为主键,则上图是一个MyISAM表的主索引(Primary key)示意。可以看出MyISAM的索引文件仅仅保存数据记录的地址。在MyISAM中,主索引和辅助索引(Secondary key)在结构上没有任何区别,只是主索引要求key是唯一的,而辅助索引的key可以重复。如果我们在Col2上建立一个辅助索引,则此索引的结构如下图所示:

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

Paste_Image.png

同样也是一颗B+Tree,data域保存数据记录的地址。因此,MyISAM中索引检索的算法为首先按照B+Tree搜索算法搜索索引,如果指定的Key存在,则取出其data域的值,然后以data域的值为地址,读取相应数据记录。这种也成为 聚簇索引,

非聚簇索引就是指B+Tree的叶子节点上的data,并不是数据本身,而是数据存放的地址。

MyISAM的索引方式也叫做“非聚集”的。

InnoDB索引实现

虽然InnoDB也使用B+Tree作为索引结构,但具体实现方式却与MyISAM截然不同。

第一个重大区别是InnoDB的数据文件本身就是索引文件。从上文知道,MyISAM索引文件和数据文件是分离的,索引文件仅保存数据记录的地址。而在InnoDB中,表数据文件本身就是按B+Tree组织的一个索引结构,这棵树的叶节点data域保存了完整的数据记录。这个索引的key是数据表的主键,因此InnoDB表数据文件本身就是主索引。

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

Paste_Image.png

上图是InnoDB主索引(同时也是数据文件)的示意图,可以看到叶节点包含了完整的数据记录。这种索引叫做聚集索引。因为InnoDB的数据文件本身要按主键聚集,所以InnoDB要求表必须有主键(MyISAM可以没有),如果没有显式指定,则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键,如果不存在这种列,则MySQL自动为InnoDB表生成一个隐含字段作为主键,这个字段长度为6个字节,类型为长整形。

第二个与MyISAM索引的不同是InnoDB的辅助索引data域存储相应记录主键的值而不是地址。换句话说,InnoDB的所有辅助索引都引用主键作为data域。例如,定义在Col3上的一个辅助索引:

把数据转换为在内存中Tree(树形结构)。_彻底理解MySQL数据结构和存储原理MySQL B-tree的数据结构为什么使用B+tree的结构?B-tree和B+tree的区别存储原理----索引的物理存储mysql的两种存储引擎的索引存储机制MySQL数据库的一些其他结构:表空间、段、区/簇、页

了解不同存储引擎的索引实现方式对于正确使用和优化索引都非常有帮助,例如知道了InnoDB的索引实现后,就很容易明白为什么不建议使用过长的字段作为主键,因为所有辅助索引都引用主索引,过长的主索引会令辅助索引变得过大。再例如,用非单调的字段作为主键在InnoDB中不是个好主意,因为InnoDB数据文件本身是一颗B+Tree,非单调的主键会造成在插入新记录时数据文件为了维持B+Tree的特性而频繁的分裂调整,十分低效,而使用自增字段作为主键则是一个很好的选择。

MySQL数据库的一些其他结构:表空间、段、区/簇、页

1.表空间

innodb存储引擎在存储设计上模仿了Oracle的存储结构,其数据是按照表空间进行管理的。新建一个数据库时,innodb存储引擎会初始化一个名为ibdata1 的表空间文件,默认情况下,这个文件会存储所有表的数据,以及我们所熟知但看不到的系统表sys_tables、sys_columns、sys_indexes 、sys_fields等。此外,还会存储用来保证数据完整性的回滚段数据,当然这部分数据在新版本的MySQL中,已经可以通过参数来设置回滚段的存储位置了;

innodb存储引擎的设计很灵活,可以通过参数innodb_file_per_table来设置,使得每一个表都对应一个自己的独立表空间文件,而不是存储到公共的ibdata1文件中。独立的表空间文件之存储对应表的B+树数据、索引和插入缓冲等信息,其余信息还是存储在默认表空间中。

表空间文件所存储的内容主要就是B+树(索引),一个表可以有多个索引,也就是在一个文件中,可以存储多个索引,而如果一个表没有索引的话,用来存储数据的被称为聚簇索引,也就是说这也是一个索引。最终的结论是,ibd文件存储的就是一个表的所有索引数据。

索引文件有段(segment),簇(extends)(有的文章翻译为区),页面(page)组成。

2.段(segment)

段是表空间文件中的主要组织结构,它是一个逻辑概念,用来管理物理文件,是构成索引、表、回滚段的基本元素。

表空间是由各个段组成的,常见的段有数据段、索引段、回滚段等。InnoDB存储引擎表是索引组织的(index organized),因此数据即索引,索引即数据。那么数据段即为B+树的页节点(上图的leaf node segment),索引段即为B+树的非索引节点(上图的non-leaf node segment)。

创建一个索引(B+树)时会同时创建两个段,分别是内节点段和叶子段,内节点段用来管理(存储)B+树非叶子(页面)的数据,叶子段用来管理(存储)B+树叶子节点的数据;也就是说,在索引数据量一直增长的过程中,所有新的存储空间的申请,都是从“段”这个概念中申请的。

3.区/簇(extents)

段是个逻辑概念,innodb引入了簇的概念,在代码中被称为extent;

簇是由64个连续的页组成的,每个页大小为16KB,即每个簇的大小为1MB。簇是构成段的基本元素,一个段由若干个簇构成。一个簇是物理上连续分配的一个段空间,每一个段至少会有一个簇,在创建一个段时会创建一个默认的簇。如果存储数据时,一个簇已经不足以放下更多的数据,此时需要从这个段中分配一个新的簇来存放新的数据。一个段所管理的空间大小是无限的,可以一直扩展下去,但是扩展的最小单位就是簇。

4.页(page)

InnoDB有页(page)的概念,可以理解为簇的细化。也是InnoDB磁盘管理的最小单位。

常见的页类型有:数据页(B-tree Node)、Undo页(Undo Log Page)、系统页(System Page)、事务数据页(Transaction system Page)、插入缓冲位图页(Insert Buffer Bitmap)、插入缓冲空闲列表页(Insert Buffer Free List)、未压缩的二进制大对象页(Uncompressed BLOB Page)、压缩的二进制大对象页(Compressed BLOB Page)。

在逻辑上(页面号都是从小到大连续的)及物理上都是连续的。在向表中插入数据时,如果一个页面已经被写完,系统会从当前簇中分配一个新的空闲页面处理使用,如果当前簇中的64个页面都被分配完,系统会从当前页面所在段中分配一个新的簇,然后再从这个簇中分配一个新的页面来使用;

文章整理自网络和自己的见解,熬夜写文章不易,希望对大家有帮助

继续阅读