mysql分库分表一般有如下场景
在 <<聊一聊扩展字段设计>> 一文中有讲解到基于KV水平存储扩展字段方案,这就是非常典型的可以水平分表的场景.主表和kv表是一对N关系,随着主表数据量增长,KV表最大N倍线性增长.
这里我们以分KV表水平拆分为场景
对于kv扩展字段查询,只会根据id ◆ key 或者 id 为条件的方式查询,所以这里我们可以按照id 分片即可
依次类推!
水平分表相对比较容易,后面会讲到基于mybatis插件实现方案
场景:以下我们基于博客文章表分库场景来分析
目标:
表结构如下(节选部分字段):
按照user_id sharding
依次类推
对于水平分表/分库后,非shardingKey查询首先得考虑到
基于mybatis分库分表,一般常用的一种是基于spring AOP方式, 另外一种基于mybatis插件.其实两种方式思路差不多.
实现动态数据源获取接口
测试结果如下
由此可知,我们需要在Executor阶段 切换数据源
对于分库:
原始sql:
目标sql:
其中定义了三个注解
@useMaster 是否强制读主
@shardingBy 分片标识
@DB 定义逻辑表名 库名以及分片策略
①.)编写entity
Insert
select
以上顺利实现mysql分库,同样的道理实现同时分库分表也很容易实现.
此插件具体实现方案已开源:
目录如下:
mysql分库分表,首先得找到瓶颈在哪里(IO or CPU),是分库还是分表,分多少?不能为了分库分表而拆分.
原则上是尽量先垂直拆分 后 水平拆分.
以上基于mybatis插件分库分表是一种实现思路,还有很多不完善的地方,
例如:
分表是分散数据库压力的好方法.
分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库.
当然,首先要知道什么情况下,才需要分表.个人觉得单表记录条数达到百万到千万级别时就要使用分表了.
分表的分类
**1、纵向分表**
将本来可以在同一个表的内容,人为划分为多个表.（所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.）
分表理由：根据数据的活跃度进行分离,（因为不同活跃的数据,处理方式是不同的）
案例：
这样纵向分表后：
首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据.活跃数据,可以使用Innodb ,可以有更好的更新速度.
其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度.对热数据,可以相对有更多的主库的横向分表处理.
其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis之类的缓存,等累计到一定量再去更新数据库.或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个.
分表理由：根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力.
案例：同上面的例子,博客系统.当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能.例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求（因为,不可能绝对的平均,只是假设）,这样压力就降低了很多很多.
延伸：为什么要分表和分区?
日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率.
什么是分表?
分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在同一块磁盘上,也可以在不同的机器上.app读写的时候根据事先定义好的规则得到对应的子表名,然后去操作它.
什么是分区?
分区和分表相似,都是按照规则分解表.不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存放,可以是同一块磁盘也可以在不同的机器.分区后,表面上还是一张表,但数据散列到多个位置了.app读写的时候操作的还是大表名字,db自动去组织分区的数据.
**MySQL分表和分区有什么联系呢?**
①.、都能提高mysql的性高,在高并发状态下都有一个良好的表现.
我们知道对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力.Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略.
**1、分表**
在分表之前,首先要选中合适的分表策略（以哪个字典为分表字段,需要将数据分为多少张表）,使数据能够均衡的分布在多张表中,并且不影响正常的查询.在企业级应用中,往往使用org_id(组织主键)做为分表字段,在互联网应用中往往是userid.在确定分表策略后,当数据进行存储及查询时,需要确定到哪张表里去查找数据,
数据存放的数据表 = 分表字段的内容 % 分表数量
分表能够解决单表数据量过大带来的查询效率下降的问题,但是不能给数据库的并发访问带来质的提升,面对高并发的写访问,当Master无法承担高并发的写入请求时,不管如何扩展Slave服务器,都没有意义了.我们通过对数据库进行拆分,来提高数据库的写入能力,即所谓的分库.分库采用对关键字取模的方式,对数据库进行路由.
数据存放的数据库=分库字段的内容%数据库的数量
数据库分表可以解决单表海量数据的查询性能问题,分库可以解决单台数据库的并发访问压力问题.
当数据库同时面临海量数据存储和高并发访问的时候,需要同时采取分表和分库策略.一般分表分库策略如下：
中间变量 = 关键字%（数据库数量*单库数据表数量）
库 = 取整（中间变量/单库数据表数量）
表 = （中间变量%单库数据表数量）
实例：
①.、分库分表
复制代码 代码如下:
php
for($i=0;$i 100; $i◆◆ ){
";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}
}
同样还是members表,前期设计的表结构不尽合理,随着数据库不断运行,其冗余数据也是增长巨大,同事使用了下面的方法来处理：
先创建一个临时表：
/*创建临时表*/
CREATE TABLE members_tmp LIKE members
接着重命名将新表替换上去：
/*这是个颇为经典的语句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
基本思想之什么是分库分表?
从字面上简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上.
基本思想之为什么要分库分表?
数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大；另外,由于无法进行分布式式部署,而一台服务器的资源（cpu、磁盘、内存、io等）是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈.
分库分表的实施策略.
分库分表有垂直切分和水平切分两种.
何谓垂直切分,即将表按照功能模块、关系密切程度划分出来,部署到不同的库上.例如,我们会建立定义数据库workdb、商品数据库paydb、用户数据库userdb、日志数据库logdb等,分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等.
何谓水平切分,当一个表中的数据量过大时,我们可以把该表的数据按照某种规则,例如userid散列,进行划分,然后存储到多个结构相同的表,和不同的库上.例如,我们的userdb中的用户数据表中,每一个表的数据量都很大,就可以把userdb切分为结构相同的多个userdb：part0db、part1db等,再将userdb上的用户数据表usertable,切分为很多usertable：usertable0、usertable1等,然后将这些表按照一定的规则存储到多个userdb上.
应该使用哪一种方式来实施数据库分库分表,这要看数据库中数据量的瓶颈所在,并综合项目的业务类型进行考虑.
如果数据库是因为表太多而造成海量数据,并且项目的各项业务逻辑划分清晰、低耦合,那么规则简单明了、容易实施的垂直切分必是首选.
而如果数据库中的表并不多,但单表的数据量很大、或数据热度很高,这种情况之下就应该选择水平切分,水平切分比垂直切分要复杂一些,它将原本逻辑上属于一体的数据进行了物理分割,除了在分割时要对分割的粒度做好评估,考虑数据平均和负载平均,后期也将对项目人员及应用程序产生额外的数据管理负担.
在现实项目中,往往是这两种情况兼而有之,这就需要做出权衡,甚至既需要垂直切分,又需要水平切分.我们的游戏项目便综合使用了垂直与水平切分,我们首先对数据库进行垂直切分,然后,再针对一部分表,通常是用户数据表,进行水平切分.
分库分表存在的问题.
事务问题.
在执行分库分表之后,由于数据存储到了不同的库上,数据库事务管理出现了困难.如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价；如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担.
跨库跨表的join问题.
在执行了分库分表之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们无法join位于不同分库的表,也无法join分表粒度不同的表,结果原本一次查询能够完成的业务,可能需要多次查询才能完成.
额外的数据管理负担和数据运算压力.
额外的数据管理负担,最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题,这些都可以通过应用程序解决,但必然引起额外的逻辑运算,例如,对于一个记录用户成绩的用户数据表usertable,业务要求查出成绩最好的100位,在进行分表之前,只需一个order
by语句就可以搞定,但是在进行分表之后,将需要n个order
by语句,分别查出每一个分表的前100名用户数据,然后再对这些数据进行合并计算,才能得出结果.
上述整理于互联网
我写了一下你看看吧
from a1 t1
and t1.name = '张三'
;
上面我只是举个例子,如果你连表的字段信息都不知道,那我也没有办法,本人只会这些.
根据业务逻辑,自己定一个规则去选择不同的库存储.比方如计算机类书籍存储A库中的书籍表.经济类的书籍存储B.最终构造一个KEY（书籍类型）- value(库标识).查询时根据库标识取出对应的数据源进行查询.