网站首页 > 文章中心 > 其它

mysql分区键怎么更新

作者:小编 更新时间:2023-10-06 08:13:46 浏览量:298人看过

分区字段能更新吗mysql

可以更新呀,只不过如果你更新分区字段,相当于重新分区了.

mysql大量数据更新采用什么样的方式比较好,20w条数据一次更新?

建缓冲区.比如其他类型的高速缓存(redis等)作为中间缓冲层.

数据的查询,更改首先在这个层处理,处理完再更新到对应的数据库.

注意额外增加锁,或者缓存机制防止缓存击穿,雪崩导致系统崩溃.

MySQL 分区表,为什么分区键必须是主键的一部分?

随着业务的不断发展,数据库中的数据会越来越多,相应地,单表的数据量也会越到越大,大到一个临界值,单表的查询性能就会下降.

这个临界值,并不能一概而论,它与硬件能力、具体业务有关.

单表过大时,业务通常会考虑两种拆分方案:水平切分和垂直切分.

水平切分,拆分的维度是行,一般会根据某种规则或算法将表中的记录拆分到多张表中.

拆分后的表既可在一个实例,也可在多个不同实例中.如果是后者,又会涉及到分布式事务.

垂直切分,拆分的维度是列,一般是将列拆分到多个业务模块中.这种拆分更多的是上层业务的拆分.

从改造的复杂程度来说,前者小于后者.

所以,在单表数据量过大时,业界用得较多的还是水平拆分.

常见的水平拆分方案有:分库分表、分区表.

虽然分库分表是一个比较彻底的水平拆分方案,但一方面,它的改造需要一定的时间;另一方面,它对开发的能力也有一定的要求.相对来说,分区表就比较简单,也无需业务改造.

很多人可能会认为 MySQL 的优势在于 OLTP 应用,对于 OLAP 应用就不太适合,所以,也不太推荐分区表这种偏 OLAP 的特性.

但实际上,对于某些业务类型,还是比较适合使用分区表的,尤其是那些有明显冷热数据之分,且数据的冷热与时间相关的业务.

下面,我们看看分区表的优点:

遗憾的是,MySQL 分区表不支持并行查询.理论上,当一个查询涉及到多个分区时,分区与分区之间应进行并行查询,这样才能充分利用多核 CPU 资源.

但 MySQL 并不支持,包括早期的官方文档,也提到了这个问题,也将这个功能的实现放到了优先级列表中.

这也从另外一个角度说明了为什么生产上不建议使用 MyISAM 表.

在使用分区表时,大家常常会碰到下面这个报错.

即分区键必须是主键的一部分.

上面的 opr 是一张操作流水表.其中,opr_no 是操作流水号,一般都会被设置为主键,opr_date 是操作时间.基于操作时间来进行分区,是一个常见的分区场景.

为了突破这个限制,可将 opr_date 作为主键的一部分.

但是这么创建,又会带来一个新的问题,即对于同一个 opr_no ,可插入到不同分区中.如下所示:

这实际上违背了业务对于 opr_no 的唯一性要求.

既然这样,有的童鞋会建议给 opr_no 添加个唯一索引,But,现实是残酷的.

即便是添加唯一索引,分区键也必须包含在唯一索引中.

都说到这里了大家应该明白,对于 MySQL 分区表,无法从数据库层面保证非分区列在表级别的唯一性,只能确保其在分区内的唯一性.

这也是 MySQL 分区表所为人诟病的地方之一.

但实际上,这个锅让 MySQL 背并不合适,对于 Oracle 索引组织表( InnoDB 即是索引组织表),同样也有这个限制.

Oracle 官方文档( ),在谈到索引组织表(Index-Organized Table,简称 IOT)的特性时,就明确提到了 "分区键必须是主键的一部分".

下面,我们看看刚开始的建表 SQL ,在 Oracle 中的执行效果.

同样报错.

注意,这里指定了 ORGANIZATION INDEX ,创建的是索引组织表.

看来,分区键必须是主键的一部分并不是 MySQL 的限制,而是索引组织表的限制.

之所以对索引组织表有这样的限制,个人认为,还是基于性能考虑.

假设分区键和主键是两个不同的列,在进行插入操作时,虽然也指定了分区键,但还是需要扫描所有分区才能判断插入的主键值是否违反了唯一性约束.这样的话,效率会比较低下,违背了分区表的初衷.

而对于堆表则没有这样的限制.

在堆表中,主键和表中的数据是分开存储的,在判断插入的主键值是否违反唯一性约束时,只需利用到主键索引.

但与 MySQL 不一样的是,Oracle 实现了全局索引,所以针对上面的,同一个 opr_no,允许插入到不同分区中的问题,可通过全局唯一索引来规避.

但 MySQL 却无能为力,之所以会这样,是因为 MySQL 分区表只实现了本地分区索引(Local Partitioned Index),而没有实现 Oracle 中的全局索引(Global Index).

本地分区索引和全局索引的原理图如下所示:

结合原理图,我们来看看两种索引之间的区别:

① MySQL 分区表关于"分区键必须是唯一键(主键和唯一索引)的一部分"的限制,本质上是索引组织表的限制.

如果要保证非分区列的全局唯一,只能依赖业务实现了.

mysql 我如何查询一批数据后,并更新这批数据

有时候我们会不小心对一个大表进行了 update,比如说写错了 where 条件......

此时,如果 kill 掉 update 线程,那回滚 undo log 需要不少时间.如果放置不管,也不知道 update 会持续多久.

那我们能知道 update 的进度么?

实验

我们先创建一个测试数据库:

快速创建一些数据:

连续执行同样的 SQL 数次,就可以快速构造千万级别的数据:

查看一下总的行数:

我们来释放一个大的 update:

然后另起一个 session,观察 performance_schema 中的信息:

可以看到,performance_schema 会列出当前 SQL 从引擎获取的行数.

等 SQL 结束后,我们看一下 update 从引擎总共获取了多少行:

小贴士

information_schema.tables 中,提供了对表行数的估算,比起使用 select count(1) 的成本低很多,几乎可以忽略不计.

那么是不是所有的 update,从引擎中获取的行数都会是表大小的两倍呢?这个还是要分情况讨论的,上面的 SQL 更新了主键,如果只更新内容而不更新主键呢?我们来试验一下:

等待 update 结束,查看 row_examined,发现其刚好是表大小:

那我们怎么准确的这个倍数呢?

一种方法是靠经验:update 语句的 where 中会扫描多少行,是否修改主键,是否修改唯一键,以这些条件来估算系数.

另一种方法就是在同样结构的较小的表上试验一下,获取倍数.

这样,我们就能准确估算一个大型 update 的进度了.

mysql表分区使用及详细介绍

第一段:分区概念

分区是将一个表分成多个区块进行操作和保存,从而降低每次操作的数据,提高性能.而对于应用来说则是透明的,从逻辑上看只有一张表,但在物理上这个表可能是由多个物理分区组成的,每个分区都是独立的对象,可以进行独立处理.

第二段:分区作用

①可以逻辑数据分割,分割数据能够有多个不同的物理文件路径.

第三段:分区能支持的引擎

第四段:确认MySQL支持分区

老版本用:SHOW VARIABLES LIKE '%partition%';

新版本用:show plugins;

第五段:分区类型

① RANGE分区:基于属于一个给定连续区间的列值,把多行分配给分区.

通过HASH运算来进行分区,分布的比较均匀

按照KEY进行分区类似于按照HASH分区

第六段:分区创建注意事项

① 如果表中存在primary key 或者 unique key 时,分区的列必须是paimary key或者unique key的一个组成部分,也就是说,分区函数的列只能从pk或者uk这些key中取子集

第七段:分区命名

① 分区的名字基本上遵循其他MySQL 标识符应当遵循的原则,例如用于表和数据库名字的标识符.应当注意的是, 分区的名字是不区分大小写的 .

第八段: 创建分区

① RANGE分区:

CREATE TABLE +test01+ (

+dayid+ int(11) DEFAULT NULL,

CREATE TABLE tbl_test (

uuid INT NOT NULL,

)

PARTITION BY List (uuid) (

);

HASH分区主要用来确保数据在预先确定数目的分区中平均分布.在RANGE分区和LIST分区中必须明确指定一个指定的列值或列值集合以指定应该保存在哪个分区中.而在HASH分区中,MySQL会自动完成这些工作,要做的只是基于将要被哈希的列值指定一个表达式,以及指定被分区的表将要被分割成的分区数量,如:

))

PARTITION BY HASH (uuid) (

));

注意:

(1) 由于每次插入、更新、删除一行,这个表达式都要计算一次,这意味着非常复杂的表达式可能会引起性能问题,尤其是在执行同时影响大量行的运算(例如批量插入)的时候.

线性HASH分区在"PARTITION BY"子句中添加"LINEAR"关键字.

线性HASH分区的有点在于增加、删除、合并和拆分分区将变得更加快捷,有利于处理含有及其大量数据的表.它的缺点在于各个分区间数据的分布不大可能均衡.

类似于HASH分区,HASH分区允许用户自定义的表达式,而KEY分区则不允许使用用户自定义的表达式;HASH分区只支持整数分区,KEY分区支持除了blob和text类型之外的其他数据类型分区.

与HASH分区不同,创建KEY分区表的时候,可以不指定分区键,默认会选择使用主键或唯一键作为分区键,没有主键或唯一键,就必须指定分区键.

PARTITION BY LINEAR Key (uuid)

解读:根据分区键来进行分区

子分区是分区表中,每个分区的再次分割,适合保存非常大量的数据.

registerTime Date

PARTITION BY GANGE(YEAR(registerTime))

SUBPARTITION BY HASH (TO_DAYS(registerTime))

(

PARTITION BY RANGE(YEAR(registerTime))

SUBPARTITION BY HASH(TO_DAYS(registerTime))

SUBPARTITION s0,

SUBPARTITION s1

),

子分区可以用于特别大的表,可以在多个磁盘间分配数据和索引.例如:

SUBPARTITION s0

DATA DIRECTORY = '/disk0/data'

INDEX DIRECTORY = '/disk0/idx'

,

DATA DIRECTORY = '/disk1/data'

INDEX DIRECTORY = '/disk1/idx'

第九段:MySQL分区处理NULL值的方式

MySQL中的分区禁止空值NULL上没有进行处理,无论它是一个列值还是一个用户定义表达式的值,一般而言,在这种情况下MySQL把NULL视为0.如果你希望回避这种做法,你应该在设计表时声明列"NOT NULL".

十、分区管理概述

可以对分区进行添加、删除、重新定义、合并或拆分等管理操作.

① RANGE和LIST分区的管理

① 删除分区语句如:alter table tbl_test drop partition p0;

(1) 当删除了一个分区,也同时删除了该分区中所有的数据.

(1) 对于RANGE分区的表,只可以添加新的分区到分区列表的最高端.

ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition_definitions)

(1) 拆分分区如:

或者如:

② HASH和KEY分区的管理

③ 其他分区管理语句

十、查看分区信息

① 查看分区信息:select * from information_schema.partitions where table_schema='arch1' and table_name = 'tbl_test' G;

十第一段: 局限性

①.0. 分区字段尽量不要可以为null

以上就是土嘎嘎小编为大家整理的mysql分区键怎么更新相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦!!

版权声明:倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本站《原创》内容,违者将追究其法律责任。本站文章内容,部分图片来源于网络,如有侵权,请联系我们修改或者删除处理。

编辑推荐

热门文章