我这里想了一个解决思路,可能还不完善,希望能抛转引玉.
你可以先count一下各分表,再根据页数来取数据
或都使用中间件进行取数据
分表是分散数据库压力的好方法.
分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库.
当然,首先要知道什么情况下,才需要分表.个人觉得单表记录条数达到百万到千万级别时就要使用分表了.
分表的分类
**1、纵向分表**
将本来可以在同一个表的内容,人为划分为多个表.（所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.）
分表理由：根据数据的活跃度进行分离,（因为不同活跃的数据,处理方式是不同的）
案例：
这样纵向分表后：
首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据.活跃数据,可以使用Innodb ,可以有更好的更新速度.
其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度.对热数据,可以相对有更多的主库的横向分表处理.
其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis之类的缓存,等累计到一定量再去更新数据库.或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个.
分表理由：根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力.
案例：同上面的例子,博客系统.当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能.例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求（因为,不可能绝对的平均,只是假设）,这样压力就降低了很多很多.
延伸：为什么要分表和分区?
日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率.
什么是分表?
分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在同一块磁盘上,也可以在不同的机器上.app读写的时候根据事先定义好的规则得到对应的子表名,然后去操作它.
什么是分区?
分区和分表相似,都是按照规则分解表.不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存放,可以是同一块磁盘也可以在不同的机器.分区后,表面上还是一张表,但数据散列到多个位置了.app读写的时候操作的还是大表名字,db自动去组织分区的数据.
**MySQL分表和分区有什么联系呢?**
①.、都能提高mysql的性高,在高并发状态下都有一个良好的表现.
我们知道对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力.Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略.
**1、分表**
在分表之前,首先要选中合适的分表策略（以哪个字典为分表字段,需要将数据分为多少张表）,使数据能够均衡的分布在多张表中,并且不影响正常的查询.在企业级应用中,往往使用org_id(组织主键)做为分表字段,在互联网应用中往往是userid.在确定分表策略后,当数据进行存储及查询时,需要确定到哪张表里去查找数据,
数据存放的数据表 = 分表字段的内容 % 分表数量
分表能够解决单表数据量过大带来的查询效率下降的问题,但是不能给数据库的并发访问带来质的提升,面对高并发的写访问,当Master无法承担高并发的写入请求时,不管如何扩展Slave服务器,都没有意义了.我们通过对数据库进行拆分,来提高数据库的写入能力,即所谓的分库.分库采用对关键字取模的方式,对数据库进行路由.
数据存放的数据库=分库字段的内容%数据库的数量
数据库分表可以解决单表海量数据的查询性能问题,分库可以解决单台数据库的并发访问压力问题.
当数据库同时面临海量数据存储和高并发访问的时候,需要同时采取分表和分库策略.一般分表分库策略如下：
中间变量 = 关键字%（数据库数量*单库数据表数量）
库 = 取整（中间变量/单库数据表数量）
表 = （中间变量%单库数据表数量）
实例：
①.、分库分表
复制代码 代码如下:
php
for($i=0;$i 100; $i++ ){
";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}
}
同样还是members表,前期设计的表结构不尽合理,随着数据库不断运行,其冗余数据也是增长巨大,同事使用了下面的方法来处理：
先创建一个临时表：
/*创建临时表*/
CREATE TABLE members_tmp LIKE members
接着重命名将新表替换上去：
/*这是个颇为经典的语句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
很多应用往往只展示最新或最热门的几条记录,但为了旧记录仍然可访问,所以就需要个分页的导航栏.然而,如何通过MySQL更好的实现分页,始终是比较令人头疼的问题.虽然没有拿来就能用的解决办法,但了解数据库的底层或多或少有助于优化分页查询.
我们先从一个常用但性能很差的查询来看一看.
SELECT *
FROM city
ORDER BY id DESC
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的问题在于offset(分页偏移量)很大的时候,像下面这样：
对于分页请求,还有一个信息也很重要,就是总共的记录数.我们可以通过下面的查询很容易的获取总的记录数.
SELECT COUNT(*)
FROM city;
SELECT SQL_CALC_FOUND_ROWS *
下面来看看到底如何优化.文章分为两部分,第一部分是如何获取记录的总数目,第二部分是获取真正的记录.
高效的计算行数
如果采用的引擎是MyISAM,可以直接执行COUNT(*)去获取行数即可.相似的,在堆表中也会将行数存储到表的元信息中.但如果引擎是InnoDB情况就会复杂一些,因为InnoDB不保存表的具体行数.
我们可以将行数缓存起来,然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时,执行下面的语句：
USE INDEX(PRIMARY);
获取记录
下面进入这篇文章最重要的部分,获取分页要展示的记录.上面已经说过了,大的偏移量会影响性能,所以我们要重写查询语句.为了演示,我们创建一个新的表"news",按照时事性排序(最新发布的在最前面),实现一个高性能的分页.为了简单,我们就假设最新发布的新闻的Id也是最大的.
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
一个比较高效的方式是基于用户展示的最后一个新闻Id.查询下一页的语句如下,需要传入当前页面展示的最后一个Id.
FROM news WHERE id $last_id
LIMIT $perpage
查询上一页的语句类似,只不过需要传入当前页的第一个Id,并且要逆序.
ORDER BY id ASC
上面的查询方式适合实现简易的分页,即不显示具体的页数导航,只显示"上一页"和"下一页",例如博客中页脚显示"上一页","下一页"的按钮.但如果要实现真正的页面导航还是很难的,下面看看另一种方式.
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id $last_id
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id.这种方法还有一个好处.假设,网站上正在发布一片新的文章,那么所有文章的位置都会往后移一位,所以如果用户在发布文章时换页,那么他会看见一篇文章两次.如果固定了每个按钮的offset Id,这个问题就迎刃而解了.Mark Callaghan发表过一篇类似的博客,利用了组合索引和两个位置变量,但是基本思想是一致的.
如果表中的记录很少被删除、修改,还可以将记录对应的页码存储到表中,并在该列上创建合适的索引.采用这种方式,当新增一个记录的时候,需要执行下面的查询重新生成对应的页号.
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
当然,也可以新增一个专用于分页的表,可以用个后台程序来维护.
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
ORDER BY id
ON C.id = T.id
SET T.page = C.page;
现在想获取任意一页的元素就很简单了：
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
此时此刻呢就可以向下面一样执行分页查询了.
FROM _tmp
WHERE OFFSET = $offset
ORDER BY OFFSET
LIMIT $perpage;
简单来说,对于分页的优化就是...避免数据量大时扫描过多的记录.
MYSQL 分页最简单了. SELECT * FROM Account WHERE (usertype='base' or usertype='home' or usertype='salse') and logindate is not null order by logindate desc LIMIT 起始行, 每页多少行 LIMIT 接受一个或两个数字参数.参数必须是一个整数常量.如果给定两个参数,第一个参数指定第一个返回记录行的偏移量,第二个参数指定返回记录行的最大数目.初始记录行的偏移量是 0(而不是 1)
以上就是土嘎嘎小编为大家整理的mysql怎么分表分页相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦！！