189 8069 5689
一、背景
成都创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于网站建设、成都网站建设、商都网络推广、小程序开发、商都网络营销、商都企业策划、商都品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联公司为所有大学生创业者提供商都建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com
话说风和日丽的一天，为提高随着业务增长的大表（3510449行吧）的访问效率，于是决定对表分区，记录如下。
二、实操
结合业务，若干条记录会集中在一个日期，查询时也往往只查询一个日期内的数据，于是选取分区字段为时间。
创建分区 比如
CREATE TABLE message_all (
id int(10) NOT NULL AUTO_INCREMENT,
......
createtime datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
PRIMARY KEY ( id , createtime )
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE (YEAR(createtime))
(PARTITION p2015 VALUES LESS THAN (2016) ENGINE = InnoDB,
PARTITION p2016 VALUES LESS THAN (2017) ENGINE = InnoDB,
PARTITION p2017 VALUES LESS THAN (2018) ENGINE = InnoDB,
PARTITION p2018 VALUES LESS THAN MAXVALUE ENGINE = InnoDB)
不过我们表已经有了当然不能这么建，除非你想导一次数据。
如下操作 ：
1、
ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime))
(
PARTITION p2015 VALUES LESS THAN (to_days('2016-01-01')),
PARTITION p2016 VALUES LESS THAN (to_days('2017-01-01')),
PARTITION p2017 VALUES LESS THAN (to_days('2018-01-01')),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);
或者
2、ALTER TABLE message_all PARTITION BY RANGE (YEAR(createtime))
(
PARTITION p2015 VALUES LESS THAN (YEAR('2016-01-01'))
);
然后追加。
ALTER TABLE message_all ADD PARTITION
(
PARTITION p2016 VALUES LESS THAN (YEAR('2017-01-01')),
PARTITION p2017 VALUES LESS THAN (YEAR('2018-01-01')),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);
这里会有几种错误情况：
1、ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime)) ;
[Err] 1492 - For RANGE partitions each partition must be defined
解释：必须指定至少一个分区。
2、[Err] 1492 - A PRIMARY KEY must include all columns in the table's partitioning function
解释：分区字段必须是主键之一。
3、[Err] 1492 - Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed
解释：分区字段为timestamp，换成datetime。
4、[Err] 1526 - Table has no partition for value xxxx
解释：用追加方式第一次必须覆盖目前所有数据。
总结：
1、创建时必须指定至少一个分区。
2、key必须为主键之一。
3、RANGE处必须为INT型，时间字段用函数转——YEAR()、YEARWEEK()、TO_DAYS()。
4、THAN处必须为INT型，时间字段用函数转——TO_DAYS、TO_SECONDS()、UNIX_TIMESTAMP()。
5、它就是以两个INT比大小划分的文件。
6、所有ENGINE必须一样。
7、范围分区添加只能在最大值后面追加。
8、分区是有上限的貌似1024个。
用到的其他操作
1、删除分区（直接扔掉分区文件，数据也没了）
ALTER TABLE message_all DROP PARTITION p2016;
2、清空分区数据
ALTER TABLE message_all TRUNCATE PARTITION p2017;
3、重定义（可实现：分区拆分、合并、重命名）
ALTER TABLE message_all REORGANIZE PARTITION p201601,p201602,p201603,p201604 INTO
(
PARTITION p2016012 VALUES less than(TO_DAYS('2016-03-01')),
PARTITION p2016034 VALUES less than(TO_DAYS('2016-05-01'))
);
检查/查看你的分区
1、SHOW TABLE STATUS LIKE 'message_all';
2、SELECT * FROM information_schema.partitions WHERE table_name='message_all';
3、SHOW CREATE TABLE message_all;
4、EXPLAIN SELECT COUNT(1) FROM message_all WHERE createtime= '2016-01-01' AND createtime '2016-12-30';如果用到了分区partitions里会有显示。
5、指定分区查
SELECT COUNT(1) FROM message_all PARTITION (p2016) 表别名 WHERE ......;
到这里就结束啦，土豆白。
一些概念
水平分区Partition有以下几种模式
表分区是将⼀个表的数据按照⼀定的规则⽔平划分为不同的逻辑块，并分别进⾏物理存储，这个规则就叫做分区函数，可以有不同的分区规则。5.7可以通过show plugins语句查看当前MySQL是否⽀持表分区功能。
但当表中含有主键或唯⼀键时，则每个被⽤作 分区函数的字段必须是表中唯⼀键和主键的全部或⼀部分 ，否则就⽆法创建分区表。⽐如下⾯的表由于唯⼀键和主键没有相同的字段，所以⽆法创建表分区
上述例⼦中删除唯⼀键，确保主键中的字段包含分区函数中的所有字段，创建成功
或者将主键扩展为包含ref字段
表分区的主要优势在于：
可以允许在⼀个表⾥存储更多的数据，突破磁盘限制或者⽂件系统限制
对于从表⾥将过期或历史的数据移除在表分区很容易实现，只要将对应的分区移除即可
对某些查询和修改语句来说，可以 ⾃动 将数据范围缩⼩到⼀个或⼏个表分区上，优化语句执⾏效率。⽽且可以通过 显示指定表分区 来执⾏语句，⽐如 SELECT * FROM t PARTITION (p0,p1) WHERE c 5
表分区类型分为：
范围表分区，按照⼀定的范围值来确定每个分区包含的数据，分区函数使⽤的字段必须只能是 整数类型，分区的定义范围必须是连续的，且不能有重叠部分，通过使⽤VALUES LESS THAN来定义分区范围，表分区的范围定义是从⼩到⼤定义的
⽐如：
Store_id6的数据被放在p0分区⾥，6=store_id10之间的数据被放在p1分区⾥，以此类推，当新插⼊的数据为(72, ‘Mitchell’, ‘Wilson’, ‘1998-06-25’, NULL, 13) 时，则新数据被插⼊到p2分区⾥，但当插⼊的数据的store_id为21时，由于没有分区去容纳此数据，所以会报错，我们需要修改⼀下表的定义
报错：
修改表的定义：
MAXVALUE关键词的作⽤是表示可能的最⼤值，所以任何store_id=16的数据都会被写⼊到p3分区⾥。分区函数中也可以使⽤表达式 ，⽐如：
对timestamp字段类型可以使⽤的表达式⽬前仅有unix_timestamp ，其他的表达式都不允许
列表表分区，按照⼀个⼀个确定的值来确定每个分区包含的数据，通过PARTITION BY LIST(expr)分区函数表达式必须返回整数，取值范围通过VALUES IN (value_list)定义
对List表分区来说，没有MAXVALUE特殊值，所有的可能取值都需要再VALUES IN中包含，如果有未定义的取值则会报错
同样，当有主键或者唯⼀键存在的情况下，分区函数字段需要包含在主键或唯⼀键中
对range和list表分区来说，分区函数可以包含多个字段，分区多字段函数(column partition) 所涉及的字段类型可以包括：
范围多字段分区函数与普通的范围分区函数的区别在于：
a) 字段类型多样化
b) 范围多字段分区函数 不⽀持表达式，只能⽤字段名
c) 范围多字段分区函数⽀持⼀个或多个字段
再⽐如创建如下的表分区：
对多列对⽐来说：
当然只要保证取值范围是增⻓的，表分区就能创建成功，⽐如：
但如果 取值范围不是增⻓的，就会返回错误 ：
对其他数据类型的⽀持：
list列表多字段表分区，例如：你有一个在12个城市客户的业务, 为了销售和市场的目的, 你的组织每3个城市划分为一个区域针对LIST COLUMNS分区, 你可以基于城市的名称创建一个客户数据表并声明4个分区当你的客户在对应的这个区域:
使用日期分区
但是这种情况在日期增长到非常大的时候是很复杂的, 所以这种还是使用RANGE 分区方式比较好
按照⼀个⾃定义的函数返回值来确定每个分区包含的数据，这个 ⾃定义函数也可以仅仅是⼀个字段名字
通过PARTITION BY HASH (expr)⼦句来表达哈希表分区，其中的 expr表达式必须返回⼀个整数，基于分区个数的取模（%）运算。根据余数插⼊到指定的分区
对哈希表分区来说只需要定义分区的个数，其他的事情由内部完成
如果没有写明PARTITIONS字段，则默认为1，表达式可以是整数类型字段，也可以是⼀个函数，⽐如
⽐如： CREATE TABLE t1 (col1 INT, col2 CHAR(5), col3 DATE) PARTITION BY HASH( YEAR(col3) ) PARTITIONS 4;
如果插⼊⼀条数据对应的col3为‘2005-09-15’时，则插⼊数据的分区计算⽅法为：
与哈希表分区类似，只不过哈希表分区依赖于⾃定义的函数，⽽key表分区的哈希算法是依赖MySQL本身， CREATE TABLE ... PARTITION BY KEY () 创建key表分区， 括号⾥⾯可以包含0个或者多个字段，所引⽤的字段必须是主键或者主键的⼀部分 ，如果括号⾥⾯没有字段，则代表使⽤主键
如果表中没有主键但有唯⼀键，则使⽤唯⼀键，但 唯⼀键字段必须定义为not null ，否则报错
所引⽤的字段未必必须是整数类型，其他的类型也可以使⽤，⽐如：
⼦表分区，是在表分区的基础上再创建表分区的概念， 每个表分区下的⼦表分区个数必须⼀致 ，⽐如：
ts表拥有三个范围分区，同时每个分区都各⾃有两个⼦分区，所以总共有6个分区
⼦表分区必须是范围/列表分区+哈希/key⼦表分区的组合
⼦表分区也可以显示的指定⼦表分区的名字，⽐如：
不同的表分区对NULL值的处理⽅式不同
对范围表分区来说，如果插⼊的是NULL值，则将数据放到最⼩的分区表⾥
对list表分区来说，⽀持NULL值的唯⼀情况就是某个分区的允许值中包含NULL
对哈希表分区和Key表分区来说，NULL值会被当成0值对待
通过alter table命令可以执⾏增加，删除，重新定义，合并或者拆分表分区的管理动作
对范围表分区和列表表分区来说，删除⼀个表分区命令如下：
删除表分区的动作不光会把分区删掉，也会把表分区⾥原来的数据给删除掉
在原分区上增加⼀个表分区可以通过alter table … add partition语句来完成
但对范围表分区来说，增加的表分区必须在尾部增加，在头部或者在中间增加都会失败：
为解决这个问题，可以使⽤ REORGANIZE 命令：
对列表表分区来说，只要新增加的分区对应的值在之前的表分区中没有出现过，就可以通过alter table… add partition来增加
当然， 也可以通过REORGANIZE命令将之前的多个分区合并成⼀个或⼏个分区，但要保持分区值⼀致：
更复杂的⽐如将多个分区重组成多个分区：
分区介绍：
一、什么是分区？
所谓分区，就是将一个表分成多个区块进行操作和保存，从而降低每次操作的数据，提高性能。而对于应用来说则是透明的，从逻辑上看只有一张表，但在物理上这个表可能是由多个物理分区组成的，每个分区都是独立的对象，可以进行独立处理。
二、分区作用
1.可以逻辑数据分割，分割数据能够有多个不同的物理文件路径。
2.可以存储更多的数据，突破系统单个文件最大限制。
3.提升性能，提高每个分区的读写速度，提高分区范围查询的速度。
4.可以通过删除相关分区来快速删除数据
5.通过跨多个磁盘来分散数据查询，从而提高磁盘I/O的性能。
6.涉及到例如SUM()、COUNT()这样聚合函数的查询，可以很容易的进行并行处理。
7.可以备份和恢复独立的分区，这对大数据量很有好处。
三、分区能支持的引擎
MySQL支持大部分引擎创建分区，入MyISAM、InnoDB等；不支持MERGE和CSV等来创建分区。同一个分区表中的所有分区必须是同一个存储引擎。值得注意的是，在MySQL8版本中，MyISAM表引擎不支持分区。
四、确认MySQL支持分区
从MySQL5.1开始引入分区功能，可以如下方式查看是否支持：
老版本用：SHOW VARIABLES LIKE '%partition%';
新版本用：show plugins;
五、分区类型
1. RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区。
例如，可以将一个表通过年份划分成两个分区，2001 -2010年、2011-2020。
2. LIST分区：类似于RANGE分区，LIST是列值匹配一个离散值集合中的某个值来进行选择。
比如 根据字段 把值为1、3、5的放到一起，2、4、6的另外放到一起 等等...
3. HASH分区：基于用户定义的表达式的返回值来进行选择分区，该表达式使用将要插入到表中的这些行的列值来进行计算，这个函数必须产生非负整数值。
通过HASH运算来进行分区，分布的比较均匀
4. KEY分区：类似于按HASH分区，由MySQL服务器提供其自身的哈希函数。
按照KEY进行分区类似于按照HASH分区
六、使用分区注意事项
1. 如果表中存在primary key 或者 unique key 时，分区的列必须是paimary key或者unique key的一个组成部分，也就是说，分区函数的列只能从pk或者uk这些key中取子集
2. 如果表中不存在任何的paimary key或者unique key，则可以指定任何一个列作为分区列
3. 5.5版本前的RANGE、LIST、HASH分区要求分区键必须是int；MySQL5.5及以上，支持非整形的RANGE和LIST分区，即：range columns 和 list columns (可以用字符串来进行分区)。
七、分区命名
1. 分区的名字基本上遵循其他MySQL 标识符应当遵循的原则，例如用于表和数据库名字的标识符。应当注意的是，分区的名字是不区分大小写的。
2. 无论使用何种类型的分区，分区总是在创建时就自动的顺序编号，且从0开始记录。
八、 创建分区
1. RANGE分区：
解读：以上为 uuid小于5时放到p0分区下，uuid大于5且小于10放到p1分区下，uuid大于10且小于15放到p2分区下，uuid大于15 一直到最大值的存在p3分区下
2. LIST分区：
解读：以上为uuid 等于1/2/3/5时放到p0分区，7/9/10放到p1分区，11/15放到p2分区。当时用insert into时 如果uuid的值不存在p0/p1/p2分区时，则会插入失败而报错。
3. HASH分区:
HASH分区主要用来确保数据在预先确定数目的分区中平均分布。在RANGE分区和LIST分区中必须明确指定一个指定的列值或列值集合以指定应该保存在哪个分区中。而在HASH分区中，MySQL会自动完成这些工作，要做的只是基于将要被哈希的列值指定一个表达式，以及指定被分区的表将要被分割成的分区数量，如：
解读：MySQL自动创建3个分区，在执行insert into时，根据插入的uuid通过算法来自动分配区间。
注意：
(1) 由于每次插入、更新、删除一行，这个表达式都要计算一次，这意味着非常复杂的表达式可能会引起性能问题，尤其是在执行同时影响大量行的运算（例如批量插入）的时候。
(2) 最有效率的哈希函数是只对单个表列进行计算，并且它的值随列值进行一致的增大或减小，因为这考虑了在分区范围上的“修剪”。也就是说，表达式值和它所基于的列的值变化越接近，就越能有效地使用该表达式来进行HASH分区。
3.1：线性HASH分区
线性HASH分区在“PARTITION BY”子句中添加“LINEAR”关键字。
线性HASH分区的有点在于增加、删除、合并和拆分分区将变得更加快捷，有利于处理含有及其大量数据的表。它的缺点在于各个分区间数据的分布不大可能均衡。
4. KEY分区
类似于HASH分区，HASH分区允许用户自定义的表达式，而KEY分区则不允许使用用户自定义的表达式；HASH分区只支持整数分区，KEY分区支持除了blob和text类型之外的其他数据类型分区。
与HASH分区不同，创建KEY分区表的时候，可以不指定分区键，默认会选择使用主键或唯一键作为分区键，没有主键或唯一键，就必须指定分区键。
解读：根据分区键来进行分区
5. 子分区
子分区是分区表中，每个分区的再次分割，适合保存非常大量的数据。
解读：主分区使用RANGE按照年来进行分区，有3个RANGE分区。这3个分区中又被进一步分成了2个子分区，实际上，整个表被分成了3 * 2 = 6个分区。每个子分区按照天进行HASH分区。小于2017的放在一起，2017-2020的放在一起，大于2020的放在一起。
注意：
(1) 在MySQL5.1中，对于已经通过RANGE或LIST分区了的表在进行子分区是可能的。子分区既可以使用HASH分区，也可以使用KEY分区。这也被称为复合分区。
(2) 每个分区必须有相同数量的子分区。
(3) 如果在一个分区表上的任何分区上使用SUBPARTITION来明确定义任何子分区，那么就必须定义所有的子分区。
(4) 每个SUBPARTITION子句必须包含（至少）子分区的一个名字。
(5) 在每个子分区内，子分区的名字必须是惟一的，目前在整个表中，也要保持唯一。例如：
子分区可以用于特别大的表，可以在多个磁盘间分配数据和索引。例如：
九、MySQL分区处理NULL值的方式
十、分区管理概述
可以对分区进行添加、删除、重新定义、合并或拆分等管理操作。
① RANGE和LIST分区的管理
1. 删除分区语句如：alter table tbl_test drop partition p0;
注意：
(1) 当删除了一个分区，也同时删除了该分区中所有的数据。
(2) 可以通过show create table tbl_test;来查看新的创建表的语句。
(3) 如果是LIST分区的话，删除的数据不能新增进来，因为这些行的列值包含在已经删除了的分区的值列表中。
2. 添加分区语句如：alter table tbl_test add partition(partition p3 values less than(50));
注意：
(1) 对于RANGE分区的表，只可以添加新的分区到分区列表的最高端。
(2) 对于LIST分区的表，不能添加已经包含在现有分区值列表中的任意值。
3. 如果希望能不丢失数据的条件下重新定义分区，可以使用如下语句：
REORGANIZE会对分区的数据进行重构。
ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition_definitions)
(1) 拆分分区如：
ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition s0 values less than(5),partition s1 values less than(10));
或者如：
ALTER TABLE tbl_name REORGANIZE PARTITION p0 INTO(partition s0 values in(1,2,3), partition s1 values in(4,5));
(2) 合并分区如：ALTER TABLE tbl_name REORGANIZE PARTITION s0,s1 INTO(partition p0 values in(1,2,3,4,5));
4. 删除所有分区，但保留数据，形式：ALTER TABLE tbl_name remove partitioning;
② HASH和KEY分区的管理
1. 减少分区数量语句如：ALTER TABLE tbl_name COALESCE PARTITION 2;
2. 添加分区数量语句如：ALTER TABLE tbl_name add PARTITION partitions 2;
③ 其他分区管理语句
1. 重建分区：类似于先删除保存在分区中的所有记录，然后重新插入它们，可用于整理分区碎片。如：ALTER table tbl_name REBUILD PARTITION p2,p3;
2. 优化分区：如果从分区中删除了大量的行，或者对一个带有可变长度的行（也就是说，有VARCHAR，BLOB或TEXT类型的列）做了许多修改，可以使用 ALTER TABLE tbl_name OPTIMIZE PARTITION来收回没有使用的空间，并整理分区数据文件的碎片。如：ALTER TABLE tbl_name OPTIMIZE PARTITION p2,p3;
3. 分析分区：读取并保存分区的键分布，如：ALTER TABLE tbl_name ANALYZE PARTITION p2,p3;
4. 检查分区：检查分区中的数据或索引是否已经被破坏，如：ALTER TABLE tbl_name CHECK PARTITION p2,p3;
5. 修补分区：修补被破坏的分区，如：ALTER TABLE tbl_name REPAIR PARTITION p2,p3;
十、查看分区信息
1. 查看分区信息：select * from information_schema.partitions where table_schema='arch1' and table_name = 'tbl_test' G;
2. 查看分区上的数据：select * from tbl_test partition(p0);
3. 查看MySQL会操作的分区：explain partitions select * from tbl_test where uuid = 2;
十一、 局限性
1. 最大分区数目不能超过1024，一般建议对单表的分区数不要超过50个。
2. 如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键在内。
3. 不支持外键。
4. 不支持全文索引，对分区表的分区键创建索引，那么这个索引也将被分区。
5. 按日期进行分区很合适，因为很多日期函数可以用。但是对字符串来说合适的分区函数不太多。
6. 只有RANGE和LIST分区能进行子分区，HASH和KEY分区不能进行子分区。
7. 临时表不能被分区。
8. 分区表对于单条记录的查询没有优势。
9. 要注意选择分区的成本，没插入一行数据都需要按照表达式筛选插入的分区。
10. 分区字段尽量不要可以为null