189 8069 5689

mysql怎么解决临时表,Mysql 临时表

mysql 临时空间不足怎么办

以MySQL 8.0 来说,通过查看 8.0 的官方文档得知,8.0 的临时表空间分为会话临时表空间和全局临时表空间,会话临时表空间存储用户创建的临时表和当 InnoDB 配置为磁盘内部临时表的存储引擎时由优化器创建的内部临时表,当会话断开连接时,其临时表空间将被截断并释放回池中;也就是说,在 8.0 中有一个专门的会话临时表空间,当会话被杀掉后,可以回收磁盘空间;而原来的 ibtmp1 是现在的全局临时表空间,存放的是对用户创建的临时表进行更改的回滚段,在 5.7 中 ibtmp1 存放的是用户创建的临时表和磁盘内部临时表;

创新互联建站服务项目包括浙江网站建设、浙江网站制作、浙江网页制作以及浙江网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,浙江网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到浙江省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

也就是在 8.0 和 5.7 中 ibtmp1 的用途发生了变化,5.7 版本临时表的数据存放在 ibtmp1 中,在 8.0 版本中临时表的数据存放在会话临时表空间,如果临时表发生更改,更改的 undo 数据存放在 ibtmp1 中;

实验验证:将之前的查询结果保存成临时表,对应会话是 45 号,通过查看对应字典表,可知 45 号会话使用了 temp_8.ibt 这个表空间,通过把查询保存成临时表,可以用到会话临时表空间,如下图:

下一步杀掉 45 号会话,发现 temp_8.ibt 空间释放了,变为了初始大小,状态为非活动的,证明在 mysql8.0 中可以通过杀掉会话来释放临时表空间。

总结:在 mysql5.7 时,杀掉会话,临时表会释放,但是仅仅是在 ibtmp 文件里标记一下,空间是不会释放回操作系统的。如果要释放空间,需要重启数据库;在 mysql8.0 中可以通过杀掉会话来释放临时表空间。

mysql 参数调优(10)之 tmp_table_size 优化临时表

tmp_table_size默认16M。tmp_table_size如果过小,存不下了就会存到磁盘上。对于group by会有性能影响。

下面的sql EXPLAIN 如下,出现了Using temporary。表示查询会利用临时表。

在默认tmp_table_size大小16M下执行:

查看临时表统计信息,Created_tmp_disk_tables 为0,Created_tmp_tables 为1表示上诉sql执行后生产了一张内存里的临时表。

将tmp_table_size 调从16M调整为16K

再次执行,查询时间从4变成了18秒

重新统计

再次查看status,这次有在磁盘上创建1个临时表。

设置为32M

Percona Server中的临时表信息会记录到慢查询日志

由于MySQL慢查询日志里没有使用临时表的信息,这就给我们诊断性能问题带来了一些不便,第三方的版本如Percona Server,在慢查询里可以有更详细的信息,将会记录临时表使用的情况,从而有助于我们诊断和调优。

mysql8中对临时表有较大的优化

临时表引擎使用innodb(default 磁盘)和temptable(default 内存)

MySQL如何使用临时表

解决办法:

当临时表不存在时,将查询结果保存在临时表中:

CREATE TEMPORARY TABLE tmp_table SELECT * FROM table_name;

我的具体代码是

CREATE temporary table tmp

(SELECT t1.pid a, t1.pname b,t2.pid c, t2.pdescribe d FROM

(SELECT pid,pname FROM admin_advert_place WHERE pid IN (3,4,5,6,7)) t1 LEFT JOIN

(SELECT pid,pdescribe FROM admin_advert_place

WHERE pgid IN (6,7,8)) t2 ON t1.pid = t2.pid)

技术分享 | 浅谈 MySQL 的临时表和临时文件

本文内容来源于对客户的三个问题的思考:

以下测试都是在 MySQL 8.0.21 版本中完成,不同版本可能存在差异,可自行测试;

临时表和临时文件都是用于临时存放数据集的地方;

一般情况下,需要临时存放在临时表或临时文件中的数据集应该符合以下特点:

从临时表|临时文件产生的主观性来看,分为2类:

用户创建临时表:

  -- 用户创建临时表(只有创建临时表的会话才能查看其创建的临时表的内容)

  注意:

  可以创建和普通表同名临时表,其他会话可以看到普通表(因为看不到其他会话创建的临时表);

  创建临时表的会话会优先看到临时表;

  -- 同名表的创建的语句如下

  当存在同名的临时表时,会话都是优先处理临时表(而不是普通表),包括:select、update、delete、drop、alter 等操作;

查看用户创建的临时表:

  任何 session 都可以执行下面的语句;

  查看用户创建的当前 active 的临时表(不提供 optimizer 使用的内部 InnoDB 临时表信息)

  注意

  用户创建的临时表,表名为t1,

  但是通过 INNODB_TEMP_TABLE_INFO 查看到的临时表的 NAME 是#sql开头的名字,例如:#sql45aa_7c69_2 ;

  另外 information_schema.tables 表中是不会记录临时表的信息的。

用户创建的临时表的回收:

用户创建的临时表的其他信息参数:

  会话临时表空间存储 用户创建的临时表和优化器 optimizer 创建的内部临时表(当磁盘内部临时表的存储引擎为 InnoDB 时);

  innodb_temp_tablespaces_dir 变量定义了创建 会话临时表空间的位置,默认是数据目录下的#innodb_temp 目录;

  文件类似temp_[1-20].ibt ;

  查看会话临时表空间的元数据:

  用户创建的临时表删除后,其占用的空间会被释放(temp_[1-20].ibt文件会变小)。

  在 MySQL 8.0.16 之前,internal_tmp_disk_storage_engine 变量定义了用户创建的临时表和 optimizer 创建的内部临时表的引擎,可选 INNODB 和 MYISAM ;

  从 MySQL 8.0.16 开始,internal_tmp_disk_storage_engine参数被移除,默认使用InnoDB存储引擎;

  innodb_temp_data_file_path 定义了用户创建的临时表使用的回滚段的存储文件的相对路径、名字、大小和属性,该文件是全局临时表空间(ibtmp1);

  可以使用语句查询全局临时表空间的数据文件大小:

SQL 什么时候产生临时表|临时文件呢?

  需要用到临时表或临时文件的时候,optimizer 自然会创建使用(感觉是废话,但是又觉得有道理=.=!);

  (想象能力强的,可以牢记上面这句话;想象能力弱的,只能死记下面的 SQL 了。我也弱,此处有个疲惫的微笑????)

下面列举一些 server 在处理 SQL 时,可能会创建内部临时表的 SQL :

  SQL 包含 union | union distinct 关键字

  SQL 中存在派生表

  SQL 中包含 with 关键字

  SQL 中的order by 和 group by 的字段不同

  SQL 为多表 update

  SQL 中包含 distinct 和 order by 两个关键字

我们可以通过下面两种方式判断 SQL 语句是否使用了临时表空间:

  # 如果 explain 的 Extra 列包含 Using temporary ,那么说明会使用临时空间,如果包含 Using filesort ,那么说明会使用文件排序(临时文件);

  如果执行 SQL 后,表的 ID 列变为了show processlist 中的 id 列的值,那么说明 SQL 语句使用了临时表空间

SQL创建的内部临时表的存储信息:

  SQL 创建内部临时表时,优先选择在内存中,默认使用 TempTable 存储引擎(由参数 internal_tmp_mem_storage_engine 确定),

  当 temptable 使用的内存量超过 temptable_max_ram 定义的大小时,

  由 temptable_use_mmap 确定是使用内存映射文件的方式还是 InnoDB 磁盘内部临时表的方式存储数据

  (temptable_use_mmap 参数在 MySQL 8.0.16 引入,MySQL 8.0.26 版本不推荐,后续应该会移除);

  temptable_use_mmap 的功能将由MySQL 8.0.23 版本引入的 temptable_max_mmap 代替,

  当 temptable_max_mmap=0 时,说明不使用内存映射文件,等价于 temptable_use_mmap=OFF ;

  当 temptable_max_mmap=N 时,N为正整数,包含了 temptable_use_mmap=ON 以及声明了允许为内存映射文件分配的最大内存量。

  该参数的定义解决了这些文件使用过多空间的风险。

  内存映射文件产生的临时文件会存放于 tmpdir 定义的目录中,在 TempTable 存储引擎关闭或 mysqld 进程关闭时,回收空间;

  当 SQL 创建的内部临时表,选择 MEMORY 存储引擎时,如果内存中的临时表变的太大,MySQL 将自动将其转为磁盘临时表;

  其能使用的内存上限为 min(tmp_table_size,max_heap_table_size);

监控 TempTable 从内存和磁盘上分配的空间:

  具体的字段含义见:Section 27.12.20.10, “Memory Summary Tables”.

监控内部临时表的创建:

  当在内存或磁盘上创建内部临时表,服务器会增加 Created_tmp_tables 的值;

  当在磁盘上创建内部临时表时,服务器会增加 Created_tmp_disk_tables 的值,

  如果在磁盘上创建了太多的内部临时表,请考虑增加 tmp_table_size 和 max_heap_table_size 的值;

  created_tmp_disk_tables 不计算在内存映射文件中创建的磁盘临时表;

例外项:

  临时表/临时文件一般较小,但是也存在需要大量空间的临时表/临时文件的需求:

因为这些例外项一般需要较大的空间,所以需要考虑是否要将其存放在独立的挂载点上。

其他:

  列出由失败的 alter table 创建的隐藏临时表,这些临时表以#sql开头,可以使用 drop table 删除;

  通过 lsof +L1 可以查看标识为 delete ,但还未释放空间的文件。

   如果想释放这些 delete 状态的文件,可以尝试下面的方法(不推荐,后果自负):

普通的磁盘临时表|临时文件(一般需要较小的空间):

  临时表|临时文件的一般所需的空间较小,会优先存放于内存中,若超过一定的大小,则会转换为磁盘临时表|临时文件;

  磁盘临时表默认为 InnoDB 引擎,其存放在临时表空间中,由 innodb_temp_tablespaces_dir 定义表空间的存放目录,表空间文件类似:temp_[1-20].ibt ;MySQL 未定义 InnoDB 临时表空间的最大使用上限;

  当临时表|临时文件使用完毕后,会自动回收临时表空间文件的大小;

  innodb_temp_data_file_path 定义了用户创建的临时表使用的回滚段的存储文件的相对路径、名字、大小和属性,该文件是全局临时表空间(ibtmp1),该文件可以设置文件最大使用大小;

例外项(一般需要较大的空间):

  load data local 语句,客户端读取文件并将其内容发送到服务器,服务器将其存储在 tmpdir 参数指定的路径中;

  在 replica 中,回放 load data 语句时,需要将从 relay log 中解析出来的数据存储在 slave_load_tmpdir(replica_load_tmpdir) 指定的目录中,该参数默认和 tmpdir 参数指定的路径相同;

  需要 rebuild table 的在线 alter table 需要使用 innodb_tmpdir 存放排序磁盘排序文件,如果 innodb_tmpdir 未指定,则使用 tmpdir 的值;

若用户判断产生的临时表|临时文件一定会转换为磁盘临时表|临时文件,那么可以设置 set session big_tables=1;让产生的临时表|临时文件直接存放在磁盘上;

  对于需要较小空间的临时表|临时文件,MySQL 要么将其存储于内存,要么放在统一的磁盘临时表空间中,用完即释放;

  对于需要较大空间的临时表|临时文件,可以通过设置参数,将其存储于单独的目录|挂载点;例如:load local data 语句或需要重建表的在线 alter table 语句,都有对应的参数设置其存放临时表|临时文件的路径;

  当前只有 innodb_temp_data_file_path 参数可以限制 用户创建的临时表使用的回滚段的存储文件的大小,无其他参数可以限制临时表|临时文件可使用的磁盘空间;

mysql之临时表

临时表:一种特殊的表,用来存储查询的中间结果,并且会随着当前连接的结束而自动删除。mysql中有2种临时表,分别是内部临时表和外部临时表。

外部临时表关键字:TEMPORARY 。

外部临时表特征:

1、关键字TEMPORARY

2、临时表创建完成之后,只有当前可见,其他连接是看不到的,具有连接隔离性

3、临时表在当前连接结束之后,会自动删除。

临时表可以存储在内存和磁盘。


网页题目:mysql怎么解决临时表,Mysql 临时表
文章链接:http://cdxtjz.cn/article/dsiipoo.html

其他资讯