189 8069 5689

MySQL中mydumper工具怎么用

这篇文章给大家分享的是有关MySQL中mydumper工具怎么用的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

创新互联从2013年成立，先为惠水等服务建站，惠水等地企业，进行企业商务咨询服务。为惠水企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

一 前言
mydumper 具有如下特性
1 支持多线程导出数据，速度比mysqldump快。
2 支持一致性备份，使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。
3 支持将导出文件压缩，节约空间。
4 支持多线程恢复。
5 支持以守护进程模式工作，定时快照和连续二进制日志
6 支持按照指定大小将备份文件切割。
7 数据与建表语句分离。
二 原理
参考一张图 介绍mydumper的工作原理
MySQL中mydumper工具怎么用

mydumper的主要工作步骤
1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务
4 启用N个（线程数可以指定，默认是4）dump线程导出表和表结构 
5 备份非事务类型的表
6 主线程 UNLOCK TABLES，备份完成非事务类型的表之后，释放全局只读锁
7 dump InnoDB tables, 基于事物导出InnoDB表
8 事物结束

三 安装使用
3.1 安装
mydumper 基于c语言编写，需要编译安装，因此需要安装编译工具。

  1. yum install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y

  2. wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz

  3. tar  xf  mydumper-0.9.1.tar.gz

  4. cd mydumper-0.9.1/

  5. cmake .

  6. make && make install

  • 一般会遇到找不到 mysql-libraries 的问题，可以参考 stackoverflow 的回答，如果再解决不了，则可能是自己制定的MySQL安装目录的问题，比如我自己的安装目录是/opt/mysql/

  • 则需要做一个软连接 

  • ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so

    • 3.2 参数说明
    mydumper 的常用参数

    1. -B, --database              要导出的dbname

    2. -T, --tables-list           需要导出的表名,导出多个表需要逗号分隔，t1[,t2,t3 ....]

    3. -o, --outputdir             导出数据文件存放的目录，mydumper会自动创建

    4. -s, --statement-size 生成插入语句的字节数, 默认1000000字节

    5. -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize

    6. -F, --chunk-filesize        切割表文件的大小，默认单位是 MB ，如果表大于

    7. -c, --compress              压缩导出的文件

    8. -e, --build-empty-files     即使是空表也为表创建文件

    9. -x, --regex                 使用正则表达式匹配 db.table

    10. -i, --ignore-engines        忽略的存储引擎，多个值使用逗号分隔

    11. -m, --no-schemas            只导出数据，不导出建库建表语句

    12. -d, --no-data               仅仅导出建表结构，创建db的语句

    13. -G, --triggers              导出触发器

    14. -E, --events                导出events

    15. -R, --routines              导出存储过程和函数

    16. -k, --no-locks              不执行临时的只读锁，会导致备份不一致 。WARNING: This will cause inconsistent backups

    17. --less-locking              最小化在innodb表上的锁表时间 --butai

    18. -l, --long-query-guard      设置长时间执行的sql 的时间标准

    19. -K, --kill-long-queries     将长时间执行的sql kill

    20. -D, --daemon                以守护进程的方式执行

    21. -I, --snapshot-interval     创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用。

    22. -L, --logfile               指定mydumper输出的日志文件，默认使用控制台输出。

    23. --tz-utc                    SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.

    24. --skip-tz-utc

    25. --use-savepoints            使用savepoints 减少MDL 锁事件 需要 SUPER 权限

    26. --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn

    myloader使用参数

    1. -d, --directory                   备份文件的文件夹

    2. -q, --queries-per-transaction     每次事物执行的查询数量，默认是1000

    3. -o, --overwrite-tables            如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构

    4. -B, --database                    需要还原的数据库

    5. -e, --enable-binlog               启用还原数据的二进制日志

    6. -h, --host                        The host to connect to

    7. -u, --user                        Username with privileges to run the dump

    8. -p, --password                    User password

    9. -P, --port                        TCP/IP port to connect to

    10. -S, --socket                      UNIX domain socket file to use for connection

    11. -t, --threads                     还原所使用的线程数，默认是4

    12. -C, --compress-protocol           压缩协议

    13. -V, --version                     显示版本

    14. -v, --verbose                     输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

    四  使用方法

  • #导出整个库


    1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform

  • #仅仅导出platform的ddl语句不包含数据到指定的目录 /data/platform


    1. mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform

  • #以压缩的方式导出的文件


    1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform

  • 备份文件以.gz 的格式压缩


    1. #ls

    2. metadata                             trade_platform.config.sql.gz         trade_platform.trade_order-schema.sql.gz

    3. trade_platform.config-schema.sql.gz  trade_platform-schema-create.sql.gz  trade_platform.trade_order.sql.gz

  • #使用正则表达式


    1. mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20170120

  • 其中正则表达式可以是


  • --regex=order.*  导出所有order 开头的表


  • mydumper 导出的文件


    1. [root@rac4 17:27:02 /data/platform]

    2. # ls

    3. metadata  platform.config.sql  platform.order.sql

    mydumper 导出的文件 分为

    1. metadata :包含导出时刻的binlog 位点信息 ，如果启用gtid ，则记录gtid信息。

    2. Started dump at: 2017-01-20 17:26:53

    3. SHOW MASTER STATUS:

    4.   Log: mysql-bin.000025

    5.   Pos: 505819083

    6.   GTID:

    7. Finished dump at: 2017-01-20 17:27:02

    8. db.table.sql        :数据文件，insert语句

    9. db.table-schema.sql :包含建表语句

    10. db-schema.sql       :包含建库语句

  • 注意 0.9.1 版本去掉了 --binlogs 参数，故会少了 启用binlogs参数相关的文件。

感谢各位的阅读！关于“MySQL中mydumper工具怎么用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


标题名称：MySQL中mydumper工具怎么用
新闻来源：http://cdxtjz.cn/article/jppoec.html

其他资讯