189 8069 5689

怎么同步mysql的简单介绍

怎么使Mysql数据同步

先假设有主机 A 和 B ( Linux 系统),主机 A 的 IP 分别是 1.2.3.4 (当然,也可以是动态的),主机 B 的 IP 是 5.6.7.8 。两个主机都装上了 PHP+Mysql ,现在操作的是主机 A 上的资料,如果另外一个主机 B 想跟 A 的资料进行同步,应该怎么做呢?

专注于为中小企业提供成都网站设计、成都网站制作服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业柯坪免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上1000家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

OK,我们现在就动手。

首先,如果要想两个主机间的资料同步,一种方法就是主机 A 往主机 B 送资料,另外一种主法就是主机 B 到主机 A 上拿资料,因为 A 的 IP 是动态的(假设),所以我们就得从主机 A 往主机 B 送资料。

在主机 B 上创建一个 Mysql 账户。

# GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"; //创建用户 user,可以从任何机器访问到主机 B 上的 test 数据库。

如果这里显示错误,先把 % 改为一个 IP ,然后再利用 phpMyAdmin 把 IP 改为 % ,测试无误后就可以写 php 程序。

?

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password"); //连接本机(主机A)的数据库

mysql_select_db("test"); //选择数据库test

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$id=mysql_result($re,0,"id"); //获得本机table表的最大ID

}

mysql_close($link); //关闭与本机数据库的连接

$link=mysql_pconnect("5.6.7.8","test","test");

mysql_pconnect("5.6.7.8","test","test"); //连接主机B的数据库

mysql_select_db("test"); //选择数据库test,此数据库应该与主机A上test数据库的结构一样。

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$remote_id=mysql_result($re,0,"id"); //获得主机Btable表的最大ID

}

if ($id$remote_id) {

$result_id=$id-$remote_id; //如果主机A中table的最大ID大于主机B中table表的最大ID,说明两个

} 的资料不同

mysql_close($link); //关闭主机B的数据库连接

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password");

mysql_select_db("test");

if (empty($result_id)) $result_id=0;

if (empty($remote_id)) $remote_id=0; //如果主机B中的table的最大ID为空(里面没有资料),那么就等0

$re=mysql_query("select * from table limit $remote_id,$result_id"); //取出主机A中table表与主机B中table表里不同的资料

$num=mysql_numrows($re);

if (!empty($num)) {

for ($i=0;$i$num;$i++) {

$test[$i]=mysql_result($re,$i,"test"); //把不同的资料放入一个数组里

}

}

mysql_close($link); //关闭主机A的数据库连接

$link=mysql_pconnect("5.6.7.8","user","password");

mysql_pconnect("5.6.7.8","user","pasword");

mysql_select_db("test");

for ($j=0;$j$i;$j++) { //这里的i等于在比较主机A与主机B上table表不同资料的数量

mysql_query("insert into table (test) values(\'$test[$j]\')");

}

mysql_close($link); //关闭主机B的数据库连接

?

这时就初步实现了 A 主机和 B 主机数据的同步,但现在还需要人手动每次去激活这个程序,有没有办法把它作为一个脚本一样的,放在 crontab 里面指定时间自动执行呢?

在安装 php 时会自动生一个叫 php 的可执行文件,一般在/你安装的 php 目录 /bin 下面,不过较底的版本好像没有,如果没有这个文件,你就得升级你的 php 。

#php -q test.php

php 原本是应用在网页应用的﹐因此它会送出 HTML 的 Header﹐但是在此我们是要将 php 用作 Shell Script﹐"-q" 就是表示不要送出 Header 的意思.

最后编辑 /etc/crontab 里的文件,加上下面这一句。

0 0 * * * root /home/httpd/html/test //每天晚上零点执/home/httpd/html/test文件(具体使用方法请查看cron的相关资料)

OK,到这里差不多就已完成 Mysql 数据的同步了,如果各位还有兴趣的话,可以想一个连编辑、删除都能同步的更好的办法。

如何同步mysql数据到Doris中

Doris官网定义

mysql原始表结构

1.doris中关联mysql外表

结果如下:

2.doris中关联kafka导入数据

查看作业

State为RUNNING,表示已经成功。

停止作业

3.通过flink导入mysql数据到doris

方法1:通过mysql-cdc写入kafka,kafka关联doris表。

方法2:通过阿里云DTS-datahub,然后通过Flink写入kafka,再关联到doris外表

如何处理delete数据?对于方法1,需要手动的删除doris中的数据;对于方法2,可以通过dts_operation_flag字段来标示,dts_operation_flag可以为I/U/D,分别表示添加、更新和删除。那我们就只需要在doris表中添加一个dts_operation_flag字段来标示就可以了,查询数据的时候就不再查询等于D的值。

如何处理脏数据?delete doris中的数据,然后insert正确的值;还有个方法是将关联一个外表(这个是正确的值),然后再将doris中的表和外表中的值diff,将diff的值insert到doris中。

如何设置MySQL同步

1、设置同步Master

每个同步服务器都必须设定一个唯一的编号,否则同步就不能正常运行了。接下来开始修改 my.cnf,增加以下几行:

server-id = 1

log-bin

set-variable=binlog-ignore-db=mysql

然后在Master上增加一个账号专门用于同步,如下:

mysqlGRANT REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

如果想要在Slave上有权限执行 "LOAD TABLE FROM MASTER" 或 "LOAD DATA FROM MASTER" 语句的话,必须授予全局的 FILE 和 SELECT 权限:

mysqlGRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

第三行表示不记录数据库mysql的更新日志,这就避免了Master上的权限设置等被同步到Slave上,如果对这方面没有限制,就可以不设置这个参数。

接下来备份Master上的数据,首先执行如下SQL语句:

mysqlFLUSH TABLES WITH READ LOCK;

不要退出这个终端,否则这个锁就不生效了;接着导出数据,可以直接打包压缩数据文件,也可以使用mysqldump工具来做,推荐前者的方法,这样更为快捷简便。

怎么实现两台服务器的mysql数据同步

这种架构一般用在以下三类场景

1. 备份多台 Server 的数据到一台如果按照数据切分方向来讲,那就是垂直切分。比如图 2,业务 A、B、C、D 是之前拆分好的业务,现在需要把这些拆分好的业务汇总起来备份,那这种需求也很适用于多源复制架构。实现方法我大概描述下:业务 A、B、C、D 分别位于 4 台 Server,每台 Server 分别有一个数据库来隔离前端的业务数据,那这样,在从库就能把四台业务的数据全部汇总起来,而不需要做额外的操作。那没有多源复制之前,要实现这类需求,只能在汇总机器上搭建多个 MySQL 实例,那这样势必会涉及到跨库关联的问题,不但性能急剧下降,管理多个实例也没有单台来的容易。

2. 用来聚合前端多个 Server 的分片数据。

同样,按照数据切分方向来讲,属于水平切分。比如图 3,按照年份拆分好的数据,要做一个汇总数据展现,那这种架构也非常合适。实现方法稍微复杂些:比如所有 Server 共享同一数据库和表,一般为了开发极端透明,前端配置有分库分表的中间件,比如爱可生的 DBLE。

3. 汇总并合并多个 Server 的数据

第三类和第一种场景类似。不一样的是不仅仅是数据需要汇总到目标端,还得合并这些数据,这就比第一种来的相对复杂些。比如图 4,那这样的需求,是不是也适合多源复制呢?答案是 YES。那具体怎么做呢?


分享文章:怎么同步mysql的简单介绍
网页链接:http://cdxtjz.cn/article/dsicodp.html

其他资讯