canal介绍-程序员宅基地

技术标签： 中间件  

目录

一、canal是什么

二、canal的原理

三、canal初尝

一、canal是什么

canal [kə'næl]，译意为水道/管道/沟渠，是阿里开源的一个增量数据变更收集的工具，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费的一种中间件。

二、canal的原理

说到canal的原理我们要先说明mysql的主从同步

2.1 mysql的主从同步：

（1）Master 主库将改变记录，写到binary log中

（2）Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷到它的relay log

（3）Slave 从库读取并重做relay log中的事件，将改变的数据同步到自己的数据库

其他：

（1）在线上环境，对于读远大于写的场景，一般都是一主多从，主库进行写操作，从库进行读操作，然后主库内容更新再同步给从库

（2）binary log主要作⽤是记录数据库中表的更改，它只记录改变数据的sql，不改变数据的sql不会写⼊，⽐如select语句⼀般不会被记录，因为他们不会对数据产⽣任何改动

（3）relay log的结构和binlog非常相似，只不过他多了一个master.info和relay-log.info的文件，master.info记录了上一次读取到master同步过来的binlog的位置，以及连接master和启动复制必须的所有信息。relay-log.info记录了文件复制的进度，下一个事件从什么位置开始，由sql线程负责更新

2.2 canal的原理

canal其实本质就是将自己伪装成一个slave，同步主库的binary log

（1）canal 模拟 mysql slave 的交互协议，伪装自己为 mysql slave，向 mysql master 发送 dump 协议

（2）mysql master 收到 dump 请求，开始推送 binary log 给 slave (也就是 canal)

（3）canal 解析 binary log 对象 

三、canal初尝

数据库中表的更改都记录在binlog日志中，但是binlog日志也有三种格式，我们可以根据自己的需要决定到底使用哪一种，这边我们为了便于观察，使用了row格式。

binlog格式

具体含义

优点

缺点
STATEMENT 语句级别，记录每一次执行写操作的语句，相对于ROW模式节省了空间，但是可能产生数据不一致如update tt set create_date=now()，由于执行时间不同产生的数据就不同 节省空间 可能造成数据不一致
ROW 行级，记录每次操作后每行记录的变化。假如一个update的sql执行结果是1万行，statement只存一条，如果是row的话会把这个10000行的结果存这。 持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果 占用较大空间
MIXED 是statement的一种升级，由mysql server层智能选择是实用statement还是row，但是这种只能并不能保证百分之百正确 节省空间，同时兼顾了一定的一致性 还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog的监控的情况都不方便

3.1 使用statement格式，对库里的4条数据进行update操作，position移动了340

# statement格式下详细的binlog日志记录，从position1792-2132
# The proper term is pseudo_replica_mode, but we use this compatibility alias
# to make the statement usable on server versions 8.0.24 and older.
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 156
#230517 17:14:08 server id 1  end_log_pos 125 CRC32 0x34e0ed85  Start: binlog v 4, server v 8.0.26 created 230517 17:14:08 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
4JpkZA8BAAAAeQAAAH0AAAABAAQAOC4wLjI2AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAADgmmRkEwANAAgAAAAABAAEAAAAYQAEGggAAAAICAgCAAAACgoKKioAEjQA
CigBhe3gNA==
'/*!*/;
# at 1792
#230524 10:46:23 server id 1  end_log_pos 1871 CRC32 0xf198682b     Anonymous_GTID  last_committed=5    sequence_number=6   rbr_only=no original_committed_timestamp=1684896383380934   immediate_commit_timestamp=1684896383380934 transaction_length=340
# original_commit_timestamp=1684896383380934 (2023-05-24 10:46:23.380934 CST)
# immediate_commit_timestamp=1684896383380934 (2023-05-24 10:46:23.380934 CST)
/*!80001 SET @@session.original_commit_timestamp=1684896383380934*//*!*/;
/*!80014 SET @@session.original_server_version=80026*//*!*/;
/*!80014 SET @@session.immediate_server_version=80026*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 1871
#230524 10:46:23 server id 1  end_log_pos 1964 CRC32 0x9cfbf3c0     Query   thread_id=12    exec_time=0 error_code=0
SET TIMESTAMP=1684896383/*!*/;
SET @@session.pseudo_thread_id=12/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1168113696/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
/*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/;
BEGIN
/*!*/;
# at 1964
#230524 10:46:23 server id 1  end_log_pos 2101 CRC32 0x723fdb20     Query   thread_id=12    exec_time=0 error_code=0
use `zhou1`/*!*/;
SET TIMESTAMP=1684896383/*!*/;
update player_role set player_name='zhouluying10'
/*!*/;
# at 2101
#230524 10:46:23 server id 1  end_log_pos 2132 CRC32 0x724686a9     Xid = 1480
COMMIT/*!*/;

3.2 实用row格式，对库里面的4条数据进行update操作，position移动了424

 

# row格式下详细的binlog日志记录，从position2132-2556
# The proper term is pseudo_replica_mode, but we use this compatibility alias
# to make the statement usable on server versions 8.0.24 and older.
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 156
#230517 17:14:08 server id 1  end_log_pos 125 CRC32 0x34e0ed85  Start: binlog v 4, server v 8.0.26 created 230517 17:14:08 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
BINLOG '
4JpkZA8BAAAAeQAAAH0AAAABAAQAOC4wLjI2AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAADgmmRkEwANAAgAAAAABAAEAAAAYQAEGggAAAAICAgCAAAACgoKKioAEjQA
CigBhe3gNA==
'/*!*/;
# at 2132
#230524 10:47:13 server id 1  end_log_pos 2211 CRC32 0x162f1f81     Anonymous_GTID  last_committed=6    sequence_number=7   rbr_only=yes    original_committed_timestamp=1684896433200961   immediate_commit_timestamp=1684896433200961 transaction_length=424
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
# original_commit_timestamp=1684896433200961 (2023-05-24 10:47:13.200961 CST)
# immediate_commit_timestamp=1684896433200961 (2023-05-24 10:47:13.200961 CST)
/*!80001 SET @@session.original_commit_timestamp=1684896433200961*//*!*/;
/*!80014 SET @@session.original_server_version=80026*//*!*/;
/*!80014 SET @@session.immediate_server_version=80026*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 2211
#230524 10:47:13 server id 1  end_log_pos 2296 CRC32 0x18e30c17     Query   thread_id=12    exec_time=0 error_code=0
SET TIMESTAMP=1684896433/*!*/;
SET @@session.pseudo_thread_id=12/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1168113696/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
/*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/;
BEGIN
/*!*/;
# at 2296
#230524 10:47:13 server id 1  end_log_pos 2361 CRC32 0x9666ea38     Table_map: `zhou1`.`player_role` mapped to number 87
# at 2361
#230524 10:47:13 server id 1  end_log_pos 2525 CRC32 0x1e5c12f2     Update_rows: table id 87 flags: STMT_END_F
 
BINLOG '
sXptZBMBAAAAQQAAADkJAAAAAFcAAAAAAAEABXpob3UxAAtwbGF5ZXJfcm9sZQACDw8EgACAAAAC
A/z/ADjqZpY=
sXptZB8BAAAApAAAAN0JAAAAAFcAAAAAAAEAAgAC//8AATEMemhvdWx1eWluZzEwAAExDHpob3Vs
dXlpbmcxMQABMgx6aG91bHV5aW5nMTAAATIMemhvdWx1eWluZzExAAEzDHpob3VsdXlpbmcxMAAB
Mwx6aG91bHV5aW5nMTEAATQMemhvdWx1eWluZzEwAAE0DHpob3VsdXlpbmcxMfISXB4=
'/*!*/;
### UPDATE `zhou1`.`player_role`
### WHERE
###   @1='1' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying10' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### SET
###   @1='1' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying11' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### UPDATE `zhou1`.`player_role`
### WHERE
###   @1='2' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying10' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### SET
###   @1='2' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying11' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### UPDATE `zhou1`.`player_role`
### WHERE
###   @1='3' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying10' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### SET
###   @1='3' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying11' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### UPDATE `zhou1`.`player_role`
### WHERE
###   @1='4' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying10' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
### SET
###   @1='4' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
###   @2='zhouluying11' /* VARSTRING(128) meta=128 nullable=0 is_null=0 */
# at 2525
#230524 10:47:13 server id 1  end_log_pos 2556 CRC32 0x92f9a85a     Xid = 1593
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

show variables like 'binlog_format'; // 查看相关的binlog的使用格式

show master status; // 查看当前binlog的状态

set session binlog_format='statement'; // 修改为statement

show binlog events in 'mysql-bin.000002'; // 查看粗略的binlog日志

mysqlbinlog -vv /usr/local/mysql/data/binlog.000007 --start-position=1792 // 查看详细的从某个游标的binlog日志

3.3 row格式的binlog样式，包含

（1）当前变更的sql是语句类型

（2）操作的数据库 database

（3）操作的表 table

（4）变更前后的数据

  • insert语句相关的投递消息的消息体
// insert into player_role values(4,'zhouluying4');
{
    "data":[
        {
            "player_id":"4",
            "player_name":"zhouluying4"
        }
    ],
    "database":"zhou1",
    "es":1683267248000,
    "gtid":"",
    "id":2,
    "isDdl":false,
    "mysqlType":{
        "player_id":"varchar(32)",
        "player_name":"varchar(32)"
    },
    "old":null,
    "pkNames":[
        "player_id"
    ],
    "sql":"",
    "sqlType":{
        "player_id":12,
        "player_name":12
    },
    "table":"player_role",
    "ts":1683267249020,
    "type":"INSERT"
}
  • update语句相关的投递消息的消息体
// update player_role set player_name='zhouluying5' where player_id=4; 
{
    "data":[
        {
            "player_id":"4",
            "player_name":"zhouluying5"
        }
    ],
    "database":"zhou1",
    "es":1683267310000,
    "gtid":"",
    "id":3,
    "isDdl":false,
    "mysqlType":{
        "player_id":"varchar(32)",
        "player_name":"varchar(32)"
    },
    "old":[
        {
            "player_name":"zhouluying4"
        }
    ],
    "pkNames":[
        "player_id"
    ],
    "sql":"",
    "sqlType":{
        "player_id":12,
        "player_name":12
    },
    "table":"player_role",
    "ts":1683267310753,
    "type":"UPDATE"
}
  • delete语句相关的投递消息的消息体
// delete from player_role where player_id=4;
{
    "data":[
        {
            "player_id":"4",
            "player_name":"zhouluying5"
        }
    ],
    "database":"zhou1",
    "es":1683267383000,
    "gtid":"",
    "id":4,
    "isDdl":false,
    "mysqlType":{
        "player_id":"varchar(32)",
        "player_name":"varchar(32)"
    },
    "old":null,
    "pkNames":[
        "player_id"
    ],
    "sql":"",
    "sqlType":{
        "player_id":12,
        "player_name":12
    },
    "table":"player_role",
    "ts":1683267383843,
    "type":"DELETE"
}

从上面我们可以观察到，INSERT和DELETE语句产生的binary log中没有相关的old对象是一个null值，但是UPDATE是有相关具体的旧的数据值的
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuyuzhou_12345/article/details/130885961

智能推荐

用OCC+VS+Qt创建并显示一个几何_occ opengldriver-程序员宅基地

文章浏览阅读1.7k次，点赞2次，收藏25次。用OCC+VS+Qt创建并显示一个几何_occ opengldriver

Unity学习心得_unity课程总结心得-程序员宅基地

文章浏览阅读4.2k次，点赞2次，收藏12次。Unity学习心得第一个项目 Roll A Ball1.基本模型和场景操作双击Cube,表示聚焦（在Scene场景中）或者按下 F键Persp:透视视图 （会产生近大远小） ISO：平行视野（不会产生近大远小的效果）2.世界坐标系和局部坐标系：世界坐标：以世界原点为中心的坐标 局部坐标：以父节点的中心_unity课程总结心得

maven的下载与安装教程（超详细）_maven安装-程序员宅基地

文章浏览阅读10w+次，点赞432次，收藏1.1k次。前言本篇文章是基于win10系统下载安装Maven的教程。一、 Maven介绍1. 什么是Maven​ Maven是一个跨平台的项目管理工具。作为Apache组织的一个颇为成功的开源项目，其主要服务于基于Java平台的项目创建，依赖管理和项目信息管理。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自身是纯java开发的，可以使用maven对java项目进行构建、依赖管理。2. Maven的作用依赖管理依赖指的就是是 我们项目中需要使用的第三方_maven安装

研究生如何读文献 写论文 发文章 毕业论文_研究生一天读多少文献-程序员宅基地

文章浏览阅读2.1k次，点赞3次，收藏13次。研究生论文写作步骤1. 先看综述，后看论著。看综述搞清概念，看论著掌握方法。2. 早动手在师兄师姐离开之前学会关键技术。3. 多数文章看摘要，少数文章看全文。掌握了一点查全文的技巧，往往会以搞到全文为乐，以至于没有时间看文章的内容，更不屑于看摘要。真正有用的全文并不多，过分追求全文是浪费，不可走极端。当然只看摘要也是不对的。4. 集中时间看文献，看过总会遗忘。看文献的时间越分散_研究生一天读多少文献

微光app电脑版_智米电暖器智能版1S体验：全面领跑AIoT、将智能生活进行到底-程序员宅基地

文章浏览阅读547次。【科技犬体验】2019年10月15日，智米正式推出了旗下电暖器新品——智米电暖器1S和智米电暖器智能版1S对于没有集中供暖的长江中下游地区居民而言，电暖器是不折不扣的"保命神器"。而在深秋的北方，昼夜温差较大，这种时候使用灵活、易于搬运的电暖器也成为更加明智的选择。在北方每年的冬季，室内温度就直接关系着大家在家的舒适度，而对于室内温度不达标的用户，购买电暖器就成为几乎唯一的选择。科技犬已经入手智米..._智米电暖器智能版app

《Hadoop与大数据挖掘》——2.6　TF-IDF算法原理及Hadoop MapReduce实现-程序员宅基地

文章浏览阅读312次。本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.6节，作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。2.6　TF-IDF算法原理及Hadoop MapReduce实现2.6.1　TF-IDF算法原理原理：在一份给定的文件里，词频（Term Frequency，..._hadoop mapreduce如何实现实现tf-idf

随便推点

GSM劫持+短信嗅探 “半夜盗刷”-程序员宅基地

文章浏览阅读5.1k次，点赞2次，收藏21次。【PConline资讯】“一觉醒来，手机里多了上百条验证码，而账户被刷光还背上了贷款”——近期犯罪分子利用“GSM劫持+短信嗅探”的方式盗刷网友账户的事件成为网络热点。那么，该如何防范这种短信嗅探犯罪呢？安全专家指出，最简单的一招就是睡觉前关机，手机关机后就没有了信号，短信嗅探设备就无法获取到你的手机号。在主流App中，许多账户登录及资金操作都可以通过手机号码加短信验证码的方式实现，对于用...

Docker删除容器命令_docker delete-程序员宅基地

文章浏览阅读2.6w次，点赞4次，收藏25次。删除容器 之前要先docker stop 容器1. 删除指定容器docker rm -f <containerid>12. 删除未启动成功的容器docker rm $(docker ps -a|grep Created|awk '{print $1}')或者docker rm $(docker ps -qf status=created)1233. 删除退出状态的容器docker rm $(docker ps -a|grep Exited|awk '{print $1}_docker delete

乌龙（一）ntp对时_ntp对时 时区-程序员宅基地

文章浏览阅读107次。emmm…今天新搭了一套虚拟机（安装时一步过了 啥也没配置），操作时发现系统时间一直不对，于是安装了ntp跟阿里云等时钟源对过，发现一对时系统就变成了昨天，我把系统时间强制改为了现在，再次对时，时间又回退到昨天，最后发现时区选错了，选成了PST。解决方法cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime..._ntp对时 时区

数据结构_实验三_二叉树的基本操作_二叉树叶子节点实验-程序员宅基地

文章浏览阅读6.3k次，点赞18次，收藏81次。1.需求分析1.1 输入数据建立二叉树，分别以前序、中序、后序的遍历方式显示输出二叉树的遍历结果。输入输出形式：124$$5$3$$preOrder1 2 4 5 3inOrder4 2 5 1 3afterOrder4 5 2 3 1功能：利用树存储数据，采用递归的方式做到先序、中序、后序三种遍历方式输出数据范围：0~9测试数据：    124$$5$3$$      ..._二叉树叶子节点实验

P5738 【深基7.例4】歌唱比赛-程序员宅基地

文章浏览阅读311次。题目描述n(n\le 100)n(n≤100)名同学参加歌唱比赛，并接受m(m\le 20)m(m≤20)名评委的评分，评分范围是 0 到 10 分。这名同学的得分就是这些评委给分中去掉一个最高分，去掉一个最低分，剩下m-2m−2个评分的平均数。请问得分最高的同学分数是多少？评分保留 2 位小数。输入格式无输出格式无输入输出样例输入 ..._【深基7.例4】歌唱比赛

Vue简明实用教程(04)——事件处理_vue html里面如何直接写事件函数-程序员宅基地

文章浏览阅读1.1k次，点赞4次，收藏5次。在Vue中可非常便利地进行事件处理，例如：点击事件、鼠标悬停事件等。_vue html里面如何直接写事件函数

推荐文章

热门文章

相关标签