Mysql之Binlog

1、简述

binlog 二进制日志文件,这个文件记录了MySQL所有的DML操作。通过binlog日志我们可以做数据恢复,增量备份,主主复制和主从复制等等。

2、Docker中无法使用vim问题解决

https://blog.csdn.net/Tomwildboar/article/details/120710690

https://blog.csdn.net/KwaiSZ/article/details/106937983

3、开启binlog

查看是否开启binlog日志 <span>show variables like 'log_%';</span>&#xA0;

my.cnf里面加上配置如下配置,重启mysql。

binlog&#x5B58;&#x50A8;&#x7684;&#x4F4D;&#x7F6E;
log-bin=/var/lib/mysql/mysql-bin
&#x65E5;&#x5FD7;&#x8FC7;&#x671F;&#x65F6;&#x95F4;
expire_logs_days=30
&#x4E0D;&#x52A0;&#x8FD9;&#x4E2A;&#x542F;&#x52A8;&#x4F1A;&#x62A5;&#x9519;
server-id=123454

查看binlog其它的配置文件 show variables like 'binlog%';

4、binlog查看乱码问题

上面框起来的就是 binlog&#x65E5;&#x5FD7;(你可以先对表进行一些增删改操作),但是我们使用 vim打开发现全是乱码

其中标记的部分并非是乱码,而是经由 base64 编码之后的结果,可以在通过 mysqlbinlog 查看 binlog 日志时添加参数进行解码

mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000007

5、binlog编码格式

我们可以使用 show variables like 'binlog_format';来查看默认的编码格式

注:不同版本的MySQL,binlog默认的编码格式可能不同

binlog有三种编码格式分别是 row statement mixed

5.1、statement 基于SQL语句的复制(statement-based replication, SBR)

每一条会修改数据的sql语句都会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化,减少了binlog日志量,节约IO,提高性能。

在配置文件里面加入配置 binlog_format=statement,然后重启服务。

执行下面的语句:

CREATE TABLE my_test.xdx_test  (
  name varchar(255) NOT NULL,
  age int(0) NOT NULL,
  birthday datetime NOT NULL
)

insert into xdx_test (name,age,birthday) values ('xdx',18, now());

然后我们在打开最新的binlog日志,可以在里面找到上面的语句。

但就如同上面的 insert 语句,我使用了 now(),这个函数,如果用这个binlog语句去进行备份、同步那么时间字段就对不上了。

5.2、row 基于行的复制(row-based replication, RBR)

不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发或 now() 无法被正确复制的问题。缺点是会产生大量的日志,尤其是alter table的时候会让日志暴涨。

修改配置文件为 binlog_format=row,然后重启服务器即可开启。

5.3、mixed 混合模式复制(mixed-based replication, MBR)

以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。

修改配置文件为 binlog_format=mixed,然后重启服务器即可开启。

6、通过binlog恢复数据

将binlog编码格式自行设置为mixed 混合格式。

6.1、准备数据

在操作之前,我们先执行 flush logs;开启一个新的 binlog日志,方便后面处理。

建表:

CREATE TABLE xdx_test (
  id int(1) unsigned NOT NULL AUTO_INCREMENT COMMENT '&#x81EA;&#x589E;id',
  name varchar(255) NOT NULL COMMENT '&#x540D;&#x79F0;',
  age int(11) NOT NULL COMMENT '&#x5E74;&#x9F84;',
  birthday datetime NOT NULL COMMENT '&#x751F;&#x65E5;' ,
   PRIMARY KEY (id) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

添加数据:

insert into xdx_test (name, age, birthday) values ('111',111,now());
insert into xdx_test (name, age, birthday) values ('222',222,now());

查询数据:

select * from xdx_test;

Mysql之Binlog

这里我们删掉 id=1的数据 delete from xdx_test where id = 1;,用来模拟异常情况数据丢失,然后我们再来恢复它。

6.2、恢复数据

6.2.1、开启新日志

执行命令 flush logs开启新的日志记录,这样我们就不会收到后面操作的干扰。

6.2.2、找到需要操作的日志

这里我要操作的日志是 mysql-bin.000007

执行命令查看日志结构 show binlog events in 'mysql-bin.000007';

6.2.3、使用pos恢复数据(推荐)

从上面的图,我们可以看到pos的开始和结束的位置,我们可恢复此阶段的数据

&#x8FDB;&#x5165;&#x5230; binlog &#x76EE;&#x5F55;&#x4E0B;
cd /var/lib/mysql
&#x6570;&#x636E;&#x6062;&#x590D;&#x547D;&#x4EE4;
mysqlbinlog --start-position=&#x5F00;&#x59CB;&#x7684;pos --stop-position=&#x7ED3;&#x675F;&#x7684;pos --database=&#x8981;&#x64CD;&#x4F5C;&#x7684;&#x6570;&#x636E;&#x5E93; binlog&#x7684;&#x540D;&#x79F0; | mysql -u&#x767B;&#x9646;&#x540D; -p&#x767B;&#x9646;&#x5BC6;&#x7801; -v &#x8981;&#x64CD;&#x4F5C;&#x7684;&#x6570;&#x636E;&#x5E93;

&#x6700;&#x7EC8;&#x6267;&#x884C;&#x547D;&#x4EE4;&#xFF08;&#x6211;&#x7684;&#xFF09;&#x6CE8;&#x610F;&#x7A7A;&#x767D;&#x95F4;&#x9694;
mysqlbinlog --start-position=219 --stop-position=518 --database=my_test mysql-bin.000007 | mysql -uroot -p123456 -v test

执行结果信息:

再次进入数据库,查询,发现数据有了

6.2.3.1、执行报错解决

报错信息如下:

Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock

进到 mysql 的config路径下,一般是在:

vim /etc/mysql/my.cnf

然后看到其中 [mysqld] 的socket配置为:

socket=/var/lib/mysql/mysql.sock

因此把这个sock文件挂载到 /var/run/mysqld/mysqld.sock 就可以了:

ln -s /var/lib/mysql/mysql.sock /var/run/mysqld/mysqld.sock

重新执行恢复命令即可。

6.2.4、使用时间恢复数据

由于时间这块日志,不太能具体看清具体恢复的内容时间点,所有不推荐使用该方式。

使用命令查看binlog日志 mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000013

数据比较多,这里我只截图需要的部分

mysqlbinlog --start-datetime='2021-10-14 12:47:12' --stop-datetime='2021-10-14 12:52:40' --database=my_test mysql-bin.000013 | mysql -uroot -proot -v test

7、其他

7.1、binlog文件大小

可以使用命令来查看binlog 单个文件大小,默认是1G,如果超过了1G就会新增一个文件 show variables like 'max_binlog_size';

注: 当你重启MySQL的时候,就会新增一个新的 binlog 文件

7.2、过期删除

前面也说了,我们可以使用 expire_logs_days=30来配置日志保存时间,我们最好不要自己去删除binlog日志,这样会导致过期删除出错,如果非要删除,要记得更新一下 xxxxx.mysql-bin.index

7.3、其他命令

  • 查看全部的日志 show master logs;
  • 查看日志的最后一次操作 show master status;
  • 刷新binlog日志,也就是新开启一个日志文件 flush logs(这个在恢复数据的时候很有用)

7.4、sync_binlog

sync_binlog=0,当事务提交之后,MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘,而让Filesystem自行决定什么时候来做同步,或者cache满了之后才同步到磁盘。

sync_binlog=1,强一致,每次事物提交都进行磁盘同步。

sync_binlog=n,当每进行n次事务提交之后,MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘

Original: https://www.cnblogs.com/aerfazhe/p/16408464.html
Author: 阿尔法哲
Title: Mysql之Binlog

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/643398/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 文档分享-Activiti 5.16 用户手册

    今天在翻看工作流相关的网页的时候,在开源中国上http://www.oschina.net/question/915507_149175发现activiti的中文文档:http:/…

    技术杂谈 2023年6月1日
    0105
  • 千古前端图文教程-HTML002-浏览器的介绍

    浏览器的介绍 浏览器的介绍 常见的浏览器 浏览器的市场占有份额 浏览器的组成 + 1、渲染引擎(浏览器内核) 2、JS 引擎 浏览器工作原理 常见的浏览器 浏览器是网页运行的平台,…

    技术杂谈 2023年7月11日
    093
  • typedef

    为类型定义别名 typedef int Int 这样 Int 就是 int类型的别名,就可以使用 Int来定一整形变量. 只需要在类型变量生命的基础上,再加一个关键字 typede…

    技术杂谈 2023年7月11日
    061
  • 全新升级的AOP框架Dora.Interception[2]: 基于约定的拦截器定义方式

    Dora.Interception(github地址,觉得不错不妨给一颗星)有别于其他AOP框架的最大的一个特点就是采用针对”约定”的拦截器定义方式。如果我…

    技术杂谈 2023年5月31日
    0112
  • WinForm应用程序UI调用长耗时函数 z

    您可以将方法调用排队以在线程池线程上执行(请参阅here): ThreadPool.QueueUserWorkItem(new WaitCallback(YourMethod));…

    技术杂谈 2023年6月1日
    0123
  • 基于zookeeper分布式全局序列分布式锁详解

    博客园 :当前访问的博文已被密码保护 请输入阅读密码: Original: https://www.cnblogs.com/langtianya/p/10838236.htmlAu…

    技术杂谈 2023年5月31日
    091
  • 为vscode开发一款svn右键菜单扩展

    在我平时的工作中会经常用到svn blame这个命令,但是vscode现有的svn扩展普遍都不能自定义右键菜单。 所以我产生一个想法:自己动手为vscode开发一款svn的扩展来定…

    技术杂谈 2023年6月1日
    097
  • spring-MVC

    步骤 1.创建maven父项目 导入公共依赖 junit junit 4.12 org.springframework spring-webmvc 5.1.9.RELEASE ja…

    技术杂谈 2023年7月11日
    087
  • 思科,华为l2tp组网,家庭宽带,公司内网数据分离

    个人博客地址 http://www.darkghost.life 拓扑 简介 办公网使用专线接入,拥有固定IP地址,网络出口使用防火墙做NAT,下联交换机接入服务器,办公电脑等,旁…

    技术杂谈 2023年7月25日
    080
  • Python 生成器相关知识

    循环模式:[变量(加工后的变量) for 变量 in iterable] 例一:一行代码实现for循环产生有规律的列表 list1=[i for i in range(1,11)]…

    技术杂谈 2023年6月21日
    093
  • 深入理解完美哈希

    深入理解完美哈希 https://mp.weixin.qq.com/s/M8Wcj8sZ7UF1CMr887Puog 搜索 复制 Original: https://www.cnb…

    技术杂谈 2023年5月31日
    085
  • jQuery 3.0 的 Data 浅析

    jQuery 3.0 在6月9日正式发布了,3.0 也被称为下一代的 jQuery 。这个版本从14年10月开始,其中发布过一次beta 版(2016/1/14,)和候选版(201…

    技术杂谈 2023年6月1日
    076
  • 【JAVA】排序算法之选择排序

    1.前言 基础排序算法,旨在简单易懂讲解算法逻辑和思路,以下均使用 升序方式来讲解和实现算法。 2.思路 选择排序重在 选择二字,比如给定一串数字 5 3 4 1 2,我们选定第一…

    技术杂谈 2023年6月21日
    081
  • SSD(Single Shot MultiBox Detector)笔记

    前言 本文用于记录学习SSD目标检测的过程,并且总结一些精华知识点。 为什么要学习SSD,是因为SSD和YOLO一样,都是 one-stage的经典构架,我们必须对其理解非常深刻才…

    技术杂谈 2023年7月11日
    068
  • 2022.28 技术领导力

    工作越久,越感觉到技术领导力是技术人员最具价值的能力,是技术人员应该持续追求培养的能力。那么,什么是技术领导力,如何培养自己的技术领导力呢?看到下面这篇文章不错,讲出了不同层次技术…

    技术杂谈 2023年5月30日
    0116
  • 使用C语言实现一个自动刷弹幕的程序

    本文使用两种方式来进行刷弹幕操作1 模拟键盘输入,自动输入文字,然后点击回车。2 操作剪切板,直接将剪切板的文字粘贴到输入框,然后回车。 模拟键盘输入 如果要输入”弹幕…

    技术杂谈 2023年6月21日
    091
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球