百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

k8s自动化运维四之数据备份

qiyuwang 2025-03-11 20:55 13 浏览 0 评论

承接上文k8s自动化运维三

代码备份

上文谈到了通过cron定时拉取代码的方式实现代码备份,这里提供出比较完善的方式:获取指定项目所有的分支以及每个分支最新的代码

# 进入到具体一个项目目录下
cd "$baiwang/xibaoxiao-h5"

# 拉取每个分支的最新代码
git branch -r | grep -v '\->' | while read remote; do git branch --track "${remote#origin/}" "$remote"; git checkout ${remote#origin/};git fetch;git pull;sleep 1s;done
  • git branch是获取所有的分支
  • 循环遍历每个分支并切换到当前分支 git checkout
  • 拉取最新的代码 git pull

数据库的备份机制

全量备份

脚本源码

https://gitee.com/pingfanrenbiji/MySQL_backup/blob/master/backup.sh

通过 mysqldump命令做数据库的全量备份

  • --single-transaction
--single-transaction参数的作用,设置事务的隔离级别为可重复读,即REPEATABLE READ,这样能保证在一个事务中所有相同的查询读取到同样的数据,也就大概保证了在dump期间,如果其他innodb引擎的线程修改了表的数据并提交,对该dump线程的数据并无影响,在这期间不会锁表
  • --flush-logs
关闭当前的二进制日志文件并创建一个新文件,新的二进制日志文件的名字在当前的二进制文件的编号上加1。
  • --set-gtid-purged=OFF
在原数据库导出时加了--set-gtid-purged=OFF,导入新数据库时,才会触发记录到新数据库的binlog日志。如果不加,则新数据库不记录binlog日志。
所以在我们做主从用了gtid时,用mysqldump备份时就要加--set-gtid-purged=OFF,否则你在主上导入恢复了数据,主没有了binlog日志,则主库数据不会被从库同步
  • --events 事件
  • --triggers 触发器
  • --routines 导出存储过程以及自定义函数
  • --master-data=2
A.  =1和=2的区别很明显,只是自动执行和手工执行的区别  

=1时,直接导入备份文件,start slave不需要指定file和position  
=2时,file和position是被注释掉的,需要手动指定file和position

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin2.000001', MASTER_LOG_POS=107;

B. --master-data用于在master端dump数据,用于建立slave
   --dump-slave用户在slave端dump数据,建立新的slave,至少是第2个slave,也就是已经有A-->B,现在从B上导出数据建立A-->C的复制

增量备份(备份binlog文件)

脚本源码

https://gitee.com/pingfanrenbiji/MySQL_backup/blob/master/daily.sh

binlog概述

binlog日志也称作二进制日志,是MySQL服务日志文件的一种。
记录除查询之外的所有SQL命令(即show、select、desc等查询命令)。
可用于数据的备份和恢复。
配置mysql主从同步的必要条件。

查看是否开启了binlog

show variables like 'log_bin';

如果显示OFF则代表未开启。在MySQL8以前,这个功能是默认关闭的,需要手动开启

vim /etc/mysql/my.cnf

[mysqld]
#保存日志的位置,实际生成的日志会在后面添加对应的标志
log-bin = /var/lib/mysql/mysql-bin
#日志保存天数
expire-logs-days = 14
#日志大小
max-binlog-size = 500M
#用于同步时区分mysql实例,唯一,5.7以上版本必须填写
server-id = 1
#日志格式,MIXED,ROW,STATEMENT
binlog_format ='MIXED'

重启mysql,再次运行show variables like 'log_bin';

在mysql配置文件中定义好数据目录的位置

在数据目录中可以看到binlog二进制文件

  • binlog.index 索引文件
  • binlog.000031 第31个二进制文件

查看当前正在使用的二进制文件

show master status;

生成新的日志文件

  • 通过重启数据库服务
  • 手动执行 flush logs; 可以生成新的日志文件

删除指定编号之前的binlog日志文件

purge master logs to "binlog文件名";

删除所有binlog日志,重建新日志

reset master;

查看日志文件内容

mysqlbinlog 目录/binlog日志文件名;

插入之前的偏移量是156,插入2条数据之后的偏移量是708。查看日志文件内容

查看当前日志格式

当前日志的格式为ROW行模式,如果想让日志内容显示的是sql命令,就将日志格式修改为mixed混合模式,再查看日志内容就可以看到具体的执行操作了

还可以指定范围进行数据恢复

mysqlbinlog --start-position=325 --stop-position=790 binlog.000001 | mysql -uroot -p123456

-- 恢复起始偏移量为325,结束偏移量为790范围内的数据

相关推荐

基于Docker方式安装与部署Camunda流程引擎

1Camunda简介官网:https://docs.camunda.org/manual/7.19/installation/docker/Camunda是一个轻量级、开源且高度灵活的工作流和决策自...

宝塔Linux面板如何部署Java项目?(宝塔面板 linux)

通过宝塔面板部署Java还是很方便的,至少不需要自己输入tomcat之类的安装命令了。在部署java项目前,我还是先说下目前的系统环境,如果和我的系统环境不一样,导致部署不成功,那你可能需要去找其他资...

浪潮服务器如何用IPMI安装Linux系统

【注意事项】此处以浪潮服务器为例进行演示所需使用的软件:Chrome浏览器个人PC中需要预先安装java,推荐使用jdk-8u181-windows-x64.exe【操作步骤】1、在服务器的BIOS中...

Centos7环境Hadoop3集群搭建(hadoop集群环境搭建实验报告)

由于项目需要存储历史业务数据,经过评估数据量会达到100亿以上,在原有mongodb集群和ES集群基础上,需要搭建Hbase集群进行调研,所以首先总结一下Hadoop集群的搭建过程。一、三个节点的集群...

Hadoop高可用集群搭建及API调用(hadoop高可用原理)

NameNodeHA背景在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNo...

使用Wordpress搭建一个属于自己的网站

现在开源的博客很多,但是考虑到wordpress对网站的seo做的很好,插件也多。并且全世界流量排名前1000万的网站有33.4%是用Wordpress搭建的!所以尝试用Wordpress搭建一个网站...

Centos 安装 Jenkins(centos 安装ssh)

1、Java安装查看系统是否已安装Javayumlistinstalled|grepjava...

Java教程:gitlab-使用入门(java中的git)

1导读本教程主要讲解了GitLab在项目的环境搭建和基本的使用,可以帮助大家在企业中能够自主搭建GitLab服务,并且可以GitLab中的组、权限、项目自主操作...

Dockerfile部署Java项目(docker部署java应用)

1、概述本文主要会简单介绍什么是Docker,什么是Dockerfile,如何安装Docker,Dockerfile如何编写,如何通过Dockerfile安装jar包并外置yaml文件以及如何通过do...

如何在Eclipse中搭建Zabbix源码的调试和开发环境

Zabbix是一款非常优秀的企业级软件,被设计用于对数万台服务器、虚拟机和网络设备的数百万个监控项进行实时监控。Zabbix是开放源码和免费的,这就意味着当出现bug时,我们可以很方便地通过调试源码来...

Java路径-02-Java环境配置(java环境搭建及配置教程)

1Window环境配置1.1下载...

35.Centos中安装python和web.py框架

文章目录前言1.Centos7python:2.Centos8python:3.进行下载web.py框架然后应用:4.安装好之后进行验证:5.总结:前言...

《我的世界》服务器搭建(我的世界服务器如何搭建)

1.CentOS7环境1.1更改YUM源#下载YUM源文件curl-o/etc/yum.repos.d/CentOS-Base.repohttps://mirrors.aliyun.com...

CentOS 7 升级 GCC 版本(centos7.4升级7.5)

1.GCC工具介绍GCC编译器:...

Linux安装Nginx详细教程(linux安装配置nginx)

环境准备1.因为Nginx依赖于gcc的编译环境,所以,需要安装编译环境来使Nginx能够编译起来。命令:yuminstallgcc-c++显示完毕,表示安装完成:2.Nginx的http模块需要...

取消回复欢迎 发表评论: