202209-20 docker实现mysql主从复制的示例代码 目录一、概述1、原理2、实现三、创建Slave实例四、主从配置总结:五、参考一、概述1、原理master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节... 继续阅读 >
202205-07 docker compose部署主从复制的实现 目录配置解析服务搭建目录结构ComposeFile实例配置启动服务测试受限于Redis单点性能,加上我们对数据天生就有的备份的需求,因此Redis提供了主从复制的服务。本文记录了通过dockercompose搭建一主双从的Redis服务。配置解析#################################REPLICATION##################################【Slave】连接Master的配置#slaveof172.25.0.1016379#【Slave】只读模式#slave-read-onlyyes#【Slav... 继续阅读 >
202107-22 浅谈Redis主从复制以及主从复制原理 目录面临问题解决办法主从复制主从复制的作用主从复制启用面临问题1.机器故障。我们部署到一台Redis服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用Redis了。2.容量瓶颈。当我们有需求需要扩容Redis内存时,从16G的内存升到64G,单机肯定是满足不了。当然,你可以重新买个128G的新机器。解决办法要实现分布式数据库的更大的存储容量... 继续阅读 >
202105-28 Redis持久化与主从复制的实践 为什么需要持久化Redis是基于内存的NoSQL数据库,读写速度自然快,但内存是瞬时的,在redis服务关闭或重启之后,redis存放在内存的数据就会丢失,为了解决这个问题,redis提供了两种持久化方式,以便在发生故障后恢复数据。持久化选项redis提供了两种不同的持久化方式来将数据存储到硬盘中。一种是快照方式(也叫RDB方式),它可以将莫一时刻存在于redis中的所有数据存储到硬盘;另一种叫只追加文件(AOF)方式,它会定时的复制red... 继续阅读 >
202104-27 详解使用Docker进行Redis主从复制实践 一、背景最近在做零信任安全网关,需要使用Redis作为认证缓存服务器,因为网关服务器分布在多个集群,每次都跨机房认证不太实现;所以需要使用Redis主从同步,将过程记录下来,希望可以给需要的同学一点参考。二、操作步骤安装Docker主服务配置从服务配置验证同步效果三、安装Docker本篇文章主要是问了记录主从配置的过程,因此我采用最简单的docker方式来搭建Redis服务,安装docker的命令如下所示curl-sSLhttps... 继续阅读 >
202104-09 Java使用Lettuce客户端在Redis在主从复制模式下命令执行的操作 1redis主从复制的概念多机环境下,一个redis服务接收写命令,当自身数据与状态发生变化,将其复制到一个或多个redis。这种模式称为主从复制。在redis中通过命令salveof命令让执行该命令的redis复制另一个redis数据与状态。我们将主服务器称为master,从服务器称为slave。主从复制保证了网络异常正常时,网络断开重的情况下将数据复制。网络正常时master会通过发送命令保持对slave更新,更新包括客户端的写入,key的过期或被逐出等... 继续阅读 >
202104-07 MySql主从复制机制全面解析 作为一个关系型数据库,MySQL内建地提供数据复制机制,这使得在使用时,可以基于其复制机制实现高可用架构等高级特性,从而使得MySQL无需借助额外的插件或其他工具就具备适用于生产环境。这是MySQL得到大面积实际应用的条件之一。基于MySQL的复制机制,不仅可以实现数据库的高可用,还能实现如:性能扩展、异地灾备以及冷热分离等高级特性。高可用:通过配置一定的复制机制,MySQL实现了跨主机的数据复制,从而获得一定的高可用... 继续阅读 >
202101-27 CentOS PostgreSQL 12 主从复制(主从切换)操作 主从复制1.基于文件的日志传送创建一个高可用性(HA)集群配置可采用连续归档,集群中主服务器工作在连续归档模式下,备服务器工作在连续恢复模式下(1台或多台可随时接管主服务器),备持续从主服务器读取WAL文件。连续归档不需要对数据库表做任何改动,可有效降低管理开销,对主服务器的性能影响也相对较低。直接从一个数据库服务器移动WAL记录到另一台服务器被称为日志传送,PostgreSQL通过一次一文件(WAL段)的WAL记录传输实... 继续阅读 >
202011-29 MYSQL数据库GTID实现主从复制实现(超级方便) 一、添加Maria源vi/etc/yum.repos.d/MariaDB.repo粘贴阿里云的最新mariadb镜像:[mariadb]name=MariaDBbaseurl=https://mirrors.aliyun.com/mariadb/yum/10.5/centos7-amd64/gpgkey=https://mirrors.aliyun.com/mariadb/yum/RPM-GPG-KEY-MariaDBgpgcheck=1安装新版本的MariaDByuminstallmariadbmariadb-server开启binlog日志vim/etc/my.cnf.d/server.cnf在mysqld下添加以下内容server_id=1log_bin=mysql-binsystemctl... 继续阅读 >
202011-29 MySql主从复制实现原理及配置 数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置。而一般的读写分离中间件,例如Mycat的读写分离和自动切换机制,需要mysql的主从复制机制配合。主从配置需要注意的地方1、主DBserver和从DBserver数据库的版本一致2、主DBserver和从DBserver数据... 继续阅读 >
202011-19 MySQL主从复制原理以及需要注意的地方 写在前面最近在写Mycat专题,由于不少小伙伴最近要出去面试,问我能不能简单写下MySQL的主从复制原理和注意事项,因为在之前的面试中被问到了这些问题。我:可以啊,安排上了!!主从复制原理(1)Master将数据改变记录到二进制日志(binarylog)中,也就是配置文件log-bin指定的文件,这些记录叫做二进制日志事件(binarylogevents);(2)Slave通过I/O线程读取Master中的binarylogevents并写入到它的中继日志(relayl... 继续阅读 >
202010-24 mysql 主从复制如何跳过报错 一、传统binlog主从复制,跳过报错方法mysql>stopslave;mysql>setglobalsql_slave_skip_counter=1;mysql>startslave;mysql>showslavestatus\G二、GTID主从复制,跳过报错方法mysql>stopslave;#先关闭slave复制;mysql>changemasterto...省略...#配置主从复制;mysql>showslavestatus\G#查看主从状态;发现报错:mysql>showslavestatus\G***************************1.row************************... 继续阅读 >
202010-10 MySQL主从复制延迟原因以及解决方案 来源:公众号「神谕的暗影长廊」在异步或半同步的复制结构中,从库出现延迟是一件十分正常的事。虽出现延迟正常,但是否需要关注,则一般是由业务来评估。如:从库上有需要较高一致性的读业务,并且要求延迟小于某个值,那么则需要关注。简单概述一下复制逻辑:1、主库将对数据库实例的变更记录到binlog中。2、主库会有binlogdump线程实时监测binlog的变更并将这些新的events推给从库(Masterhassentallbinlogtoslave;wai... 继续阅读 >
202010-10 mysql主从复制配置过程 主库配置1.配置mysqlvim/etc/my.cn#在文件中增加以下内容server-id=1#保证serverid唯一log-bin=/var/lib/mysql/mysql-bin.logbinlog-do-db=db1binlog-do-db=db2其中db1和db2是计划进行主从复制的库,如果有多个,写多行即可。配置完毕后,重启数据库:servicemysqldrestart2.添加复制用户通过phpmyadmin,添加新用户,并授予REPLICATIONSLAVE权限。或者通过root用户登录到mysql,赋予权限:GRANTREPLICATIONSL... 继续阅读 >
202010-10 全面解读MySQL主从复制,从原理到安装配置 为什么需要主从复制?1、在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。2、做数据的热备3、架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。什么是mysql的主从... 继续阅读 >
202010-09 MySQL 4种常用的主从复制架构 一主多从复制架构在主库读取请求压力非常大的场景下,可以通过配置一主多从复制架构实现读写分离,把大量的对实时性要求不是特别高的读请求通过负载均衡分部到多个从库上(对于实时性要求很高的读请求可以让从主库去读),降低主库的读取压力,如下图所示。在主库出现异常宕机的情况下,可以把一个从库切换为主库继续提供服务。在主从复制场景下会出现主从延迟,想想该怎么解决?多级复制架构一主多从的架构能够解决大部分读请求压力... 继续阅读 >