分类：分布式

2021
09-09

一文了解Seata的实现原理

目录一、背景二、分布式事务规范2.1、分布式事务相关概念2.2、分布式事务实现规范2.2.1、XA2.2.2、柔性事务的最终一致性三、Seata架构3.1、系统组成3.2、工作模式3.2.1、AT（AutoTransaction）3.2.2、TCC3.2.3、XA模式四、AT模式核心实现4.1、事务协调器的启动4.2、事务管理器的启动4.3、资源管理器的启动4.4、全局事务的工作流程4.4.1、成功的全局事务处理流程4.4.2、成功的全局事务处理流程4.5、写隔离实现4.6、读隔离实现五... 继续阅读 >

2021
07-06

详解通过SQL进行分布式死锁的检测与消除

目录概述分布式死锁和单节点死锁的比较单节点死锁分布式死锁分布式死锁的检测与消除收集各节点的锁信息构建等待关系等待关系判环消除死锁总结概述分布式数仓应用场景中，我们经常遇到数据库系统hang住的问题，所谓hang是指虽然数据库系统还在运行，但部分或全部业务无法正常执行。hang问题的原因有很多，其中以分布式死锁最为常见，本次主要分享在碰到死锁时，如何快速地解决死锁问题。GaussDB(DWS)作为分布式数仓，通过锁机... 继续阅读 >

2021
07-06

详解redis分布式锁的这些坑

目录一、白话分布式二、分布式锁何为分布式锁分布式锁的条件分布式锁的实现三、redis实现分布式锁四、redis实现分布式锁问题五、用锁遇到过哪些问题？又是如何解决的？未关闭资源B的锁被A给释放了锁过期了，业务还没执行完redis主从复制的坑一、白话分布式什么是分布式，用最简单的话来说，就是为了较低单个服务器的压力，将功能分布在不同的机器上面,本来一个程序员可以完成一个项目：需求->设计->编码->测试但是项目多的时候，一... 继续阅读 >

2021
07-04

详解分布式系统中如何用python实现Paxos

目录一致性算法背景Paxos实现集群库介绍业务场景和痛点分布式状态机核心需求类型和常量组件模型应用接口Role类AcceptorReplicaLeaderScoutCommanderBootstrap一致性算法背景1.Paxos一致性算法解决的问题：分布式系统中数据不能存在单个节点（主机）上，否则可能出现单点故障；多个节点（主机）需要保证具有相同的数据。2.什么是一致性：一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。3.一致... 继续阅读 >

2021
01-26

关于注解式的分布式Elasticsearch的封装案例

原生的RestLevelClient不好用，构建检索等很多重复操作。对bboss-elasticsearch进行了部分增强：通过注解配合实体类进行自动构建索引和自动刷入文档，复杂的业务检索需要自己在xml中写Dsl。用法与mybatis-plus如出一辙。依赖<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId></dependency><dependency><groupId>com.bbossgroups.plugins</groupId><artifactId>bboss-ela... 继续阅读 >

2020
11-29

python爬虫分布式获取数据的实例方法

在我们进行卫生大扫除的时候，因为工作任务较多，所以我们会进行分工，每个人负责不同的打扫项目。同样分工合作的理念，在python分布式爬虫中也得到了应用。我们需要给不同的爬虫分配指令，让它们去分头行动获取同一个网站的数据。那么这些爬虫是怎么分工搜集数据的呢？感兴趣的小伙伴，我们可以通过下面的示例进行解惑。假设我有三台爬虫服务器A、B和C。我想让我所有的账号登录任务分散到三台服务器、让用户抓取在A和B上执行，让... 继续阅读 >

2020
11-25

基于docker搭建selenium分布式环境

1、下载镜像dockerpullselenium/hubdockerpullselenium/node-firefoxdockerpullselenium/node-chrome注意：selenium/node-firefox和selenium/node-chrome都是无界面的。要想能看到实时运行界面，需要使用以下两个镜像之一。dockerpullselenium/standalone-chrome-debugdockerpullselenium/standalone-firefox-debug2、启动Hub节点的Dockerdockerrun-p4444:4444-d--namehubselenium/hub参数说明：run：运行一个... 继续阅读 >

2020
11-19

Druid监控分布式实现过程解析

什么是DruidMonitorDruid是一个非常强大的数据库连接池，但是它的强大并不仅仅体现在作为一个高性能连接池加快数据访问上和连接管理上，它内置了一个强大的监控工具：DruidMonitor。不仅可以监控数据源和慢查询，还可以监控Web应用、URI监控、Session监控、Spring监控等。ip:port/druid/sql.html什么是DruidAdmin如上文所述，DruidMonitor提供强大的监控能力，但目前仅是针对对单个服务实例的监控。在微服务架构日... 继续阅读 >

2020
11-16

分布式全文检索引擎ElasticSearch原理及使用实例

一什么是ElasticSearchElasticsearch是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎ApacheLucene(TM)基础上的搜索引擎.当然Elasticsearch并不仅仅是Lucene那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。可实现亿级数据实时查询实时分析的分布式搜索引擎。可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据... 继续阅读 >

2020
11-11

Kafka多节点分布式集群搭建实现过程详解

上一篇分享了单节点伪分布式集群搭建方法，本篇来分享一下多节点分布式集群搭建方法。多节点分布式集群结构如下图所示：为了方便查阅，本篇将和上一篇一样从零开始一步一步进行集群搭建。一、安装Jdk具体安装步骤可参考linux安装jdk。二、安装与配置zookeeper下载地址：https://www-us.apache.org/dist/zookeeper/stable/下载二进制压缩包zookeeper-3.4.14.tar.gz，然后上传到linux服务器指定目录下，本次上传目录... 继续阅读 >

2020
10-10

Jmeter分布式压力测试实现过程详解

一、分布式压测原理如下图（这个图说明的是要一台控制机，然后由这台控制机发压测脚本到每台远程执行机，然后由控制机收集执行机结果）二、修改Jmeter配置文件在主控机的jmeter的bin目录找到配置文件jmeter.properties。找到里面的remote_hosts部分，修改内容为：remote_hosts=xx，xx代表的是压力机的ip:port。如果是多个压力机，之间使用【，】分隔控制机端口修改，防止端口被占用（注意：控制机修改后，每台执行机的端口... 继续阅读 >

2020
10-09

FastDFS分布式文件系统环境搭建及安装过程解析

FastDFS：分布式文件系统它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS服务端有两个角色：跟踪器... 继续阅读 >

2020
10-09

MySQL MGR 有哪些优点

MGR（MysqlGroupReplication）是5.7版本新加的特性，是一个MySQL插件。MGR是一个新的高可用与高扩展的方案，集群中的任何节点数据都是一样的，可以实现任何节点都可以写入，实现了真正意义上的多主。主要包含以下几部分： API层：负责完成和MySQLServer的交互，得到Server状态，完成事务的管理。组件层：主要包括3个特定组件，Capture负责收集事务执行的相关信息，Applier负责应用集群事务到本地，Recovery负责节点的数据... 继续阅读 >

2020
10-08

深入了解MongoDB 分布式集群

在分布式应用系统中，mongodb已经成为NoSQL经典数据库。要想很好的使用mongodb，仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识，才能在实际运用中使其更好地服务于应用，遇到问题知道怎么处理，而不是抓瞎抹黑。这篇文章就带你进入mongodb集群的大门。集群概览mongodb相关的进程分为三类：mongo进程?该进程是mongodb提供的shell客户端进程，通过该客户端可以发送命令并操作集群；mongos进程?m... 继续阅读 >

2020
10-08

Java分布式session存储解决方案图解

前言本文主要探讨集群后不同Web服务器获取Session数据的问题解决方案。SessionStickSessionStick方案即将客户端的每次请求都转发至同一台服务器，这就需要负载均衡器能够根据每次请求的会话标识（SessionId）来进行请求转发，如下图所示。这种方案实现比较简单，对于Web服务器来说和单机的情况一样。但是可能会带来如下问题：如果有一台服务器宕机或者重启，那么这台机器上的会话数据会全部丢失。会话标识是应用层信息，那么负... 继续阅读 >

2020
10-08

Python3与fastdfs分布式文件系统如何实现交互

一、先配置好自己的分布式文件系统参考另一篇文章：https://www.jb51.net/article/189283.htm二、安装第三方库py3Fdfspipinstallpy3Fdfs三、实际应用，参考文档https://pypi.org/project/py3Fdfs/fromfdfs_client.clientimportget_tracker_conf,Fdfs_client#client.conf配置文件路径conf=get_tracker_conf(r‘client.conf‘)client=Fdfs_client(conf)#文件路径result=client.upload_appender_by_filename(r‘U01.png... 继续阅读 >