分类：分片

2021
03-29

如何为MongoDB添加分片副本集

  背景是这样的：线上一个MongoDB集群保存了很多历史数据，这些历史数据是按照时间字段进行分片的，最近到了2021年，有些分片的截止时间要到了，为了能容纳更多的数据，需要在当前分片的基础上增加相应的分片。  线上环境中，每个分片本身也是一个3副本的副本集，所以添加的时候有些特定的流程需要注意，我再测试环境中简单测了一下这个过程，记录下来。   整个过程大概的流程是：1、新建分... 继续阅读 >

2020
12-10

PHP大文件分割分片上传实现代码

服务端为什么不能直接传大文件？跟php.ini里面的几个配置有关upload_max_filesize=2M//PHP最大能接受的文件大小post_max_size=8M//PHP能收到的最大POST值'memory_limit=128M//内存上限max_execution_time=30//最大执行时间当然不能简单粗暴的把上面几个值调大，否则服务器内存资源吃光是迟早的问题。解决思路好在HTML5开放了新的FILEAPI，也可以直接操作二进制对象，我们可以直接在浏览器端实现文件切割，按照以前的... 继续阅读 >

2020
09-28

SpringCloud大文件分片断点上传实现原理

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种形式的技术方案了，也就是本文要阐述的方案。技术要求主要有以下几方面：支持超大数据量、10G级别以上稳定性：除网络异常情况10... 继续阅读 >

2020
09-27

ElasticSearch合理分配索引分片原理

Elasticsearch是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉ElasticStack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能问题。群集拥有的数据越多，纠正问题也越困难，因为有时可能需要重新索引大量数据。因此，当我们遇到性能问题时，往往可以追溯到索引方式... 继续阅读 >

2020
09-27

Redis Cluster集群数据分片机制原理

RedisCluster数据分片机制Redis集群简介RedisCluster是Redis的分布式解决方案，在3.0版本正式推出，有效地解决了Redis分布式方面的需求。RedisCluster一般由多个节点组成，节点数量至少为6个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。如上图所示，该集群中包含6个Redis节点，3主3从，分别为M1，M2，M... 继续阅读 >