2021
09-06
09-06
如何使用分区处理MySQL的亿级数据优化
mysql在查询上千万级数据的时候，通过索引可以解决大部分查询优化问题。但是在处理上亿数据的时候，索引就不那么友好了。数据表（日志）是这样的：表大小：1T，约24亿行；表分区：按时间分区，每个月为一个分区，一个分区约2-3亿行数据（40-70G左右）。由于数据不需要全量处理，经过与需求方讨论后，我们按时间段抽样一部分数据，比如抽样一个月的数据，约3.5亿行。数据处理的思路：1）建表引擎选择Innodb。由于数据是按月...
继续阅读 >