分类：数据切分

2021
03-23

MySQL 分表分库怎么进行数据切分

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。数据库分布式核心内容无非就是数据切分（Sharding）以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据... 继续阅读 >

2020
10-08

sklearn和keras的数据切分与交叉验证的实例详解

在训练深度学习模型的时候，通常将数据集切分为训练集和验证集．Keras提供了两种评估模型性能的方法：使用自动切分的验证集使用手动切分的验证集一．自动切分在Keras中，可以从数据集中切分出一部分作为验证集，并且在每次迭代(epoch)时在验证集中评估模型的性能．具体地，调用model.fit()训练模型时，可通过validation_split参数来指定从数据集中切分出验证集的比例．#MLPwithautomaticvalidationsetfromkeras.modelsimpor... 继续阅读 >