分类：千万级数据

2021
07-09

.Net Core导入千万级数据至Mysql的步骤

目录前期准备实现方法：1、单条数据插入2、合并数据插入3、MySqlBulkLoader插入性能测试对比最后前期准备订单测试表CREATETABLE`trade`(  `id`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8_unicode_ci',  `trade_no`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8_unicode_ci',  UNIQUEINDEX`id`(`id`),  INDEX`trade_no`(`trade_no`))COMMENT='订单'COLLATE='utf8_unicode_ci'... 继续阅读 >

2020
12-26

用Laravel轻松处理千万级数据的方法实现

在Laravel中使用cursor来查询并处理数据(轻松处理千万级的数据)事发现场最近在项目中遇到内存不足的问题,测试环境中的PHP内存只有64M,在导出的时候,数据量比较大,这个时候会出现内存溢出的错误;如何解决目前想到两种方法:调整php.ini文件中memory_limit配置项;或者在调用方法中调整内存大小ini_set('memory_limit',"").使用Laravel的LazyCollection.考虑到修改配置文件的影响范围过大,以及对导出的实时性要求不是很高... 继续阅读 >