分类：大数据集

2020
10-06

pandas分批读取大数据集教程

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。下图是2015年kaggle上一个CTR预估比赛的数据集：看到train了吧，原始数据集6个G，特征工程后得多大？那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功... 继续阅读 >