分类：数据集

2021
09-24

手把手教你实现PyTorch的MNIST数据集

目录概述获取数据网络模型train函数test函数main函数完整代码:概述MNIST包含0~9的手写数字,共有60000个训练集和10000个测试集.数据的格式为单通道28*28的灰度图.获取数据defget_data():"""获取数据"""#获取测试集train=torchvision.datasets.MNIST(root="./data",train=True,download=True,transform=torchvision.transforms.Compose([... 继续阅读 >

2021
03-30

R语言 数据集行列互换的技巧分享

现在给大家介绍的数据处理技巧是长转宽，也就相当于Excel中的转置，不过用R语言实现的长转宽还有数据合并的功能，自然比Excel强大多了。这里给大家介绍4个函数，其中melt()、dcast()来自reshape2包，gather（）、spread()来自tidyr包一、宽转长——melt()、gather（）mydata<-data.frame(name=c("store1","store2","store3","store4"),address=c("普陀区","黄浦区","徐汇区","浦东新区"),sale2014=c(3000,2500,2100,1000),sale... 继续阅读 >

2020
10-10

如何从csv文件构建Tensorflow的数据集

从csv文件构建Tensorflow的数据集当我们有一系列CSV文件，如何构建Tensorflow的数据集呢?基本步骤获得一组CSV文件的路径将这组文件名，转成文件名对应的dataset=>file_dataset根据file_dataset中的每个文件名，读取文件内容生成一个内容的dataset=>content_dataset这样的多个content_dataset,拼接起来，形成一整个dataset因为读出来的每条记录都是string类型，所以还需要对每条记录做decode存在一个这样的... 继续阅读 >

2020
10-08

用pandas划分数据集实现训练集和测试集

1、使用model_select子模块中的train_test_split函数进行划分数据：使用kaggle上Titanic数据集划分方法：随机划分#导入pandas模块，sklearn中model_select模块importpandasaspdfromsklearn.model_selectimporttrain_test_split#读取数据data=pd.read_csv('.../titanic_dataset/train.csv')#将特征划分到X中，标签划分到Y中x=data.iloc[:,2:]y=data.loc['Survived']#使用train_test_split函数划分数据集(训练... 继续阅读 >

2020
10-08

pytorch加载自己的图像数据集实例

之前学习深度学习算法，都是使用网上现成的数据集，而且都有相应的代码。到了自己开始写论文做实验，用到自己的图像数据集的时候，才发现无从下手，相信很多新手都会遇到这样的问题。参考文章https://www.jb51.net/article/177613.htm下面代码实现了从文件夹内读取所有图片，进行归一化和标准化操作并将图片转化为tensor。最后读取第一张图片并显示。#数据处理importosimporttorchfromtorch.utilsimportdatafromPILimport... 继续阅读 >

2020
10-08

keras实现VGG16 CIFAR10数据集方式

我就废话不多说了，大家还是直接看代码吧！importkerasfromkeras.datasetsimportcifar10fromkeras.preprocessing.imageimportImageDataGeneratorfromkeras.modelsimportSequentialfromkeras.layersimportDense,Dropout,Activation,Flattenfromkeras.layersimportConv2D,MaxPooling2D,BatchNormalizationfromkerasimportoptimizersimportnumpyasnpfromkeras.layers.coreimportLambdafromkerasimpor... 继续阅读 >

2020
10-08

keras使用Sequence类调用大规模数据集进行训练的实现

使用Keras如果要使用大规模数据集对网络进行训练，就没办法先加载进内存再从内存直接传到显存了，除了使用Sequence类以外，还可以使用迭代器去生成数据，但迭代器无法在fit_generation里开启多进程，会影响数据的读取和预处理效率，在本文中就不在叙述了，有需要的可以另外去百度。下面是我所使用的代码classSequenceData(Sequence):def__init__(self,path,batch_size=32):self.path=pathself.batch_size=batch_... 继续阅读 >

2020
10-08

Keras自动下载的数据集/模型存放位置介绍

Mac#数据集~/.keras/datasets/#模型~/.keras/models/Linux#数据集~/.keras/datasets/Windows#win10C:\Users\user_name\.keras\datasets补充知识：Keras_gan生成自己的数据，并保存模型我就废话不多说了，大家还是直接看代码吧~from__future__importprint_function,divisionfromkeras.datasetsimportmnistfromkeras.layersimportInput,Dense,Reshape,Flatten,Dropoutfromkeras.layersimportBatchNormalizatio... 继续阅读 >

2020
10-08

在Keras中利用np.random.shuffle()打乱数据集实例

我就废话不多说了，大家还是直接看代码吧~fromnumpyasnpindex=np.arange(2000)np.random.shuffle(index)print(index[0:20])X_train=X_train[index,:,:,:]#X_train是训练集，y_train是训练标签y_train=y_train[index]补充知识：Keras中shuffle和validation_split的顺序模型的fit函数有两个参数，shuffle用于将数据打乱，validation_split用于在没有提供验证集的时候，按一定比例从训练集中取出一部分作为验证集这里有个陷阱是，... 继续阅读 >

2020
10-08

解决Keras自带数据集与预训练model下载太慢问题

keras的数据集源码下载地址太慢。尝试过修改源码中的下载地址，直接报错。从源码或者网络资源下好数据集，下载好以后放到目录 ~/.keras/datasets/   下面。其中：cifar10需要改文件名为cifar-10-batches-py.tar.gz，cifar100改为cifar-100-python.tar.gz,mnist改为mnist.npz预训练models放到~/.keras/models/路径下面即可。补充知识：Keras下载的数据集以及预训练模型保存在哪里Keras下载的数据集在... 继续阅读 >

2020
10-07

keras-siamese用自己的数据集实现详解

Siamese网络不做过多介绍，思想并不难，输入两个图像，输出这两张图像的相似度，两个输入的网络结构是相同的，参数共享。主要发现很多代码都是基于mnist数据集的，下面说一下怎么用自己的数据集实现siamese网络。首先，先整理数据集，相同的类放到同一个文件夹下，如下图所示：接下来，将pairs及对应的label写到csv中，代码如下：importosimportrandomimportcsv#图片所在的路径path='/Users/mac/Desktop/wxd/flag/category/'#... 继续阅读 >

2020
09-29

tp5.1 框架数据库-数据集操作实例分析

本文实例讲述了tp5.1框架数据库-数据集操作。分享给大家供大家参考，具体如下：数据库的查询结果也就是数据集，默认的配置下，数据集的类型是一个二维数组，我们可以配置成数据集类，就可以支持对数据集更多的对象化操作，需要使用数据集类功能，可以配置数据库的resultset_type参数如下：return[//数据库类型'type'=>'mysql',//数据库连接DSN配置'dsn'=>'',//服务器地址'hostname'=>'127.0.0.1',... 继续阅读 >

2020
09-25

python实现将两个文件夹合并至另一个文件夹(制作数据集)

此操作目的是为了制作自己的数据集，深度学习框架进行数据准备，此操作步骤包括对文件夹进行操作，将两个文件夹合并至另一个文件夹该实例为一个煤矿工人脸识别的案例;首先原始数据集（简化版的数据集旨在说明数据准备过程）如下图所示：该数据集只有三个人的数据，A01代表工人甲的煤矿下的照片，B01代表工人甲下矿前的照片，同理A02、B02代表工人乙的矿下、矿上的照片数据。。。如下图所示矿下矿上开始制作数据集：首先建立训练集... 继续阅读 >

2020
09-24

PyTorch加载自己的数据集实例详解

数据预处理在解决深度学习问题的过程中，往往需要花费大量的时间和精力。数据处理的质量对训练神经网络来说十分重要，良好的数据处理不仅会加速模型训练，更会提高模型性能。为解决这一问题，PyTorch提供了几个高效便捷的工具，以便使用者进行数据处理或增强等操作，同时可通过并行化加速数据加载。数据集存放大致有以下两种方式：(1）所有数据集放在一个目录下，文件名上附有标签名，数据集存放格式如下：root/cat_dog/cat.01... 继续阅读 >

2020
09-24

python实现提取COCO,VOC数据集中特定的类

1.python提取COCO数据集中特定的类安装pycocotoolsgithub地址：https://github.com/philferriere/cocoapipipinstallgit+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI提取特定的类别如下：frompycocotools.cocoimportCOCOimportosimportshutilfromtqdmimporttqdmimportskimage.ioasioimportmatplotlib.pyplotaspltimportcv2fromPILimportImage,ImageDraw#thepathyouwanttosave... 继续阅读 >