分类：数据读取

2021
04-07

R语言数据读取以及数据保存方式

一、R语言读取文本文件：1、文件目录操作：getwd():返回当前工作目录setwd("d:/data")更改工作目录2、常用的读取指令readread.table():读取文本文件read.csv():读取csv文件如果出现缺失值，read.table()会报错，read.csv()读取时会自动在缺失的位置填补NA3、灵活的读取指令scan():4、读取固定宽度格式的文件：read.fwf()文本文档中最后一行的回车符很重要，这是一个类似于停止符的标识，否则读入时会显示“最后一行不完整”... 继续阅读 >

2021
03-30

Pytorch数据读取与预处理该如何实现

在炼丹时，数据的读取与预处理是关键一步。不同的模型所需要的数据以及预处理方式各不相同，如果每个轮子都我们自己写的话，是很浪费时间和精力的。Pytorch帮我们实现了方便的数据读取与预处理方法，下面记录两个DEMO，便于加快以后的代码效率。根据数据是否一次性读取完，将DEMO分为：1、串行式读取。也就是一次性读取完所有需要的数据到内存，模型训练时不会再访问外存。通常用在内存足够的情况下使用，速度更快。... 继续阅读 >

2021
03-30

PyTorch数据读取的实现示例

前言PyTorch作为一款深度学习框架，已经帮助我们实现了很多很多的功能了，包括数据的读取和转换了，那么这一章节就介绍一下PyTorch内置的数据读取模块吧模块介绍pandas用于方便操作含有字符串的表文件，如csvzipfilepython内置的文件解压包cv2用于图片处理的模块,读入的图片模块为BGR,NHWCtorchvision.transforms用于图片的操作库，比如随机裁剪、缩放、模糊等等，可用于数据的增广，但也不仅限于内置的图片操作，... 继续阅读 >

2020
10-08

浅谈TensorFlow中读取图像数据的三种方式

本文面对三种常常遇到的情况，总结三种读取数据的方式，分别用于处理单张图片、大量图片，和TFRecorder读取方式。并且还补充了功能相近的tf函数。1、处理单张图片我们训练完模型之后，常常要用图片测试，有的时候，我们并不需要对很多图像做测试，可能就是几张甚至一张。这种情况下没有必要用队列机制。importtensorflowastfimportmatplotlib.pyplotaspltdefread_image(file_name):img=tf.read_file(filename=file... 继续阅读 >