分类：训练

2020
10-08

使用Keras训练好的.h5模型来测试一个实例

环境：python3.6+opencv3+Keras训练集：MNIST下面划重点：因为MNIST使用的是黑底白字的图片，所以你自己手写数字的时候一定要注意把得到的图片也改成黑底白字的，否则会识别错（至少我得到的结论是这样的，之前用白底黑字的图总是识别出错）注意：需要测试图片需要为与训练模时相同大小的图片，RGB图像需转为gray代码：importcv2importnumpyasnpfromkeras.modelsimportload_modelmodel=load_model('fm_cnn_BN.h5')#选... 继续阅读 >

2020
10-08

使用Keras建立模型并训练等一系列操作方式

由于Keras是一种建立在已有深度学习框架上的二次框架，其使用起来非常方便，其后端实现有两种方法，theano和tensorflow。由于自己平时用tensorflow，所以选择后端用tensorflow的Keras，代码写起来更加方便。1、建立模型Keras分为两种不同的建模方式，Sequentialmodels：这种方法用于实现一些简单的模型。你只需要向一些存在的模型中添加层就行了。FunctionalAPI：Keras的API是非常强大的，你可以利用这些API来构造更加复杂的模型... 继续阅读 >

2020
10-08

keras训练浅层卷积网络并保存和加载模型实例

这里我们使用keras定义简单的神经网络全连接层训练MNIST数据集和cifar10数据集：keras_mnist.pyfromsklearn.preprocessingimportLabelBinarizerfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportclassification_reportfromkeras.modelsimportSequentialfromkeras.layers.coreimportDensefromkeras.optimizersimportSGDfromsklearnimportdatasetsimportmatplotlib.pyplotasplti... 继续阅读 >

2020
10-08

完美解决keras 读取多个hdf5文件进行训练的问题

用keras进行大数据训练，为了加快训练，需要提前制作训练集。由于HDF5的特性，所有数据需要一次性读入到内存中，才能保存。为此，我采用分批次分为2个以上HDF5进行存储。1、先读取每个标签下的图片，并设置标签defload_dataset(path_name,data_path):images=[]labels=[]train_images=[]valid_images=[]train_labels=[]valid_labels=[]counter=0allpath=os.listdir(path_name)nb_classes=len(allpath)... 继续阅读 >

2020
10-08

keras 指定程序在某块卡上训练实例

场景：某台机器上有三块卡，想同时开三个程序，放到三块卡上去训练。策略：CUDA_VISIBLE_DEVICES=1pythontrain.py就可以指定程序在某块卡上训练。补充知识：keras指定GPU及显存使用量指定GPUimportosos.environ["CUDA_VISIBLE_DEVICES"]="0"指定GPU和显存使用量importosfromkeras.backend.tensorflow_backendimportset_sessionos.environ["CUDA_VISIBLE_DEVICES"]="0"config=tf.ConfigProto()config.gpu_options.per_... 继续阅读 >

2020
10-08

keras使用Sequence类调用大规模数据集进行训练的实现

使用Keras如果要使用大规模数据集对网络进行训练，就没办法先加载进内存再从内存直接传到显存了，除了使用Sequence类以外，还可以使用迭代器去生成数据，但迭代器无法在fit_generation里开启多进程，会影响数据的读取和预处理效率，在本文中就不在叙述了，有需要的可以另外去百度。下面是我所使用的代码classSequenceData(Sequence):def__init__(self,path,batch_size=32):self.path=pathself.batch_size=batch_... 继续阅读 >

2020
10-08

在keras中实现查看其训练loss值

想要查看每次训练模型后的loss值变化需要如下操作loss_value=[]self.history=model.fit(state,target_f,epochs=1,batch_size=32）b=abs(float(self.history.history[‘loss'][0]))loss_value.append(b)print(loss_value)loss_value=np.array(loss_value)x=np.array(range(len(loss_value）））plt.plot(x,loss_value,c=‘g')pt.svefit('c地址‘，dpi=100)plt.show()scipy.sparse稀疏矩阵函数集合pandas用... 继续阅读 >

2020
10-07

keras多显卡训练方式

使用keras进行训练，默认使用单显卡，即使设置了os.environ['CUDA_VISIBLE_DEVICES']为两张显卡，也只是占满了显存，再设置tf.GPUOptions(allow_growth=True)之后可以清楚看到，只占用了第一张显卡，第二张显卡完全没用。要使用多张显卡，需要按如下步骤：（1）importmulti_gpu_model函数：fromkeras.utilsimportmulti_gpu_model（2）在定义好model之后，使用multi_gpu_model设置模型由几张显卡训练，如下：model=Model(...)#... 继续阅读 >