分类：Keras

2020
10-08

浅谈keras使用中val_acc和acc值不同步的思考

在一个比较好的数据集中，比如在分辨不同文字的任务中，一下是几个样本使用VGG19，vol_acc和acc基本是同步保持增长的，比如40/40[==============================]-23s579ms/step-loss:1.3896-acc:0.95-val_loss:1.3876-val_acc:0.95Epoch13/1540/40[==============================]-23s579ms/step-loss:1.3829-acc:0.96-val_loss:1.3964-val_acc:0.96Epoch14/1540/40[======================... 继续阅读 >

2020
10-08

keras 回调函数Callbacks 断点ModelCheckpoint教程

整理自keras：https://keras-cn.readthedocs.io/en/latest/other/callbacks/回调函数Callbacks回调函数是一个函数的合集，会在训练的阶段中所使用。你可以使用回调函数来查看训练模型的内在状态和统计。你可以传递一个列表的回调函数（作为callbacks关键字参数）到Sequential或Model类型的.fit()方法。在训练时，相应的回调函数的方法就会被在各自的阶段被调用。Callbackkeras.callbacks.Callback()这是回调函数的抽象类，... 继续阅读 >

2020
10-08

浅谈keras.callbacks设置模型保存策略

如下所示：keras.callbacks.ModelCheckpoint(self.checkpoint_path,verbose=0,save_weights_only=True,mode="max",save_best_only=True),默认是每一次poch,但是这样硬盘空间很快就会被耗光.将save_best_only设置为True使其只保存最好的模型,值得一提的是其记录的acc是来自于一个monitor_op,其默认为"val_loss",其实现是取self.best为-np.Inf.所以,第一次的训练结果总是被保存.mode模式自动为auto和max一样,还有一个min的选项... 继续阅读 >

2020
10-08

keras实现多GPU或指定GPU的使用介绍

1.keras新版本中加入多GPU并行使用的函数下面程序段即可实现一个或多个GPU加速：注意：使用多GPU加速时，Keras版本必须是Keras2.0.9以上版本fromkeras.utils.training_utilsimportmulti_gpu_model#导入keras多GPU函数importVGG19#导入已经写好的函数模型，例如VGG19ifG<=1:print("[INFO]trainingwith1GPU...")model=VGG19（）#otherwise,wearecompilingusingmultipleGPUselse:print("[INFO]train... 继续阅读 >

2020
10-08

浅谈keras通过model.fit_generator训练模型(节省内存)

前言前段时间在训练模型的时候，发现当训练集的数量过大，并且输入的图片维度过大时，很容易就超内存了，举个简单例子，如果我们有20000个样本，输入图片的维度是224x224x3，用float32存储，那么如果我们一次性将全部数据载入内存的话，总共就需要20000x224x224x3x32bit/8=11.2GB这么大的内存，所以如果一次性要加载全部数据集的话是需要很大内存的。如果我们直接用keras的fit函数来训练模型的话，是需要传入全部训练数据，但是好... 继续阅读 >

2020
10-08

在keras中model.fit_generator()和model.fit()的区别说明

首先Keras中的fit()函数传入的x_train和y_train是被完整的加载进内存的,当然用起来很方便，但是如果我们数据量很大，那么是不可能将所有数据载入内存的，必将导致内存泄漏，这时候我们可以用fit_generator函数来进行训练。keras中文文档fitfit(x=None,y=None,batch_size=None,epochs=1,verbose=1,callbacks=None,validation_split=0.0,validation_data=None,shuffle=True,class_weight=None,sample_weight=None,initial... 继续阅读 >

2020
10-08

使用Keras中的ImageDataGenerator进行批次读图方式

ImageDataGenerator位于keras.preprocessing.image模块当中,可用于做数据增强,或者仅仅用于一个批次一个批次的读进图片数据.一开始以为ImageDataGenerator是用来做数据增强的,但我的目的只是想一个batch一个batch的读进图片而已,所以一开始没用它,后来发现它是有这个功能的,而且使用起来很方便.ImageDataGenerator类包含了如下参数：(keras中文教程)ImageDataGenerator(featurewise_center=False,#布尔值。将输入数据的均值设置为... 继续阅读 >

2020
10-08

keras实现图像预处理并生成一个generator的案例

如下所示：接下来，给出我自己目前积累的代码，从目录中自动读取图像，并产生generator：第一步：建立好目录结构和图像可以看到目录images_keras_dict下有次级目录，次级目录下就直接包含照片了**第二步：写代码建立预处理程序#先进行预处理图像train_datagen=ImageDataGenerator(rescale=1./255,rotation_range=50,height_shift_range=[-0.005,0,0.005],width_shift... 继续阅读 >

2020
10-08

浅谈Keras的Sequential与PyTorch的Sequential的区别

深度学习库Keras中的Sequential是多个网络层的线性堆叠，在实现AlexNet与VGG等网络方面比较容易，因为它们没有ResNet那样的shortcut连接。在Keras中要实现ResNet网络则需要Model模型。下面是Keras的Sequential具体示例：可以通过向Sequential模型传递一个layer的list来构造该模型：fromkeras.modelsimportSequentialfromkeras.layersimportDense,Activationmodel=Sequential([Dense(32,input_dim=784),Activation('relu... 继续阅读 >

2020
10-08

Keras之fit_generator与train_on_batch用法

关于Keras中，当数据比较大时，不能全部载入内存，在训练的时候就需要利用train_on_batch或fit_generator进行训练了。两者均是利用生成器，每次载入一个batch-size的数据进行训练。那么fit_generator与train_on_batch该用哪一个呢？train_on_batch(self,x,y,class_weight=None,sample_weight=None)fit_generator(self,generator,samples_per_epoch,nb_epoch,verbose=1,callbacks=[],validation_data=None,nb_val_sample... 继续阅读 >

2020
10-08

基于Keras的格式化输出Loss实现方式

在win764位，Anaconda安装的Python3.6.1下安装的TensorFlow与Keras，Keras的backend为TensorFlow。在运行MaskR-CNN时，在进行调试时想知道PyCharm(PythonIDE)底部窗口输出的Loss格式是在哪里定义的，如下图红框中所示：图1训练过程的Loss格式化输出在上图红框中，Loss的输出格式是在哪里定义的呢？有一点是明确的，即上图红框中的内容是在训练的时候输出的。那么先来看一下MaskR-CNN的训练过程。Keras以Numpy数组作为输入数... 继续阅读 >

2020
10-08

使用keras内置的模型进行图片预测实例

keras模块里面为我们提供了一个预训练好的模型，也就是开箱即可使用的图像识别模型趁着国庆假期有时间我们就来看看这个预训练模型如何使用吧可用的模型有哪些？根据官方文档目前可用的模型大概有如下几个1、VGG162、VGG193、ResNet504、InceptionResNetV25、InceptionV3它们都被集成到了keras.applications中模型文件从哪来当我们使用了这几个模型时，keras就会去自动下载这些已经训练好的模型保存到我们本机上面模型文件会被下... 继续阅读 >

2020
10-08

Keras 加载已经训练好的模型进行预测操作

使用Keras训练好的模型用来直接进行预测，这个时候我们该怎么做呢？【我这里使用的就是一个图片分类网络】现在让我来说说怎么样使用已经训练好的模型来进行预测判定把首先，我们已经又有了model模型，这个模型被保存为model.h5文件然后我们需要在代码里面进行加载model=load_model("model.h5")假设我们自己已经写好了一个load_data函数【load_data最好是返回已经通过了把图片转成numpy的data，以及图片对应的label】然后我们先加... 继续阅读 >

2020
10-08

基于keras中的回调函数用法说明

keras训练fit(self,x,y,batch_size=32,nb_epoch=10,verbose=1,callbacks=[],validation_split=0.0,validation_data=None,shuffle=True,class_weight=None,sample_weight=None)1.x：输入数据。如果模型只有一个输入，那么x的类型是numpyarray，如果模型有多个输入，那么x的类型应当为list，list的元素是对应于各个输入的numpyarray。如果模型的每个输入都有名字，则可以传入一个字典，将输入名与其输入数... 继续阅读 >

2020
10-08

使用K.function()调试keras操作

Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都需要提前定义好网络的结构，也就是常说的“计算图”。在运行前需要对计算图编译，然后才能输出结果。那这里面主要有两个问题，第一是这个图结构在运行中不能任意更改，比如说计算图中有一个隐含层，神经元的数量是100，你想动态的修改这个隐含层神经元的数量那是不可以的；第二是调试困难，keras没有内置的调试工具，所以计算图的... 继续阅读 >

2020
10-08

解决Keras 中加入lambda层无法正常载入模型问题

刚刚解决了这个问题，现在记录下来问题描述当使用lambda层加入自定义的函数后，训练没有bug，载入保存模型则显示Nonetypehasnoattribute'get'问题解决方法：这个问题是由于缺少config信息导致的。lambda层在载入的时候需要一个函数，当使用自定义函数时，模型无法找到这个函数，也就构建不了。m=load_model(path,custom_objects={"reduce_mean":self.reduce_mean,"slice":self.slice})其中，reduce_mean和slice定义如下de... 继续阅读 >