分类：Keras

2020
10-08

浅谈keras 模型用于预测时的注意事项

为什么训练误差比测试误差高很多？一个Keras的模型有两个模式：训练模式和测试模式。一些正则机制，如Dropout，L1/L2正则项在测试模式下将不被启用。另外，训练误差是训练数据每个batch的误差的平均。在训练过程中，每个epoch起始时的batch的误差要大一些，而后面的batch的误差要小一些。另一方面，每个epoch结束时计算的测试误差是由模型在epoch结束时的状态决定的，这时候的网络将产生较小的误差。【Tips】可以通过定义回调函数... 继续阅读 >

2020
10-08

浅谈keras中loss与val_loss的关系

loss函数如何接受输入值keras封装的比较厉害，官网给的例子写的云里雾里，在stackoverflow找到了答案Youcanwrapthelossfunctionasainnerfunctionandpassyourinputtensortoit(ascommonlydonewhenpassingadditionalargumentstothelossfunction).defcustom_loss_wrapper(input_tensor):defcustom_loss(y_true,y_pred):returnK.binary_crossentropy(y_true,y_pred)+K.mean(input_tensor)return... 继续阅读 >

2020
10-08

keras做CNN的训练误差loss的下降操作

采用二值判断如果确认是噪声，用该点上面一个灰度进行替换。噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点。处理后的文件大小只有原文件小的三分之一，前后的图片内容肉眼几乎无法察觉。但是这样处理后图片放入CNN中在其他条件不变的情况下，模型loss无法下降，二分类图片，loss一直在8-9之间。准确率维持在0.5,同时，测试集的训练误差持续下降，但是准确率也在0.5徘徊。大概真... 继续阅读 >

2020
10-08

keras 自定义loss model.add_loss的使用详解

一点见解，不断学习，欢迎指正1、自定义loss层作为网络一层加进model，同时该loss的输出作为网络优化的目标函数fromkeras.modelsimportModelimportkeras.layersasKLimportkeras.backendasKimportnumpyasnpfromkeras.utils.vis_utilsimportplot_modelx_train=np.random.normal(1,1,(100,784))x_in=KL.Input(shape=(784,))x=x_inx=KL.Dense(100,activation='relu')(x)x=KL.Dense(784,activation='sigmoid... 继续阅读 >

2020
10-08

keras的load_model实现加载含有参数的自定义模型

网上的教程大多数是教大家如何加载自定义模型和函数，如下图这个SelfAttention层是在训练过程自己定义的一个class，但如果要加载这个自定义层，需要在load_model里添加custom_objects字典，这个自定义的类，不要用import，最好是直接复制进再训练的模型中，这些是基本教程。------------------分割线讲重点------------------如果直接运行上面的代码，会出现一个init初始化错误，如下图，再来看看这个SelfAttention自定义的类的... 继续阅读 >

2020
10-08

keras CNN卷积核可视化,热度图教程

卷积核可视化importmatplotlib.pyplotaspltimportnumpyasnpfromkerasimportbackendasKfromkeras.modelsimportload_model#将浮点图像转换成有效图像defdeprocess_image(x):#对张量进行规范化x-=x.mean()x/=(x.std()+1e-5)x*=0.1x+=0.5x=np.clip(x,0,1)#转化到RGB数组x*=255x=np.clip(x,0,255).astype('uint8')returnx#可视化滤波器defkernelvisual(model,layer_target=1,num_... 继续阅读 >

2020
10-08

解决Keras使用GPU资源耗尽的问题

我们在使用GPU资源进行训练的时候，可能会发生资源耗尽的情况，那么在在这种情况，我们需要对GPU的资源进行合理的安排，具体使用办法如下：框架：Tensorflow和Keras方法importtensorflowastfimportkeras.backend.tensorflow_backendasKTFconfig=tf.ConfigProto()config.gpu_options.allow_growth=True#不全部占满显存,按需分配sess=tf.Session(config=config)KTF.set_session(sess)#设置session通过这种方法，就能合... 继续阅读 >

2020
10-08

Keras - GPU ID 和显存占用设定步骤

初步尝试Keras(基于Tensorflow后端)深度框架时,发现其对于GPU的使用比较神奇,默认竟然是全部占满显存,1080Ti跑个小分类问题,就一下子满了.而且是服务器上的两张1080Ti.服务器上的多张GPU都占满,有点浪费性能.因此,需要类似于Caffe等框架的可以设定GPUID和显存自动按需分配.实际中发现,Keras还可以限制GPU显存占用量.这里涉及到的内容有：GPUID设定GPU显存占用按需分配GPU显存占用限制GPU显存优化1.... 继续阅读 >

2020
10-08

Tensorflow与Keras自适应使用显存方式

Tensorflow支持基于cuda内核与cudnn的GPU加速，Keras出现较晚，为Tensorflow的高层框架，由于Keras使用的方便性与很好的延展性，之后更是作为Tensorflow的官方指定第三方支持开源框架。但两者在使用GPU时都有一个特点，就是默认为全占满模式。在训练的情况下，特别是分步训练时会导致显存溢出，导致程序崩溃。可以使用自适应配置来调整显存的使用情况。一、Tensorflow1、指定显卡代码中加入importosos.environ["CUDA_VISIBLE_DEVI... 继续阅读 >

2020
10-08

keras 指定程序在某块卡上训练实例

场景：某台机器上有三块卡，想同时开三个程序，放到三块卡上去训练。策略：CUDA_VISIBLE_DEVICES=1pythontrain.py就可以指定程序在某块卡上训练。补充知识：keras指定GPU及显存使用量指定GPUimportosos.environ["CUDA_VISIBLE_DEVICES"]="0"指定GPU和显存使用量importosfromkeras.backend.tensorflow_backendimportset_sessionos.environ["CUDA_VISIBLE_DEVICES"]="0"config=tf.ConfigProto()config.gpu_options.per_... 继续阅读 >

2020
10-08

keras使用Sequence类调用大规模数据集进行训练的实现

使用Keras如果要使用大规模数据集对网络进行训练，就没办法先加载进内存再从内存直接传到显存了，除了使用Sequence类以外，还可以使用迭代器去生成数据，但迭代器无法在fit_generation里开启多进程，会影响数据的读取和预处理效率，在本文中就不在叙述了，有需要的可以另外去百度。下面是我所使用的代码classSequenceData(Sequence):def__init__(self,path,batch_size=32):self.path=pathself.batch_size=batch_... 继续阅读 >

2020
10-08

Keras-多输入多输出实例(多任务)

1、模型结果设计2、代码fromkerasimportInput,Modelfromkeras.layersimportDense,Concatenateimportnumpyasnpfromkeras.utilsimportplot_modelfromnumpyimportrandomasrdsamples_n=3000samples_dim_01=2samples_dim_02=2#样本数据x1=rd.rand(samples_n,samples_dim_01)x2=rd.rand(samples_n,samples_dim_02)y_1=[]y_2=[]y_3=[]forx11,x22inzip(x1,x2):y_1.append(np.sum(x11)+np.s... 继续阅读 >

2020
10-08

终于搞懂了Keras中multiloss的对应关系介绍

我就废话不多说了，大家还是直接看代码吧~model=Model(inputs=[src,tgt],outputs=[y,flow])#定义网络的时候会给出输入和输出model.compile(optimizer=Adam(lr=lr),loss=[losses.cc3D(),losses.gradientLoss('l2')],loss_weights=[1.0,reg_param])#训练网络的时候指定loss，如果是多loss，lossweights分别对应前面的每个loss的权重，最后输出loss的和train_loss=model.train_on_batch([X,atlas_vo... 继续阅读 >

2020
10-08

keras 多任务多loss实例

记录一下：#Threelossfunctionscategory_predict1=Dense(100,activation='softmax',name='ctg_out_1')(Dropout(0.5)(feature1))category_predict2=Dense(100,activation='softmax',name='ctg_out_2')(Dropout(0.5)(feature2))dis=Lambda(eucl_dist,name='square')([feature1,feature2])judge=Dense(2,activation='softmax',name='bin_out')(dis)model=Model(inputs=[img1,img2],outputs=[category_pred... 继续阅读 >

2020
10-08

Keras SGD 随机梯度下降优化器参数设置方式

SGD随机梯度下降Keras中包含了各式优化器供我们使用，但通常我会倾向于使用SGD验证模型能否快速收敛，然后调整不同的学习速率看看模型最后的性能，然后再尝试使用其他优化器。Keras中文文档中对SGD的描述如下：keras.optimizers.SGD(lr=0.01,momentum=0.0,decay=0.0,nesterov=False)随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量参数：lr：大或等于0的浮点数，学习率momentum：大或等于0的浮点数，动... 继续阅读 >

2020
10-08

基于Keras中Conv1D和Conv2D的区别说明

如有错误，欢迎斧正。我的答案是，在Conv2D输入通道为1的情况下，二者是没有区别或者说是可以相互转化的。首先，二者调用的最后的代码都是后端代码（以TensorFlow为例，在tensorflow_backend.py里面可以找到）：x=tf.nn.convolution(input=x,filter=kernel,dilation_rate=(dilation_rate,),strides=(strides,),padding=padding,data_format=tf_data_format)区别在于input和filter传递的参数不同，input不必说，filter=kern... 继续阅读 >